Han trænede i tyve år forskellige ungdomshold i KB, inden han i 2002 kom til OB. Her var han først assistenttræner og siden cheftræner sammen med Troels Bech.[1]
Klavs Rasmussen skrev kontrakt med Hobro IK fra 1. juli 2012. Han blev i klubben i et halvt år indtil han sagde selv op i Hobro IK i januar 2013.[7] Rasmussen begrundede bruddet med at han havde for mange opgaver i klubben udover selve trænergerningen. Han mente derfor at han brugte for meget tid på opgaver, der ikke havde noget med fodboldtræning at gøre.[8]