Efter at have indstillet sin aktive karriere blev Magath træner, og har sidenhen med stor succes stået i spidsen for flere klubber. Han var fra sommeren 2004 frem til januar2007 tilknyttet Bayern München, hvor han i både 2005 og 2006 var med til at vinde The Double, altså både Bundesligaen og DFB-Pokalen. Efter at være blevet fyret i München blev han træner for VfL Wolfsburg, som han i 2009 førte til klubbens første mesterskab nogensinde. Han valgte dog at forlade klubben straks herefter, og blev tilknyttet Schalke 04. Jobbet her varede dog kun halvandet år, hvorefter han blev afskediget grundet svigtende resultater. Han vendte straks herefter tilbage til Wolfsburg, som han fra marts 2011 var cheftræner for. Den 14. Februar 2014 blev Magath udnævnt som træner for Fulham, efter en række dårlige resultater under den forhændværende træner René Meulensteen. Dette er hans første gang i spidsen for et hold uden for hans hjemland, Tyskland. Magath blev fyret i september samme år pga. dårlige resultater[1].