Som træner for Parma førte han klubben til to andenpladser i Serie A og gentog senere to andenpladser med Juventus. Som træner for AC Milan vandt han både Serie A og Champions League. Kontrakten med AC Milan blev efter Champions League-sejren 2007 forlænget til 2010. Han var en mulig kandidat til at overtage landsholdet efter VM-slutspillet samme år.[1]
1. juni 2009 blev det klart, at han overtog Premier League-klubben Chelsea. Han var manager i Chelsea i to sæsoner, indtil han blev fyret den 22. maj 2011.[2] Herefter blev han i ansat i franskeParis Saint-Germain F.C..[3]
Han overtog senere cheftræner stillingen i Real Madrid, men blev fyret og overtog herefter jobbet i Bayern München. Som træner for Bayern München vandt han Bundesligaen, men manglende succes i Champions League førte til, at klubben fritstillede Ancelotti i september 2017 efter et 0-3 nederlag til PSG.