Efter at have stoppet sin aktive karriere gjorde Derwall karriere som træner. Han er bedst kendt for at stå i spidsen for det tyske landshold mellem 1978 og 1984[2], hvor han førte holdet til guld ved EM i 1980, og til sølv ved VM i 1982. Han havde, inden han overtog cheftrænerrollen, også været assistenttræner for holdet under den foregående træner Helmut Schön. Han havde også klubtrænerhverv i flere klubber, blandt andet Fortuna Düsseldorf og Galatasaray SK i Tyrkiet.