Melberg opnåede 117 A-landskampe for Sverige og scorede 9 mål. Han startede karrieren i den svenske klub Degerfors IF i 1994. I 2008 skiftede han til det italienske hold Juventus, og før dette havde han otte år hos engelske Aston Villa. Efter kun ét år i Italien skiftede Mellberg i sommeren 2009 på en 3-årig kontrakt til den græske klub Olympiakos. Efter 3 år i Olympiakos skiftede Olof Mellberg i 2012 til den spanske klub Villarreal C.F., hvor han dog kun spillede i en enkelt sæson. Den 9. juli 2013 skiftede Olof Mellberg til den danske topklub F.C. København på en 2-årig kontrakt, hvor han i den første sæson blev stamspiller på holdet. I juli 2014 meddelte Melberg, at han ønskede at stoppe karrieren, hvorefter han blev løst fra sin kontrakt.
Efter ophøret som aktiv spiller har Mellberg i 2016-17 været træner for det svenske hold IF Brommapojkarna og den 1. juli 2019 tiltrådte han som manager for den danske klub Fremad Amager.[1] Den 3. september 2019 forlod han dog klubben for at blive træner for Helsingborgs IF i den bedste svenske række Allsvenskan.[2]
