Klubben var i mange år kun repræsenteret i de lavere rækker, og blev i 1982 tysk amatørmester.
I 1988 rykkede man dog op i 2. Bundesliga (man havde i begyndelsen af 60'erne været et midterhold i den næstbedste række, men ikke mere). Det blev dog kun til en enkelt sæson, før man måtte tilbage til Regionalligaen. I 1990 kom klubben dog op igen, og denne gang var det for at blive der. I både 1997, 2002 og 2003 sluttede klubben på en 4. plads, hvilket lige akkurat ikke gave oprykning til Bundesligaen, men i 2004 lykkedes det for første gang i klubbens historie.
I sin første sæson nøjedes Mainz ikke med at forblive i rækken, man kvalificerede sig også til UEFA Cup'en via Fair Play-listen.
Torsdag 15. maj 2014 offentliggjorde klubben, at man havde skrevet en treårig kontrakt med den danske træner Kasper Hjulmand gældende fra sæsonen 2014-15. Hjulmand, der tidligere var træner for det danske fodboldhold FC Nordsjælland, tiltræder som cheftræner. Hjulmand nåede dog kun lidt over en halv sæson efter han den 17. februar 2015 blev fyret.
Sæson 2023–24
Leon Andreasen (på lejemål fra Werder Bremen, forår 2007)
FC MIKA
Keflavik IF
Sevilla FC
Gaz Metan Medias