Klubben blev grundlag i 1903 under navnet SpVgg Fürth, og allerede i 1914 vandt den sit første tyske mesterskab. Det blev til yderligere to i løbet af 1920'erne.
Efter 2. verdenskrig rykkede klubben ned i de lavere rækker, og først i 1970'erne var den at finde i 2. Bundesliga igen. I 1983 rykkede klubben dog ned i de lavere rækker igen, og meget tydede på, at klubben aldrig skulle komme op igen. Men i 1996 fusionerede klubben med landsbyklubben TSV Vesterbergsgreuth, der lå i samme række som Fürth. Klubben tog dermed sit nuværende navn, og allerede i 1997 rykkede fusionsklubben op i 2. Bundesliga. I 2006 var klubben tæt på oprykning til Bundesligaen, men snublede på målstregen og måtte se sig overhalet af Energie Cottbus.
SpVgg Greuther Fürth rykkede i 2012 op i Bundesligaen.
Klubben har et drabeligt had-forhold til FC Nürnberg, angiveligt fordi en stjernespiller i 1920 giftede sig med en pige fra Nürnberg og derfor forlod klubben.