Klubben blev grundlag i 1900, navnet Alemannia er latin for Tyskland og blev taget, da en anden klub allerede havde kaldt sig 1. FC Aachen. Klubben havde en vis succes i 1930'erne og kvalificerede sig i 1938 til at spille med om det tyske mesterskab, som de dog ikke vandt. I 1953 var Alemannia for første gang i den tyske pokalfinale, som dog blev tabt til Rot-Weiss Essen.
I 1967 kvalificerede klubben sig for første gang til Bundesligaen, og i 1969 blev de nr. 2. Sæsonen efter var dog katastrofal, og klubben rykkede ned. I mange år lå klubben i 2. Bundesliga og i 1991 endnu længere ned. I 1999 vendte man tilbage til 2. Bundesliga, og efter et par sæsoner der sikredes oprykningen til Bundesligaen i 2006. Det blev dog kun til en sæson i det bedste selskab i denne omgang. I 2004 var man tilmed igen i den tyske pokalfinale (som blev tabt til Werder Bremen), og det gav en billet til UEFA Cup'en, hvor Alemannia nåede sekstendedelsfinalen.
