Klubben blev dannet i 1897 som Mansfield Wesleyans og kom ind i Mansfield & District Amateur League i 1902, før man skiftede navn til Mansfield Wesley og blev medlem af Notts & District League i 1906. De blev til sidst Mansfield Town i 1910 og flyttede fra Notts & Derbyshire League til Central Alliance året efter. Som Alliance-mestre i 1919-20, kom de til Midland League i 1921 og vandt liga ved tre lejligheder - 1923-24, 1924-25 og 1928-29 - før de blev optaget i fodboldligaen i 1931. De rykkede ud af den tredje division i 1960, men rykkede ud af fjerde division i 1962-63, hvor de forblev i ni sæsoner indtil deres nedrykning i 1972. De nåede anden division for første gang efter at have vundet fjerde division i 1974-75 og tredje division i 1976-77, for kun at rykke ned igen to gange på tre sæsoner.