Klubben blev grundlagt i 1881, og spillede i første omgang på Cassio Road inden de flyttede til deres nuværende hjemmebane Vicarage Road i 1922. Klubber deler i dag banen med den lokale rugbyklubSaracens Rugby Club.
Klubben har haft to periode med fremgang under den tidligere engelske landstræner Graham Taylor. Først fra 1977-1987, hvor klubben rykkede fra 4. division hele vejen op til 1. divison(nuværende. Premier League). De var desuden i FA Cup-finalen i 1984 og deltog i UEFA Cuppen. Den anden periode begyndte i 1997 og endte i 2001 hvor Graham Taylor førte holdet tilbage til Premier League fra anden division. I begge perioder var klubben ejet af Sir Elton John, som i dag er ærespræsident i klubben på livstid.
