Colditz nævnes tidligst i år 1046 som Cholidistcha, og i 1100-tallet opstod en købstad og St. Nikolaikirken. Den nævnes som by i 1265. I 1404 købte Wettindynastiet herskabet Colditz, og indlemmede det i markgrevskabet Meissen. En stor bybrand hærgede byen i 1504, og ombygningen af borgen Colditz til slot begyndte. Mellem 1578 og 1591 blev en renæssancebygning opført som jagtslot for det kursachsiske hof. Colditz var enkesæde for kurfyrstinde Sophie af Sachsen mellem 1602 og 1622. Der var tidlig farveproduktion i byen, og farve fra Colditz blev brugt på meissnerporcelæn fra 1710. Byen blev ramt af oversvømmelse i 2002.