Grad je bolj slavno znan kot razvpiti nemški vojaški zapor, kjer so bili zaprti zavezniški vojni ujetniki in uradniki, ki so imeli status nevarnih taboriščnikov, tistih, ki so že prej poskušali pobegniti iz drugih zaporov in taborišč.

Na gradu Colditz lahko vidite dejansko predmete pobeglih ujetnikov in njihove uniforme. Uradno ime taborišča je "oflag IV C" , iz katerega se naj ne bi dalo pobegniti. Vendar so zaporniki uspeli 30 krat pobegniti kljub skalnatem nabrežju, na katerem grad stoji, bodečim žičnatim ograjam, številnim policistom in žarometom. 

Zaporniki so bili tretirani na splošno v skladu z določbami Ženevske konvencije.