Iš pradžių statinys buvo naudotas kaip dvaras, kurį XIX a. įkūrė grafai Zubovai. Vėliau šis akmeninis pastatas buvo paverstas priverčiamojo darbo kalėjimu. Kriminaliniai ir politiniai nusikaltėliai čia buvo kalinami iš viso 8 metus, Dimitrave vienu metu galėjo kalėti iki 200 kalinių.
Išskirtinėje vietoje apsilankęs keliautojas Mantas Brazdžionis pasakoja, kad šios apylinkės kupinos paslapčių ir dramatiškų istorijų.
„Nedaug Lietuvoje galima rasti lokacijų, kur iki mūsų dienų išlikusios šimtamečio kalėjimo sienos. Dimitravas yra būtent tokia vieta, alsuojanti istorija“, – teigia M. Brazdžionis.
Šiame kaime 1937-1940 m. bei 1941-1944 m. veikė Kauno kalėjimo filialo priverčiamojo darbo stovykla. Kaliniai iš aplinkinių vietovių rinko akmenis, kurie vėliau buvo naudojami grįsti Lietuvos gatvėms ir keliams. Šį laikotarpį įamžina prie buvusio kalėjimo 1974 m. iškilusi skulptūra, vaizduojanti tris politinius kalinius. Vėliau, sovietinės okupacijos metais, buvusiuose dvaro pastatuose veikė kolūkis.