Tomáš Fritta je rođen 22. siječnja 1941. godine u židovskoj obitelji. Njegov otac Bedřich (ponjemčeno Fritz Taussig) bio je cijenjen karikaturist i slikar u Pragu. Dolaskom nacista njihova je sudbina bila poput mnogih drugih Židova. Bedřich, majka Hansi i Tomáš su sa prvom grupom poslani u izgradnju geta Theresienstadt. Stara utvrda i vojarna za smještaj 7000 vojnika je tijekom rata postala dom za desetine tisuća zatvorenika (čak 53.000 u jednom naletu).