U obce Koloděje vzniklo roku 1565 nevelké renesanční šlechtické sídlo opevněné příkopem napájeným Lužnicí. V roce 1704 přešlo panství do vlastnictví hraběte Františka Wratislava z Mitrowicz.
Svou dnešní barokní podobu získal zámek v letech 1737 až 1741, kdy se rozšířila obytná část a přistavěla kaple sv. Anny. K pozdějším úpravám došlo v roce 1840, kdy byl mlýn nacházející se v původní renesanční části zámku přemístěn na protilehlý břeh Lužnice a řečiště bylo přeloženo dále od zámku. Tím se zvětšil prostor před zámkem a rozšířil se park.
Ve 40. letech 20. století bylo panství znárodněno a zámecký areál s přilehlými budovami pivovaru obhospodařovalo místní JZD. Budova zámku byla násilně oddělena vysokou zdí a sloužila jako depozitář muzea. V důsledku stavby Orlické přehrady se zvýšila hladina Lužnice, zanikl jez pod zámkem a park se výrazně zmenšil rozšířením koryta řeky a stavbou protipovodňového valu.
Areál se zámkem byl v roce 2008 v havarijním stavu. Podepsalo se na něm čtyřicet let bez údržby i povodně v roce 2002. Statika byla narušená, interiéry zničené, zahrada plná náletů.
Záchrana památky, která proběhla v letech 2008 až 2018, začala pečlivým výběrem dodavatelů (od projektantů, architektů, restaurátorů až po samotné realizátory) a také zpracováním mnoha posudků i sond a spoluprací s památkáři. Na realizaci se podílely desítky odborných firem a z areálu bylo odvezeno téměř sedm tisíc tun suti a navážky.
Zámek Mitrowicz bývá během letní sezony a na tematické akce otevřen pro veřejnost, nabízí komentované prohlídky interiéru, zahradu s více než 11 000 sazenicemi, odpočinkovou zónu u jezírka, bylinkovou zahrádku, dětské hřiště, venkovní gril & bar a výlety lodí přímo od parku. V zámku lze využít také ubytování a možnost konání svateb či privátních akcí s naprostým soukromím.
Zdařilé rekonstrukce jsou k vidění na putovní výstavě Má vlast cestami proměn.