Budova architekta Arnošta Jenčovského je ukázkou novobarokní architektury s typickým bosovaným průčelím doplněným vysokým řadem polosloupů, které podpírají barokizující římsu se štítem a atikou.
V interiéru upoutá pozornost dominantní tříramenné schodiště. Rudolfinum bylo na svou dobu výborně vybavené, byla zde např. tělocvična, bazén nebo kaple a také ústřední topení.
Během první světové války sloužila budova jako vojenská nemocnice. Za první republiky ústav přijímal jen české děti, německé musely odejít do Litomyšle. V době druhé světové války se situace obrátila a objekt byl určen pouze německé mládeži.
Po obnovení republiky zde vznikla také specializovaná mateřská škola pro děti se sluchovým a řečovým postižením. K 1. září 1948 byl ústav zestátněn a definitivní konec znamenal rok 1952, kdy budovu začala využívat Vojenská lékařská akademie.
Později sloužila také jako kožní klinika fakultní nemocnice, a to až do roku 2004. Od té doby se nevyužívala, což se negativně projevilo na jejím technickém stavu. Přitom je objekt už od roku 1958 chráněný jako kulturní památka.
Rekonstrukce se uskutečnila na základě rozhodnutí Královéhradeckého kraje v letech 2014–2015 podle projektu Ateliéru A11 z Hradce Králové. Základním záměrem bylo zachování původního charakteru budovy s použitím soudobých prostředků a materiálů.
Obnova nebyla jednoduchá. Musely se doplnit prvky, které byly původně v interiéru i exteriéru. Opravila se fasáda a vyměnila se okna i střešní krytina.
Dále byla položena nová dlažba na chodbách a byly zrestaurovány zámečnické prvky na schodišti, veškerá štuková výzdoba, a především původní kaple včetně nástěnných maleb.
Budova prošla celkovou rekonstrukcí od suterénu až po střechu. Nyní v ní sídlí Obchodní akademie, Střední odborná škola a Jazyková škola.
Zdařilé rekonstrukce jsou aktuálně k vidění na putovní výstavě Má vlast cestami proměn.