První velkou stavbou na místě zámku byl až hrad rozšířený Vokem z Rožmberka v letech 1479-1482. Dnešní severní křídlo zámku stojí na místě jeho obytné budovy. K tomuto stavení se roku 1522 připojila dvě boční křídla, západní a východní. Rozhodujicí stavební změny zde probíhaly v letech 1565-1575, kdy vzniká za účasti Jana a Antonia Ericerů jihozápadní trakt a vstupní průčelí s bránou a věží - to bude asi ono.