Začetki njegove gradnje segajo v leto 1476. [[Renesansa|Renesančna]] [[bastija]] iz 16. stoletja je danes sestavni del [[Grad|gradu]]. Številne prezidave so ga spremenile v [[Plemič|plemiško]] bivalno arhitekturo: v obdobju 1655-1675 so prizidali loretansko [[Kapela|kapelo]], leta 1680 pa uredili slavnostno dvorano in ji okoli leta 1750 prizidali eno najlepših stopnišč v Sloveniji. Z nadzidavo bastije so pridobili dodatne bivalne prostore, s pokritjem obrambne ploščadi pred gradom pa uredili pokrito sprehajališče. Plemiške družine Khisl, Rosenberg in Brandis-Trautmannsdorf so grad spremenile v današnjo podobo. V 19. stoletju, ko je prešel iz plemiške v meščansko posest, je precej izgubil - z ureditvijo Grajske ulice je bil grajski kompleks presekan in zahodna polovica uničena.
