Dvorec stoji na Dobrovem, na mestu, kjer je že v 13. ali na začetku 14. stoletja stal neutrjen dvor, ki je pripadal rodbini [[Ortenburžani|Ortenburžanov]].<ref>{{Navedi knjigo|title=Vile na Goriškem in Vipavskem od 16. do 18. stoletja : uporaba funkcionalne tipologije za definiranje posvetne plemiške arhitekture v novem veku na Primorskem|last=Seražin|first=Helena|publisher=Založba ZRC, ZRC SAZU|year=2006|cobiss=230736384}}</ref>. Današnje poslopje je bilo zgrajeno v prvi polovici 17. stoletja in je bilo v lasti baronov, kasneje državnih grofov Colloredo. Ti so posest na Dobrovem dobili v fevd na začetku 16. stoletja. Leta 1798 je dvorec kupil Janez Krstnik II. Catterini, ki je leta 1782 dobil plemiški naziv von Erzberg.<ref name=":0">{{Navedi splet|url=https://goriskimuzej.si/stalne-zbirke/grad-dobrovo|title=Goriški muzej|accessdate=6. 4. 2021}}</ref>. Konec 19. stoletja si je grad s poroko s Cecilijo de Catterini Ezberg prilastil španski grof Silverij de Baguer Corsi y Ribas, ki je propadajoče poslopje temeljito obnovil in v njem leta 1885 uredil bogato muzejsko zbirko. Zbirka s preko 600 eksponati je imela tudi tiskan katalog. Pred prvo svetovno vojno je družina del zbirke podarila Pokrajinskim muzejem v Gorici. Med 1. svetovno vojno so v gradu stanovali poveljniki italijanske vojske, med njimi tudi literat, novinar in akademik [[Ugo Ojetti]]. Med 2. svetovno vojno je bil grad oropan, iz njega so odnesli preko 2000 predmetov. Grad od leta 1974 upravlja Goriški muzej, ta ga je med letoma 1979 ter 1991 obnovil.<ref name=":0" />
