Das Schloss wurde bereits im 14. Jahrhundert erbaut und dient heute unter anderem als Heimat für ein Museum und zahlreiche Ausstellungen. Bekannte Vertreter derer von Grumbach waren Fürstbischof Johann III. von Grumbach und Wilhelm von Grumbach. Zwischen dem Ende des 17. und der Mitte des 18. Jahrhunderts diente die Burg als Landresidenz der Würzburger Fürstbischöfe. Sie befindet sich im Besitz der Gemeinde Rimpar, seit sie 1980 vom Staat Bayern gekauft wurde.