In 1590 vond hier de religieuze dialoog van Emmendingen plaats. Na een korte periode van bewoning diende het kasteel als officiële residentie van de baljuws van het markgraafschap Hachberg en later als baljuwschap.
In 1833 werd het eigendom van de stad, die er een ziekenhuis in vestigde. Tegenwoordig zijn hier de musea van het markgravenkasteel gevestigd.
Het fotomuseum Hirsmüller toont de bedrijfs- en familiegeschiedenis van de fotostudio Hirsmüller in Emmendingen (1861 - 1993). De reconstructie van de winkel en studio met laboratorium en werkkamers en een grote collectie camera's worden tentoongesteld. Er worden ook speciale tentoonstellingen over historische en hedendaagse fotografie georganiseerd. Het Hirsmüller Fotografiemuseum maakt deel uit van de gemeentelijke collectie in het Museum im Markgrafenschloss.