In 1534 nam de Württembergse vorst, hertog Ulrich, bezit van het klooster Hirsau na de invoering van de Reformatie.
De monniken werden toen gedwongen het klooster te verlaten.
In 1556 richtte hertog Christoph, de zoon van hertog Ulrich, een protestantse kloosterschool op.
Op de plaats van het middeleeuwse abtshuis liet hertog Ludwig von Württemberg tussen 1589 en 1593 een jachtslot bouwen door zijn hofarchitect Georg Beer - grenzend aan de kloostergang in het zuiden. Het was ermee verbonden via een poorttoren met vier verdiepingen.
Georg Beer was verantwoordelijk voor de kwaliteit van het ontwerp van het gebouw. Door de inzet van veel ambachtslieden uit de residentie Stuttgart werd ook bij de uitvoering van het werk een hoog kwaliteitsniveau bereikt.
Heinrich Schickhardt (1558-1635), een leerling van Beer en zijn opvolger, ondersteunde het bouwproject.
Met zijn naar buiten gerichte, gestructureerde renaissancegevel gaf het complex met drie vleugels het hele gebouwencomplex een representatief karakter.
Het strekte zich ongeveer 37 meter uit in noord-zuidrichting en bijna 76 meter in oost-westrichting. In de bijna vierkante oostelijke vleugel
De representatieve kamers bevonden zich waarschijnlijk in de oostelijke vleugel. In dit bijna vierkante gebouw met vier staartgevels bevonden zich een kelder en een grote hal met open haard.
Volgens contemporaine verslagen was één verdieping uitgerust met een schommelvloer die ritmisch wiegde tijdens het dansen.
De langgerekte zuidvleugel met trappentoren diende als verbindingsgebouw, waarvan alleen de muren van de begane grond zijn overgebleven.
In overeenstemming met zijn rang, gebruikte de hertog zijn kasteel als accommodatie voor kuurvakanties naar Liebenzell, Bad Wildbad of Bad Teinach en voor jachttochten.
Het kasteel diende vermoedelijk ook als toevluchtsoord voor de hertogelijke familie toen in Stuttgart de zogenaamde "sterfrennen" uitbraken. Hiermee werden de pest, cholera of andere epidemieën bedoeld.
De vorstelijke heerschappij in Hirsau duurde tot op de dag af bijna 100 jaar (1592-1692), waarna het kasteel en het naburige klooster tijdens de Paltsopvolgingsoorlog door Franse troepen werden platgebrand.
Slechts schaarse overblijfselen, zoals architectonische fragmenten en delen van een grote open haard, zijn bewaard gebleven van het eens zo prachtige interieur.
In 1740 werd de minder verwoeste westelijke vleugel van het kasteel omgebouwd tot graanschuur.
Op basis van hedendaagse beelden weten we dat de brandschade aan de gebouwen met relatief weinig moeite hersteld had kunnen worden. Maar ten eerste was Württemberg sinds 1535 protestants, dus een katholiek mannenklooster was niet langer nodig. Ten tweede was de staat door de voortdurende oorlogen en hun gevolgen (30-jarige oorlog, successieoorlog) niet in staat of bereid om de eigendommen, die relatief onbelangrijk waren voor het welzijn van de staat, te onderhouden. De overheid gaf de ruïnes vrij als steengroeve voor de bevolking om goedkoop bouwmateriaal te kunnen verkrijgen.
Pas in het begin van de 19e eeuw werd het culturele erfgoed erkend en werd het kloostercomplex onder bescherming geplaatst. De natuur had zich al veel eerder ontfermd over de kasteelruïne.
Uit de muren groeide een iep, die de plaatselijke dichter Ludwig Uhland bezong in een gedicht. De boom werd daarom ook wel de Uhland-iep genoemd. Door een schimmelziekte moest hij op 10 maart 1989 worden geveld, waardoor er alleen een stronk van 6 m overbleef als gedenkteken. Deze moest echter ook verwijderd worden om veiligheidsredenen.
