Het federaal constitutioneel gerechtshof was van het begin af aan al gevestigd in Karlsruhe. In eerste instantie was het ondergebracht in het Prinz-Max-Palais in de Karlstrasse. In 1969 verhuisde het naar het huidige ambtelijke gebouw, dat zich in de onmiddellijke omgeving bevindt van Schloss Karlsruhe (tussen de Schlossplatz en de botanische tuin). De bouw ervan, naar ontwerp van de Berlijnse architect Paul Baumgarten, duurde van 1965 tot 1969. Baumgarten ontwierp bewust geen paleis van justitie. De open bouwstijl is bedoeld om de indruk van democratische transparantie te wekken. Het hoogste gedeelte van het gebouw is voor het publiek toegankelijk. Hier bevindt zich ook de zittingszaal.