Ursprünglich stand hier eine Burg aus dem 11./12. Jahrhundert, sie wurde von den Zähringern zur Sicherung des Kinzigtales angelegt. Unter den Hohenstaufern war hier der Sitz der Landvögte der Ortenau. Im 15. Jahrhundert wurde die Burg um die Verteidigungstürme erweitert. Der französische König Ludwig XIV. ließ sie von Marschall Créqui 1678 sprengen, nach einer weiteren Zerstörung 1697 verlegte der Landvogt seinen Sitz endgültig nach Offenburg.
Reste der Burg, so der Unterbau des Bergfrieds, stammen noch aus dem Mittelalter, das Schloß. d.h. die Gebäude, in denen sich heute eine Jugendherberge und das Weinbauversuchsgut befindet, ist ein Bau im englischen Stil aus der ersten Hälfte des 19. Jahrhundert. Der Kaufmann Gabriel Leonhard von Berckholtz aus Livland erbaute dieses Schloss auf den Ruinen der mittelalterlichen Burg. Seit 1942 gehört es dem Deutschen Jugendherbergswerk.