Landgraf Karl (1670-1730), der Namensgeber des Ensembles, ließ, parallel zur landschaftsarchitektonischen Gestaltung, am Ausgangspunkt der barocken Achsen in den Park das Orangerieschloss als Sommerresidenz und Aufstellungsort für die Überwinterung mediterraner Kübelpflanzen errichten. 1710 wurde das Gebäude seiner Bestimmung übergeben.

Auf der Dachbalustrade fanden um die Jahrhundertmitte Skulpturen der antiken Mythologie Platz, zum Teil vom Kasseler Barockbildhauer Johann Georg Kötschau geschaffen. Die Nutzung als „exotischer Wintergarten“ behielt man bis zum Beginn des 2. Weltkrieges bei. Heute wird die Orangerie – neben dem gastronomischen Angebot – zum größten Teil vom Museum für Astronomie und Technikgeschichte mit Planetarium genutzt.