Das Schloss in Rastede war einst die Sommerresidenz der Großherzöge von Oldenburg. Es steht auf uralten Grundmauern, denn dort, wo sich heute das Schlossgebäude erstreckt, befand sich einst das Abtshaus des bedeutenden Rasteder Benediktinerklosters von 1091. Dieses Kloster war lange Jahrhunderte das kulturelle Zentrum der alten Grafschaft Oldenburg gewesen. Einige kostbare Überreste dieser Zeit geben beredetes Zeugnis über die Bedeutung des alten Klosters ab, so z.B. die berühmte Bilderhandschrift des Sachsenspiegels, die hier an Ort und Stelle entstanden ist, oder die Rasteder Klosterchronik, die den Beginn der oldenburgischen Geschichtsschreibung ausmacht.

Als 1529 unter Graf Anton Günther die Reformation in Oldenburg Einzug hielt, wurden die Mönche abgefunden und die Klostergüter vom Grafenhaus eingezogen. Seitdem wohnten die Grafen von Oldenburg hier auch zeitweise.
Graf Anton Günther residierte gern in Rastede und ließ sich über dem bis heute existenten Keller des ehemaligen Abtshauses ein „Lust- und Jagdhaus“ errichten. 
Er verstarb 1667 in Rasteder als letzter Graf von Oldenburg.

Wegen der engen Verwandtschaft der Oldenburger mit dem dänischen Königshaus wurde die Grafschaft an die dänische Krone vererbt. Aber auch während der Dänenzeit diente das Haus als herrschaftliche Residenz. Prinzessin Eleonore von Holstein-Beck wurde 1744 in der Krypta der St.-Ulrichs-Kirche bestattet.
Da die Dänen aber insgesamt wenig Interesse an ihrer Oldenburger Exklave hatten, war es nicht verwunderlich, dass sie Mitte des 18. Jahrhunderts die Residenz verkauften.
Der neue Besitzer, Justizrat von Römer, ließ die noch stehenden Klostergebäude leider  abreißen, um sich einen repräsentativen Landsitz zu gestalten. Nach seinem Tod 1777 kaufte der spätere Großherzog Peter Friedrich Ludwig das alte Klostergut zurück und ließ das Haus durch Umbau weitgehend in seinen jetzigen Zustand versetzen. Hier erkennt man mühelos die Handschrift der klassizistischen Bauherrn wieder, die auch die Stadt Oldenburg in ihrem Erscheinungsbild geprägt haben.

Das Areal der ehemaligen Klosteranlage wurde nun im Sinne der herzoglichen Residenz ausgestaltet und abgerundet. So entstanden hier nach 1780 links des Hauptgebäudes der Marstall und rechts das Kavalierhaus, die Torhäuser und der Venustempel im Schlossgarten - und ein großzügig geschnittener Landschaftspark.

Bis zum Ende der Monarchie in Deutschland nach der Novemberrevolution von 1918 diente das Schloss den Großherzögen von Oldenburg als Sommerresidenz. 
Das Schloss befindet sich noch heute im Familienbesitz und ist für die Öffentlichkeit leider nicht zugänglich.

Gegenüber vom Schloss befindet sich das Palais Rastede.