Das Schloss ist seit den 1070er Jahren als Sitz der Grafen von Greyerz bezeugt. Zwischen 1555 und 1778 regierten hier die Freiburger Vögte, 1798–1847 beherbergte es die Oberamtmänner des neu geschaffenen Bezirks Greyerz. 1849 kam das Schloss in private Hände und gelangte erst 1938 an den Staat Freiburg, der dort ein Museum einrichtete.
Das Schloss stammt im Kern noch aus der Zeit um 1270–82 und wurde unter Pierre III nach dem Vorbild der savoyischen, quadratisch angelegten Schlossbauten errichtet, aber im Grundriss und mit seinem einzelnen Rundturm an der Südostecke den Begebenheiten des Ortes angepasst. Die Umbauten der Jahrzehnte nach 1470 durch die Grafen Louis (1475–1492) und François II (1482–1499) wirkten sich prägend aus: damals wurden die doppelstöckigen Arkaden und der Treppenturm im Innenhof sowie die Kapelle St. Johann errichtet. Graf Louis und seine Frau Claude de Seyssel stifteten darin um 1480 Glasgemälde, die zu den letzten mittelalterlichen und monumentalen Glasgemälden des Kantons gehören (Jean II de Bolaz, Vevey, zugeschr.) Der Wohntrakt wurde damals durch neue Kreuzstockfenster und neue Dächer verändert. Unter den Freiburger Vögten fanden in den 1680er Jahren und 1731–1771 mehrere Innenrenovationen statt.
1849 erwarb der Genfer Industrielle John Bovy das Schloss. Er und sein Schwiegersohn Louis-Emile Balland unternahmen eine einzigartige Restaurierung des Schlosses im romantischen Stil und setzten damit die Erinnerung an das Goldene Zeitalter der Grafschaft aufwendig in Szene (Lauper 2005. S. 98). Die Arbeiten fanden erst um 1900 mit der Gestaltung des Schlossgarten ein Ende.

Lauper, A., Biffiger, S., & Beytrison, I. (2012). Gruyères. Dans Fribourg/Freiburg, Valais/Wallis. Guide artistique de la Suisse (p. 145-147). Bern: Société d'histoire de l'art en Suisse.

Raemy, D. de, & Bourgarel, G. (2005). La ville et le château de Gruyères au Moyen-Âge. Dans Le château de Gruyères = das Schloss Greyerz. Patrimoine fribourgeois, 16 (pp. 16-33). Kanton Freiburg. Denkmalpflege und Kulturgüterinventare des Kantons Freiburg.

Bergmann, U. (2005). Les vitraux du château de Gruyères. Dans Le château de Gruyères = das Schloss Greyerz. Patrimoine fribourgeois, 16 (pp. 52-60). Kanton Freiburg. Denkmalpflege und Kulturgüterinventare des Kantons Freiburg.

Lauper, A. (2005). L'invention du monument. de l'Ancien Régime à nos jours. Dans Le château de Gruyères = das Schloss Greyerz. Patrimoine fribourgeois, 16 (pp. 81-98). Kanton Freiburg. Denkmalpflege und Kulturgüterinventare des Kantons Freiburg.