Der Ursprung und die Geschichte des Roanner Schlosses sind fast unbekannt. Nach den Untersuchungen im Jahre 1999 des heutigen Gebäudes, zeigt der Bergfried keine Spuren, die vor dem Jahre 1225 stammen, und das Kastralgebäude nicht vor dem XV. Jahrhundert.

Außerhalb der Stadt erbaut und von einer ersten Mauer umschlossen, ist es wahrscheinlich, dass das Schloss Ende des XII. Jahrhunderts bewohnt  worden ist. Es ist Guillaume Revel zu verdanken - er war beauftragt, alle Schlösser des Herzoges von Bourbon (der ebenfalls Graf de Forez wurde) zusammenzutragen, dass eine Ansicht von Roanne, schätzungsweise vom Jahre 1460, gefunden wurde. Diese zeigt ein bescheidenes Schloss mit mittelmäßig militärischem Wert. Der Bergfried ist zu erkennen.

In der zweiten Hälfte des XV. Jahrhunderts dient das Schloss nicht mehr für die Unterkunft der Burgherren. Es wird als Gefängnis und Gericht genutzt bis dieses Anfang des XIX. Jahrhunderts in das Ursulinenkloster verlegt wird.

Von diesem Schloss besteht heute nur noch der Bergfried und das anschließende Gebäude. Der Bergfried ist 20 Meter hoch und aus Steinen und kleinen Granitblöcken aus Villerest erbaut. Es ist das älteste Monument der Stadt. Spuren zahlreicherer Veränderungen sind zu erkennen: Löcher und Abdichtungen, Ausbesserung der Mauern. 1931 wurde es unter Denkmalschutz gestellt.

Das anschließende Gebäude wurde im XIX. Jahrhundert zu einem Wohnhaus umgebaut. Eine Renaissance-Fassade wurde hinzugefügt. Im Jahre 1997 wurde die Gesamtheit von der Stadt erworben.