Après l'incorporation du Forez au royaume de France, les Talaru servirent le roi. À la Renaissance, le marquis de Talaru,fera ajouter des embellissements, façade ajourée, galeries de la cour intérieure et peintures de la chapelle en 1559 Chalmazel fut transformé en résidence d'été et commença à être délaissé. En 1850, Louis Justin, le dernier des marquis de Talaru, 25e seigneur de Chalmazel,légua le domaine à la communauté des Sœurs de Saint Joseph afin d'y établir un hôpital pour le canton et soigner les malades. Plus tard les sœurs le transformèrent en pensionnat pour les enfants de Chalmazel. Elles abandonnèrent le château en 1972, et le louèrent à la commune, à charge de l'entretenir et de l'ouvrir au public...