Les disparus peuplaient le monde vide,
les vieux ceps disparaissaient sous la mauvaise herbe,
les champs rétrécissaient comme des peaux de chagrin.
Jean Prod’hom
«Ici s’élevait le château des Barons de Montauban, premiers Seigneurs connus de Montbrison. En 1284, Dame Randonne cède par testament ses terres à son fils Roncelin de Lunel, dont les droits sur le château de Montbrison. Plus tard, le Prince d’Orange y paraîtra en maître sous la suzeraineté des Dauphins du Viennois. Les princes d’Orange tenaient leurs droits à Montbrison depuis le mariage de Raymond IV des Baux avec Anne de Viennois, fille du Dauphin Jean. Ils en seront Seigneurs jusqu’à la révolution.
La première construction apparaît vers la fin du XIème, début XIIème siècle. La ceinture et les autres bastions datent du XIIIème siècle ou du XIVème siècle. Une muraille s’élevait au Sud-Est du plateau et servait de défense au château-fort. A l’est une muraille s’élève, percée d’une porte monumentale. Environ 300 personnes vivaient au Vialle, où une chapelle était encore en service jusqu’au XVIIème siècle. Vers 1359 Guillaume des Baux, frère du Prince d’Orange fut emprisonné dans le donjon suite à un conflit entre le Dauphin et le Prince.
Une légende orale venue du fond des temps raconte que le château, du haut de son pic rocheux était imprenable. Les Seigneurs environnants se livraient alors de nombreuses batailles pour agrandir leurs domaines, et seul Montbrison résistait. Un chevalier plus astucieux que les autres eut l’idée d’attacher des bougies allumées aux cornes de centaines de chèvres lâchées une nuit dans la Lance. Très intriguée par ces flammes dansantes, la garnison au grand complet se rassembla au sommet du donjon abandonnant toute surveillance. Les remparts ainsi désertés par les curieux furent bientôt franchis par les rusés assaillants, et la porte ouverte aux troupes assiégeantes cachées non loin dans les fourrés.» (D’après A. Le Roux J.C Mège, Petit guide de Montbrison-sur-Lez, 1996)