Le château abbatial de Larrazet, dominant la vallée de la Gimone, propriété de l'abbaye cistercienne de Belleperche jusqu'à la révolution française, a été construit sur les substructions d'une première maison forte édifiée vers 1267 par le père abbé guillaume Jauffre. Cette première bâtisse fût détruite en partie pendant les guerres du XIVème siècle.

Le 20 mai 1500, Jean III de Cardailhac, abbé commanditaire en charge de l'abbaye demande par un «bail à besogne», à Jean de Massaris de Millac et à Antoine de Moissac d'édifier une tour, ou «turris», de trois étages à l'emplacement actuel.

En 1572, au moment du saccage de l'abbaye de Belleperche par les huguenots, les moines échappés du massacre se réfugient au château de Larrazet. Ce château a été en grande partie pillé et détruit pendant la Révolution. Devenu bien national, il est acheté en 1791, par la famille Groc, qui a sauvé le bâtiment en le recouvrant.

​

Cette  demeure, propriété privée, classée en partie monument historique fait l'objet de travaux et d'entretien avec l'aide de l'état depuis 1982.

​

L'intérêt architectural traité ici de façon monumentale réside non seulement dans la façade de style gothique flamboyant et dans ses cheminées, mais aussi dans la décoration sculpturale intérieure et dans le magnifique escalier voûté (ogives) qui tourne autour d'un noyau central, selon un procédé nouveau importé d'Italie et utilisé en 1500, au petit palais Tursi, à Rome.

Cet escalier est l'une des toutes premières manifestations d'escalier à l'italienne traduisant les prémices de la Renaissance dans le Sud-Ouest. Les salles sont pourvues de plafond à la française et de cheminées à larges bandeaux moulurés. Le premier niveau est occupé par de grandes caves voûtées en plein cintre et une petite salle voûtée d'ogives en briques et pierres, reposant sur des culots au décor végétal ou à figuration humaine.