Le village de la Romieu s'est formé progressivement auprès d'un ermitage au cours de la seconde moitié du XIe siècle. En 1082, lors de la donation du prieuré à l'abbaye Saint-Victor de Marseille, une population conséquente s'est déjà agglomérée aux abords de celui-ci. Il semble qu'un marché se tienne déjà dans le village à cette période. L'administration municipale se met probablement en place vers le milieu du XIIIe siècle. Dans la charte de coutumes de 1284, le village apparaît bien organisé. Il est fortifié, doté de murs, de fossés et de trois portes. Des faubourgs se sont alors déjà formés à l'extérieur des fossés. A cette date, les droits sur le village de la Romieu sont partagés entre le roi d'Angleterre et le prieur. Le roi est représenté par un bayle. L'administration municipale est assurée par quatre consuls. Quelques années plus tard, à la fin du XIIIe siècle, le coseigneur du lieu est Othon de Lomagne en tant que seigneur de Fimarcon et en vertu des droits qu'il a acquis du prieur. En 1309-1310, le village est mis sous la protection puis rattaché directement à la couronne d'Angleterre. Le roi y instaure un marché hebdomadaire, le vendredi. Le village de La Romieu a connu d'importants remaniements au cours du premier quart du XIVe siècle, au moment de l'établissement et de la construction de la collégiale par Arnaud d'Aux. Le cardinal aurait acheté en 1312 aux consuls et habitants "un terrain appuyé aux fossés de la ville et la partie correspondante de ces fossés qu'il fit assécher pour en creuser de nouveaux un peu plus loin". La collégiale et les bâtiments associés (palais cardinalice et quartier canonial) sont construits au sud-est de l'agglomération, probablement sur un espace alors pas ou peu bâti, dans les années 1314-1318. Dans les différents actes qui concernent cette fondation, il est précisé que l'espace compris entre la collégiale et son cloître, l'église et l'ancien cloître du prieuré, et les murs du village, est réservé par le cardinal. Dans cet espace, traversé par la rue du puits, se trouvent son palais et des maisons. Dans le testament rédigé par Arnaud d'Aux en 1320, ces maisons et places sont dites utiles au doyen et aux chanoines de l'église Saint-Pierre. Il est précisé que les maisons sont en pierre ou en bois. Dès 1317, le prieuré est sécularisé et son église devient l'église paroissiale. Le cloître du prieuré, mentionné en 1320, a pu disparaître rapidement, dès le XIVe siècle.
Une inscription gravée sur la tourelle d'angle du château de Madirac, donne la date de sa construction. Il a été construit en 1582 par François Georget, sculpteur et géomètre, pour Bertrand du Bousquet, président au tribunal de Condom. Gentilhommière gasconne qui se distingue par le caractère accentué de sa décoration avec fenêtres à meneaux cruciformes et tourelles en surplomb. Motifs sculptés sur une des tourelles d'angle. On peut voir également à La Romieu une tour du XIIIe siècle, située près de l'église, qui constitue le principal vestige de l'ancien manoir ayant appartenu au cardinal d'Aux, fondateur de la collégiale de La Romieu, et devait se relier à l'enceinte de l'abbaye. Elle est établie sur un plan carré, et entièrement construite en pierre de taille. Elle comporte un rez-de-chaussée et deux étages. Elle est classée MH par arrêté du 10 octobre 1928.
Éléments protégés MH : le château de Madirac en totalité : inscription par arrêté du 28 avril 1964.
château de Madirac 32480 La Romieu
