Saint-Orens , d’abord , fût fondé par l’évêque d’Agen, issu de la famille des Ducs de Gascogne au XI ème siècle. Au XIII ème siècle, les Anglais, qui possédaient le village, y firent élever des murailles. Le château tel qu’il est visible aujourd’hui, fut édifié au XVI ème siècle et acheté par la municipalité qui y installa mairie et école au XIX ème siècle.
Pouy-Petit, de son coté, était un Castelnau appartenant au Comté de Gaure, avec son château de style Gascon du XIIIème ou du début du XIV ème siècle. Le château actuel a été reconstruit, près de l’ancien, durant la restauration.
En sortant du château, s’offre aux visiteurs, un panorama sur les paysages gascons.