L’histoire du château de Brassac nous est très mal connue avant le 12° siècle.
En 1180, le comte de Toulouse Raymond V achète le château et une partie de la seigneurie de Brassac à Raymond de Planels.
Il y installe une garnison et fait construire une vaste enceinte en pierre autour du château qui n’est alors qu’un grand donjon rectangulaire dressé sur l’a-pic de la colline et protégé par un fossé.
A cette époque le roi d’Angleterre Henri II Plantagenêt, duc d’Aquitaine depuis son mariage avec Aliénor en 1152, est maître de tout le Sud-Ouest de la France et revendique le Quercy qui se trouve dans la mouvance du comte de Toulouse.
Raymond V est ainsi contraint de reconnaître la suzeraineté anglaise. Le château de Brassac appartiendra même personnellement à Richard Cœur de Lion pendant quelque temps.
Le comte de Toulouse profite par la suite des succès militaires des rois de France Philippe Auguste et Louis VIII dans le Sud-Ouest pour rejeter la tutelle anglaise.
Pendant la Croisade contre les Albigeois (1209-1244), les comtes de Toulouse Raymond VI et Raymond VII sont successivement excommuniés pour le soutien qu’ils apportent aux cathares. Le Quercy est ravagé par Simon de Montfort et ses croisés, et la seigneurie de Brassac est confisquée en 1235 au profit de l’évêque de Cahors.
A la mort de Raymond VII en 1249, le comté de Toulouse échoit à Alphonse de Poitiers, frère du roi Saint Louis, qui a épousé Jeanne, la fille unique et l’héritière de Raymond VII. Alphonse de Poitiers fait reconnaître son autorité suzeraine sur Brassac, au détriment de l’évêque de Cahors.
Les seigneurs de Brassac font allégeance au roi de France Philippe III le Hardi lorsque le comté de Toulouse est annexé au domaine royal en 1271, à la mort sans postérité de Jeanne et d’Alphonse.
En 1278, Géraud Ier de Galard épouse Eléonore d’Armagnac qui lui apporte en dot la seigneurie de Brassac.
Pendant la guerre de Cent Ans (1337-1453), les Galard de Brassac prêtent d’abord hommage au roi d’Angleterre avant de passer au service du roi de France. Le château est pris à 2 reprises par Anglais, en 1346 et en 1356.
En 1508, François de Galard de Brassac épouse Jeanne de Béarn qui lui apporte , ainsi qu’à leur descendance, le nom, les armes et les titres de la Maison de Béarn.
Pendant les guerres de Religion (1562-1598) Jean III de Galard est chargé de défendre Lauzerte contre les Protestants, qui s’en emparent et assiègent le château de Brassac.
En 1609, la seigneurie de Brassac est érigée en comté par Henry IV.
En 1790, le château est incendié par les révolutionnaires et il sort quelque temps de la famille de Galard qui parvient néanmoins à le racheter après la Révolution.
Au cours du 19e siècle les Galard de Béarn connaissent de graves revers de fortune qui les empêchent d’assumer l’entretien de leur domaine.
Le château se dégrade peu à peu et il est finalement acquis en 1891 par la famille Chabrié qui en entreprend la restauration.
En 1997, Madame de La Baume, arrière-petite fille de Monsieur Chabrié fait donation du château de Brassac à Gilles de Galard de Béarn, descendant direct de Géraud ler de Galard.