Il s’agit d’un lieu de culte attesté par les sources depuis le XIIe siècle et cela avant même la construction de Sainte-Cécile d’Albi. Une première église est attestée en 1185 mais un édifice plus important est construit à la suite de la Croisade contre les Albigeois (1209-1229). Le pèlerinage sur ce site ne fait que se développer jusqu’à son paroxysme au XVIIe siècle, durant lequel 55 miracles sont rapportés entre 1614 et 1670.

Durant les événements révolutionnaires de 1791 -1794, l’église est pillée et le mobilier détruit mise à part la Vierge du XIIe siècle qui est cachée par deux sœurs fidèles de la paroisse en 1794. La Drèche est ensuite vendue et très rapidement rachetée par l’abbé Bernadou.
Au XIXe siècle, le lieu est réinvesti et l’édifice connaît une transformation complète avec un premier agrandissement en 1832. Camille Bodin et César Daly ont la charge des restaurations. À Notre-Dame de la Drèche, c’est le gothique méridional qui est la source d’inspiration principale du projet. La nouveauté réside dans la création d’une nef octogonale (rotonde) à six chapelles.

L’église a la particularité d’être le point de jonction entre trois autorités depuis le Moyen Âge.
Aujourd’hui, les mairies d’Albi, de Lescure-d’Albigeois et de Cagnac-les-Mines ont souhaité engager une mission d’avant-projet portant sur l’ensemble des travaux de restauration de Notre-Dame de la Drèche. L’étude traite dans le détail les points tels que les charpentes et combles, la couvertures, son étanchéité mais également la gestion de l’eau de pluie et la stabilité générale du clocher en lien avec ces désordres.