Saint Lidoire a construit une église à l'emplacement du cimetière des chrétiens au IVe siècle. Une église Notre-Dame-la-Pauvre est mentionnée au Xe siècle sur l'emplacement de la tombe de l'évêque saint Gatien. Les textes attestent de l'existence de cette église dédiée à Notre-Dame-la-Pauvre à partir de 920. L'église est reconstruite plusieurs fois. Elle est connue sous l'appellation Notre-Dame-la
-Riche depuis 1141. Il ne reste de cette église que la crypte Saint-Gatien, située hors du plan de l'église actuelle. L'église actuelle a été reconstruite au XVe siècle mais sur un plan plus petit que l'église précédente. Elle est mise à sac par les protestants en 1562 qui endommagent la nef et les collatéraux. Des travaux de restauration sont entrepris avant 1570. En 1746, le jubé en bois est remplacé par une grille en ferronnerie. En 1775, le pilier dit de La Riche, vestige de l'église romane, est abattu. Pendant la Révolution, l'église est utilisée pour fabriquer du salpêtre. Elle est rendue au culte en 1798. Une première restauration de l'église est effectuée entre 1818 et 1820. L'église a été restaurée et partiellement reconstruite par l'architecte Gustave Guérin (1814-1881) entre 1860 et 1866. Elle est surélevée et couverte de voûtes en brique. l'ancienne charpente apparente est réutilisée pour la nouvelle couverture. Les collatéraux et les portails ouest et sud sont reconstruits. L'édifice a été inscrit au titre des monuments historiques le 30 mars 1926.
