Ce qui frappe dès l’abord, c’est l’architecture composite de cette église, édifiée à deux époques bien distinctes.
La partie orientale du bâtiment, constituée d’un chœur et deux chapelles latérales gothiques, a été construite au XIIIe siècle au-dessus d’un sanctuaire primitif du XIe. Tardivement, vers 1600, l’église est agrandie à l’ouest par une nef très sobre, au plafond assez bas ; le clocher se trouve désormais au milieu de l’édifice ; sur la porte à double battant est gravée la date de 1610.
Aux XVIIe et XVIIIe siècles, le sanctuaire bénéficie de la générosité des souverains comme de celle de notables ; parmi les dons remarquables, les boiseries et le claustra, la magnifique copie des « Pèlerins d’Emmaüs » du Titien, une superbe statue en marbre d’une Vierge allaitante…
Aujourd’hui encore le visiteur peut admirer ces trésors : l’église de Bailly a résisté aux aléas de l’Histoire comme aux outrages du Temps.