Hristiyanlığın kadim dönemlerinde de büyük ilgi gören Tirilye ve çevresinde çok sayıda görkemli kilise, manastır inşa edilmiş, ancak ne yazık ki günümüze sadece 3 kilise ve 1 manastır ulaşabilmiş. 13. yüzyıl sonlarında yapıldığı kabul edilen Kemerli Kilise de bunlardan birisi.
Ortodoks dünyası için oldukça önemli olan Kemerli Kilise’nin sütunlarının Mısır’ın İskenderiye şehrinden getirildiği rivayet ediliyor. 13. yüzyıl sonunda yapıldığı biliniyor ve 1676 yılında, Dr.J.Covel tarafından hazırlanan el yazması belgede, kilisenin Panagia Pantobasillissa’ya (Bakire Meryem’e) adandığı anlatılıyor.