Dibina oleh seorang Kapten Portugis yang bernama Duerte Coelho, gereja ini telah ditukar oleh orang-orang Belanda sebagai tanah perkuburan untuk orang-orang yang mulia dan menukar nama kepada Gereja St. Paul daripada nama Portugis "Our Lady Of The Hille." St. Francis Xavier dikebumikan sementara di sini sebelum dihantar ke Goa, India.