Původní dřevěná poutní kaple na Uhlířském vrchu byla postavena v roce 1653 řádovým místodržícím Oswaldem z Liechtensteina, jako daleko viditelný symbol vítězství katolické církve nad protestanty. Na místě kaple byl v letech 1755–1765 postaven krnovským architektem Jiřím Friedrichem Gansem jednolodní barokní kostel. V novostavbě poutního kostela pak byl umístěn „zázračný“ obraz Pasovské Madonny s dítětem (kopie díla Lucase Cranacha). Zajímavé jsou vnější mozaiky na čelním vstupu, které představují sv. Petra a sv. Pavla (z roku 1925). V dřívějších dobách stával vedle kostela hostinec s dodnes dochovanou studnou, jejíž hloubka je 40 m, ale je dnes zcela bez vody (měřeno v r. 2005). Slavnostní poutě se zde konaly až do roku 1970. Kostel byl ohrožován těžbou tufů v bezprostřední blízkosti. Byl opraven v letech 1991–1992.