Období největší slávy zažil kostel na Zelené hoře spolu s klášterem v roce 1735, kdy bylo slaveno pětisté výročí založení kláštera. Bohužel však již o dva roky později klášter vyhořel a rok poté umírá opat Václav Vejmluva. Katastrofu dovršil další zhoubný požár v roce 1784, kterému padl za oběť nejen konventní kostel, ale také kostel sv. Jana Nepomuckého na Zelené hoře. V říjnu roku 1784 byl pak císařem Josefem II. zrušen klášter, včetně poutního kostela. Vnitřní inventář kostela byl přenesen do okolních farností. Teprve za působení bývalého klášterního mnicha Bonifáce Procházky začala obnova kostela, která s přestávkami trvala až do roku 1830. Za tehdejšího správce farnosti, vlasteneckého buditele P.Matěje Sychry bylo dosaženo znovuobnovení kostela, které souviselo se založením hřbitova ve vnitřním areálu.