Počátkem kláštera byla výstavba kaple koncem 13. století poté co zde objevil bednářský tovaryš milostný obraz – sošku sv. P.Marie. Bylo to již podruhé, předtím ho zde uprostřed lískového keře našel řeznický tovaryš. Kolem kaple vznikla osada Chlum sv. Máří, zmiňována poprvé roku 1341. Z počátku se o kapli staral řád křížovníků s červenou hvězdou z blízkého Kynšperka. V roce 1383 vznikla samostatná nadace a kolem roku 1400 zřízena první fara. Pravděpodobně v té době bylo započato s výstavbou kostelíka, který byl v roce 1429 vypálen husity a v letech 1482-92 rozšířen. Pro stále vzrůstající počet poutníků bylo koncem 17. století přikročeno k výstavbě nového poutního areálu. Ten byl v roce 1687 povýšen na probošství. V letech 1687-92 bylo vybudováno nejprve dvouvěžové průčelí před Mariánskou poutní kaplí a zároveň v roce 1690 položen základní kámen ke stavbě nového chrámu, který do sebe pojal starší Mariánskou kapli. Kostel s kaplí byl dokončen v květnu 1702. V letech 1704-22 byla vybudována chodba ambitu, následně v letech 1723-28 probošství.

Zcela neobvyklá dispozice poutního chrámu obsahuje dva samostatné sakrální prostory. Jedním je oválná Mariánská kaple se zaklenutou plochou kupolí s výsečemi, tvořícími osmicípou hvězdu. Druhým prostorem je trojlodí vlastního chrámu na půdorysu latinského kříže. Nad křížením lodi je vložena kupole bez tamburu. Valenou klenbu s trojúhelnými výsečemi zdobí bohatá štuková a malířská výzdoba. Hlavní loď nemá okna v horním podlaží, světo sem vniká pouze nepřímo, okny bočních lodí. Kostel stojí uprostřed přízemních ambitů doplněných o kaple v nárožích a uprostřed delších stran.
Na severní straně přiléhá k ambitu trojkřídlá budova nového probošství. Staré stojí po pravé (jižní) straně kostela.

Od roku 1992 probíhají postupné rekonstrukční práce na obnově tohoto jedinečného poutního místa, které je i přesto přístupné.