Podle místní pověsti byla na konci desátého století ve zlatých dolech ve stříbrných dolech u Zlatnice nedaleko Stupné nalezl havíř Pavel zázračný obraz Marie. Vzal si jej domů poblíž Nové Paky a později tam byla vystavěna kaple Panny Marie (doložena 1414). Maršálek hrabě Rudolf Tiefenbach dal ve své závěti podnět k výstavbě kláštera Nejmenších bratří sv. Františka z Pauly, základní kámen byl položen 25.6.1655 jeho pozůstalou manželkou Marií Evou z Tiefenbachů, rozenou ze Šternberka. Bratři Pauláni přišli z Plasů u Plzně na tvrz velkostatku v Chotči a poté byli 8.5.1701 uvedeni do kláštera. Bratři pro potřeby poutníků uspořádali sbírky a 11.6.1709 byl položen základní kámen pro nový klášterní kostel, který byl dostavěn a vysvěcen 11.8.1724. Posvátná soška Panny Marie z přelomu 15. a 16. století byla umístěna na hlavním oltáři. Při klášteře působila sochařská a stavební dílna, ze které pochází mnoho soch ve městě a v okolí. Na tuto tradici později navázala řezbářská a sochařská dílna Suchardů. Klášter byl zrušen 1785, ale několik mnichů dál působilo v klášteře až do 31.10.1789, kdy byli vystěhováni. Klášter byl rozprodán,  byla zde tkalcovna, hostinec, barvířství, pekařství. Od roku 1872 sloužil klášter jako nemocnice.