Der Palast wurde im lombardischen „Barocchetto“-Stil mit neoklassizistischen Einflüssen als Freizeitresidenz für Francesco III. D'Este, Herzog von Modena und Reggio Emilia, erbaut. Nach dem Tod des Herzogs und aufgrund der hohen Instandhaltungskosten wechselte der Palast verschiedene Besitzer, bis er 1837 von Carlo Pellegrini Robbioni gekauft wurde, der einige Änderungen am Garten vornahm, die dem englischen romantischen Geschmack der Zeit entsprachen. 1882 wurde das Herrenhaus von der Stadt Varese erworben und im folgenden Jahr der Öffentlichkeit zugänglich gemacht.

In dem kleinen Dorf Santa Maria del Monte in der Nähe von Varese gibt es der Überlieferung nach seit dem 11. Jahrhundert ein romanisches Kloster, das der Jungfrau Maria gewidmet ist. 1472 wurde der Ort vollständig umgebaut, da die ursprüngliche Struktur nicht mehr ausreichte, um den zahlreichen Pilgern aus der Umgebung Schutz und Gastfreundschaft zu bieten. Im 17. Jahrhundert wurden unter der künstlerischen Leitung von Giuseppe Bernascone 14 Kapellen entlang des gepflasterten Weges zum Heiligtum errichtet. Die Kapellen sind wunderschön in die Landschaft integriert und symbolisch mit den Geheimnissen des Rosenkranzes verbunden.