بدأ بناء القصر في القرن الخامس عشر واشتراه البابا يوليوس الثاني الذي تبرع به لابن أخيه فرانشيسكو ماريا الأول ديلا روفيري دوق أوربينو. ثم انتقلت ملكيته إلى عائلة بامفيلي التي قامت بتوسيعه حتى أصبح أهم قصر مأهول بالسكان في المدينة. ويظل القصر أكبر من بعض القصور الملكية الأوروبية، ويظل مقر إقامة العائلة النبيلة. وتحتوي المعرض الفخم على مجموعة رائعة من اللوحات والأشياء الفنية، بعضها من روائع مثل أعمال كرافاجيو الفنية، وهانز ميملينج، ورافائيل، وتيتيان، والعديد من الأسماء المهمة الأخرى، والصورة المشهورة عالميًا للبابا إنوسنت العاشر، للفنان فيلاسكيز. كما تم تزيين القصر بالأثاث الأصلي والمفروشات والمعرض الشهير للمرايا.