Der Palast ist mit der Gründung von Essaouira (ehemals Mogador) durch Ahmed al-Mansour während der Saadier-Dynastie im 16. Jahrhundert verbunden. Heute ist er eine Ruine und ein wahres „Schloss im Sand“. In den 60er und 70er Jahren war er ein beliebter Treffpunkt für Hippies, die am Lagerfeuer tanzten. Jimi Hendrix ließ sich von diesen Ruinen zu seinem berühmten Song „Castle in the Sand“ inspirieren.