Das Haus wurde von einer prominenten Familie aus Sarajevo, den Glođos, erbaut. Ein Mitglied dieser Familie war der Kadi – ein islamischer Richter und Verwalter – Munib effendi Glođo, der für sein Engagement im bosnischen Kampf um Autonomie innerhalb des Osmanischen Reiches berühmt war. Die Familie scheiterte, da es keinen männlichen Erben gab, und der Besitz ging durch Heirat an eine andere prominente Familie aus Sarajevo, Svrzo, über. Svrzos Haus ist ein typisches Beispiel für die Architektur jener Zeit, mit seiner Aufteilung in den Selamluk oder die öffentlichen Räume und den Haremluk oder die privaten Familienräume. Es wurde von der Familie Svrzo gekauft, renoviert und in den 1960er Jahren für die Öffentlichkeit zugänglich gemacht. Nach der Belagerung von Sarajevo wurde das Haus renoviert und 1997 wieder für die Öffentlichkeit zugänglich gemacht. 2005 wurden weitere umfangreiche Renovierungsarbeiten am Haus durchgeführt, bei denen das Dach repariert, das Kopfsteinpflaster neu verlegt, veraltete Installationen ersetzt und die im Laufe der Jahre verblassten Malereien auf der Musandera (eingebaute Schrankreihe) im Haupt-Halvat (Salon) restauriert wurden. Das Museum hat eine zweisprachige – bosnisch und englisch – Monographie über Svrzos Haus veröffentlicht.