Дом был построен известной сараевской семьей Глоджо, членом которой был кади – исламский судья-администратор – Муниб эфенди Глоджо, известный своим участием в борьбе Боснии за автономию в составе Османской империи. Семья потерпела неудачу из-за отсутствия наследника мужского пола, и имущество перешло по браку к другой известной сараевской семье, Сврзо. Дом Сврзо является типичным примером архитектуры того периода с его разделением на селамлук или общественные помещения и харемлук или частные, семейные помещения. Он был куплен у семьи Сврзо, отреставрирован и открыт для публики в 1960-х годах. После осады Сараево дом был отремонтирован и снова открыт для публики в 1997 году. Дальнейшие крупные реставрационные работы в доме были проведены в 2005 году, когда была отремонтирована крыша, переложены булыжники, заменены устаревшие инженерные коммуникации и восстановлена ​​роспись на мусандере (встроенный ряд шкафов) в главной халвате (гостиной), которая выцвела за эти годы. Музей опубликовал двуязычную — на боснийском и английском — монографию о доме Сврзо.