Музей расположен в памятнике архитектуры XVIII века. Здание было построено в 1786 году по типовому проекту жилого дома. Непросто складывалась судьба этого здания: оно неоднократно горело, несколько раз его перестраивали, подправляли, реконструировали. Оно никогда не использовалось по назначению. Первоначально здесь размещалась Банковая контора, далее — Променная контора, Коммерческий банк, затем городская таможня.
После завершения реставрационных работ музей открыл в обновленных залах экспозицию "Портрет в старинном интерьере", которая дает возможность проследить смену художественных стилей в развитии интерьера конца XVIII — начала XX вв.
Пять залов особняка — портретная и мужской кабинет, голубая гостиная, будуар и столовая перемещают нас в давно ушедшее время. Мебель, картины, зеркала, фарфор, наполняют дом духом прежних эпох и возвращают нас к некогда неторопливой осознанной городской жизни.