Палаты купца Афанасия Олисова на сегодняшний день имеют два этажа. Ранее, над каменной частью находился ещё один этаж из дерева, так как считалось, что жить в кирпичных зданиях вредно для здоровья. Данных о деревянной части дома не сохранилось, поэтому во время реставрации этот этаж не был восстановлен.
Дом относится к архитектурному стилю узорочье. Изначально, первый этаж палат был служебным. В нём располагались кладовые, кухни и приказничья горенка, сделаны несколько небольших оконных проёмов, которые на ночь закрывали ставнями. Окна жилого второго этажа украшены килевидными наличниками из специальных фигурных кирпичиков, соединённые между собой, они выделяют жилую часть палат.