Участок на Моховой начал осваиваться в середине 18 века, а каменное здание появилось там в 1798 году. Проект перестройки дома разработал архитектор Луиджи Феррацини. Генерал-майор и действительный статский советник Андрей Петрович Шувалов владел территорией до 1912 года, затем здание со всеми строениями перешло к графине Елизавете Воронцовой-Дашковой.
После 1917 года особняк был национализирован. В годы Великой Отечественной войны особняк сильно пострадал от падения фугасной бомбы. Тогда погибли 30 человек и пострадали 45. В 1990-1991-х годах была проведена реставрация фасадов и интерьеров, позже обновлены перекрытия и кровля. Сейчас исторический объект находится в собственности юридического лица.