Дворец возведен ещё в 1770-е гг. для Шуваловых по проекту Жана Батиста Валлен-Деламота. В 1830 году статс-дама Екатерины II продала его своему племяннику, князю Юсупову. Это семейство владело домом вплоть, до революции, проведя целый ряд реконструкций, последняя из которых относится к 1890-м гг.