«Эрмитаж» по-французски означает «хижина отшельника». Такие павильоны получили широкое распространение в регулярных садах XVIII века. Они предназначались для отдыха и обедов владельца усадьбы в узком кругу избранных и помещались в дикой части парка. Для того, чтобы общению хозяев и гостей не мешало присутствие прислуги, в таких павильонах обычно устанавливались механизмы, приводившие в движение подъемные столы.

Царскосельский Эрмитаж отличается от других (например, петергофского) исключительной пышностью.

Первоначально павильон спроектировал М. Г. Земцов, но в 1749 году фасады готового здания были переделаны в соответствии с новым проектом Растрелли.