Город Элгин образовался из поселений вокруг построенного в XI в. замка. В этих краях любили охотиться древние монархи Шотландии, в особенности печально знаменитый Макбет. В 1224 г. король Александр II пожаловал Элгину статус Королевского Города (англ. Royal Burgh), а затем епископ Морея избрал Элгин столицей своей епархии.






В 1390 г. Александр Стюарт — четвертый сын короля Роберта II, более известный как Баденохский волк — поссорился с епископом Морея, после того, как тот осудил его попытки развестись с женой. Желая отомстить церковнику, Александр со своими людьми 17 июня того же года ворвался в Элгин, устроил на его улицах кровавую резню, а затем разграбил город и предал огню. Кафедральный собор города настолько пострадал от пожара, что пришлось заново отстраивать западный фронтон, галереи нефа и центральный пилон. В последующие столетия собор постепенно ветшал.






В 1630 г. у него обвалилась крыша, а за последующие двести лет его почти разобрали на камни для новых построек. После поражения шотландского ополчения герцог Камберлендский жестоко покарал лояльные Стюартам города. Он приказал снести заброшенный с XV в. Элгинский замок, а большая часть местного населения была сослана в Канаду в рамках т.н. Расчисток Хайленда. Возрождение Элгина началось только в XIX в., когда началась активная застройка города.





Между 1820 и 1840 гг. в городе появились в числе прочих здания госпиталя и Института Андерсона, неоклассическая церковь Святого Джайлса (построена в 1825 — 1828, гг.) и городской музей Элгина (1842). Кроме того были проведены реставрационные работы в кафедральном соборе, в ходе которых с его территории было вывезено огромное количество мусора.