История замка «Ласточкино гнездо» переплетена с легендами, которые с удовольствием рассказывают экскурсоводы и с еще большим удовольствием слушают курортники, с замиранием сердца поглядывая вниз. Реальная история не менее интересна. Впервые его упоминает Григорий Москвич в справочнике по Крыму 1895 года: «Дача «Ласточкино гнездо» построена чрезвычайно смело на отвесной скале». Следовательно, постройка к этому времени уже была. Имя генерала в отставке, первым осмелившимся построить дачу на этом скалистом пятачке не сохранилось. Известно только, что он был тяжело ранен в русско-турецкой войне 1877—1878 гг. После присоединения Крыма к России царское правительство щедро жаловало земли своим героям. Романтик-генерал называл свою дачу «Замок любви», другое ее название «Генералиф». В то время Ласточкино гнездо выглядело совсем иначе, это было деревянное одноэтажное строение. Именно таким его изображали на своих полотнах известные художники-маринисты Айвазовский, Лагорио и Боголюбов. На открытке (1901г.) с картины Лагорио дача представляет собой разрушающееся здание почти без кровли, с полуразвалившейся верандой.
Вторым хозяином дачи стал придворный врач и гласный земства А. К. Тобин. Он передал владение по наследству своей молодой красавице жене, а та продала его в 1903 году московской купчихе Рахманиной. В это время возникло и закрепилось за домиком на скале название «Ласточкино гнездо».

Следующим владельцем становится крупный немецкий нефтепромышленник барон Рудольф фон Штенгель. Ему-то мы и обязаны уникальности этого создания и, конечно талантливому зодчему А. В. Шервуду, сыну знаменитого архитектора В. О. Шервуда, проектировщика здания Исторического музея на Красной площади. Барон пожелал оставить в Крыму память о рыцарских замках средневековья — на месте деревянной дачи в 1912 году был построен миниатюрный замок, словно перенесенный на побережье Черного моря с берегов Рейна. Лаконичный дворец с высокой трехъярусной башней, его стены со стрельчатыми окнами уступами поднимаются к круглой башне с зубчатыми шпилями и с ее верха круто обрываются к морю вместе с краем скалы Авроры. Это удивительное архитектурное сооружение особенно поражает воображение видом с моря. Оно настолько удачно расположено на скале, что не сразу замечаешь, что его размеры не велики — ширина 10, длина 20 и высота 12 метров.
В начале первой мировой войны барон фон Штенгель предусмотрительно продал строение и спешно отбыл в Германию. Новому владельцу купцу Шелапутину, замок, переоборудованный под ресторан, особых доходов не принес, а вскоре и вообще был национализирован новой властью, как и его дача «Жемчужина». Во времена Советской власти правительство открыло в ней санаторий для комсостава Московского военного округа, в Ласточкином гнезде устроили столовую.
Сильное землетрясение 1927 года пощадило замок — он удержался на скале, в море сорвались только острые шпили башен. Но скала Авроры была повреждена, часть ее, из под нижнего балкона замка, рухнула в море, глубокая трещина пролегла от верхней площадки к середине. Какое-то время здесь еще находился читальный зал дома отдыха «Жемчужина». Но в 1966 году в Ялте произошло новое землетрясение, которое практически никто не почувствовал, разве что в квартирах посуда звенела. Но именно тогда замок и начал проседать, лежащие почти вертикально известняковые пласты скалы начали отделяться от мыса, грозя сбросить замок в море. Помещение и видовая площадка на долгие годы были закрыты для посетителей.
Было принято решение восстановить «Ласточкино гнездо». Только как это сделать с трёхэтажным зданием на краю скалы было неясно. Замок предлагали даже разобрать и перенести в другое место. Но порознь «Ласточкино гнездо» и скала Аврора потеряли бы свою рискованную красоту. Остановились на проекте, где требовалось разобрать лишь верхнюю часть здания. Восстановление началось в 1968 году, руководил операцией архитектор И. Г. Татиев. Была проделана сложная и опасная работа. Камни замка нумеровали и аккуратно складывали в безопасное место, уменьшая нагрузку на основание. «В балкон засверлили анкера, на которых закрепили люльки. В них рабочие спускались по тросам и работали, туда же опускали стройматериалы. Подъезд к замку из-за неустойчивости скалы был исключен. Поэтому бетон, арматуру, швеллер таскали вручную», — рассказывал Игорь Стручек сварщик-бетонщик треста «Ялтаспецстрой». Требовалось большое мужество, работать в подвесной люльке над пропастью, поэтому привлекались только добровольцы. Трещину заложили камнями и залили бетоном. Под основание замка подвели монолитную железобетонную плиту. Все сооружение обнесли антисейсмическими поясами. И только после этого приступили к реставрации здания.

В настоящее время в замке «Ласточкино гнездо» итальянский ресторан. Вокруг парк, в котором расположены санатории «Жемчужина» и «Парус». С его видовой площадки открывается чарующий вид на Ялту, Ялтинскую бухту и Аю-Даг. На соседней скале находится нависшая над пропастью площадка «Капитанский мостик». Внизу, у подножия, застыла скала Парус, а над ней установлена скульптура орла.