Возведение замка у подножия горы Химэ началось в период Муромати в 1346 году, как фортификационная защита от местных феодалов и их одержимых воинов. Первоначально замок принадлежал Акамацу, семейству даймё из Харимы - исторической области Японии со столицей в Химэдзи. Семейство происходило от знаменитого поэта Минамото-но Морофуса (1003-1077).
Позже замок перешел в руки клана Кодэра, и в 1580 году был захвачен
Тоётоми Хидэёси, по указанию которого было построено 30 новых башен. В 1601 году также поступил и
Икэда Тэрумаса (1564-1613), получив во владение провинцию Харима после 1600 года. Он добавил еще 20 башен и завершил строительство замка в 1609 году. Главное сооружение поднялось на высоту 45 метров. Укрепления замка состояли из трех колец крепостных стен с башнями, расположенными на всех наиболее опасных направлениях. Главная башня замка имеет семь этажей с несколькими уровнями обороны. Тэнсю (донжон) был построен в 1608-1609 годах и обязан оригинальностью по большей части своему расположению - возведенный на единственном холме, поднимающемся посреди равнины, белый силуэт тэнсю Химэдзи возвышается на фоне неба на своём живописном основании. Его еще поэтому сравнивают с белыми цаплями.
Ансамбль был закончен в 1617 году. Затеянное семейством Тоётоми обновление замка было закончено к 1618 году и привело к появлению целой грозди вспомогательных башенок, а также к перепланировке прилегающей территории. Обширный сад вокруг замка разбит в виде спиралевидного лабиринта со множеством тупиков, с тем, чтобы вынудить нападавших на протяжении часов блуждать кругами, в то время как по ним будет вестись стрельба из донжона.
Замок имеет совершенную структуру обороны, но посколько он был построен в начале мирного периода Эдо - замок ни разу не был атакован. Использовался в основном как административное здание и символ власти. Вслед за окончанием строительства в этой части Японии наступили относительно мирные времена. За последующие два столетия под сенью замка вырос городок Химэдзи.
В 1871 году Замок белой цапли был изъят у владельцев и ушёл с молотка за 23 иены. В 1931 году определен, как национальное достояние. На исходе Второй мировой войны окрестности замка пострадали от бомбардировок американской авиации, но сам он остался невредимым. В 1993 году он занесён в Список всемирного наследия ЮНЕСКО.
На территории замка проходили съёмки многих кинолент. В одном из первых фильмов «бондианы», «Живёшь только дважды», он предстал в виде секретной школы ниндзя, где ведутся разработки ракетного оружия. Акира Куросава снимал здесь такие шедевры, как «Тень воина» и «Ран». В 2003 году в Химэдзи снимали историческую картину «Последний самурай» с Томом Крузом в главной роли.