Замок Балвени находится в миле к северу от Даффтауна в местечке Глен Фиддич. Основателем замка считается Уильям Комин – 5-ый граф Бухана. Он был одним из четырёх сыновей Ричарда Комина, юстициария графства Лотиан. На службе у короля Шотландии Вильгельма I, Уильям нажил себе немалое состояние и множество вельможных титулов, таких как юстициарий Шотландии и наместник Морея. Между 1199 и 1200 годами он был послом в Англии, где от имени короля Вильгельма I, вёл переговоры с новым королём Иоанном. Между 1209 -1212 годами (точно неизвестно), он женился на графине Бухана леди Маргарет. У ее отца Фергюса 4-го графа Бухана не было наследников по мужской линии, что гарантировало передачу титула мужу его дочери. Унаследовав графство Уильям стал Лордом Балвени и приступил к постройке нового замка в своих обретённых владениях.

Во время правления Роберта Брюса (Robert the Bruce) клан Коминов потерял и свое влияние, и свой замок, и он перешел во владения клана Дугласов (counts of Douglas). Позже замок сменил хозяев и еще раз, когда Король Яков II (King James II) передал его одному из своих родственников. Так, замок стал собственностью дома Стюартов (Stewarts).
Семейство Стюарт внесло в замок множество изменений и улучшений, в том числе к ансамблю замка был пристроен изящный дом эпохи Возрождения.
В 1562 году в замке гостила королева Шотландии Мария Стюарт (Mary I Stuart).
Как бы ни было, замок Балвени не смог выдержать испытание временем и становился все менее и менее комфортным для постоянного проживания. В 1720 году Стюарты построили новый дом, отвечавший требованиям времени и моды, и замок Балвени был покинут, и со временем начал приходить в запустение. Так, серые стены замка не служили больше приютом для монархов и сильных мира. А спустя всего лишь столетие долина эта начала жить совершенно другой жизнью, и замок Балвени остался здесь лишь как напоминание о былых временах.
Последним вельможей, проживавшим в замке, был 1-ый граф Файфа Уильям Дафф.

Сегодня замок Балвени принадлежит организации «Историческая Шотландия» и открыт для посетителей. Несмотря на то, что замок дошёл до нас в достаточно плачевном состоянии, его посещение всё равно может быть весьма интересным и поучительным, поскольку история Балвени, является ярким примером сооружения, которое развивалось в угоду меняющихся требований его хозяев в разные исторические эпохи. Здесь посетитель может увидеть сочетание элементов средневековой крепости и красивого дворца эпохи Ренессанса.
Также интересно посетить и расположенный рядом завод по производству спиртных напитков Уильяма Гранта, где производится известная марка виски Балвени.