Иногда Каркассон ошибочно называют замком, ведь фактически это неприступная крепость, которая очень напоминает средневековый город. Первобытная стоянка на этом месте появилась в IV веке до н.э. Затем на ее месте вырос галло-римский город, который сменила крепость вест-готов. Потом было графство, виконтство и, наконец, сенешальство. Безусловно, каждый из этих исторических этапов внес свой вклад в архитектурный ансамбль.

После падения Римской империи мощная крепость была взята вестготами после продолжительного штурма. Поскольку столь укрепленный пункт имел важное стратегическое значение, захватчики достаточно быстро восстановили его. Были обновлены стены и башни, для чего использовались римские фундаменты.