Об укрепленном городище на месте современного города Выборг было известно с XI века. Именно тогда на том месте, где сейчас находиться парк Монрепо (в советское время просто Городской парк культуры и отдыха) возникло торговое поселение, которое было выгодно расположено на торговом пути из Ладожского озера в Балтийское море. Город находился под правлением Новгорода.

В 1293 году Шведские войска под предводительством Торгильса Кнутссона (маршал, военный министр Швеции и наставник будущего короля Биргера Магнуссона) вторглись в пределы Карелии и захватили старый Выборг. Выбор времени похода против Новгородской Руси был оправдан, на Востоке Русь воевала с Татаро - Монгольским игом, на западе шла война с немецкими крестоносцами и отбить Шведов с севера просто не было сил. Правильно оценив выгодное положение Выборга Торгильс Кнутссон велел построить на острове, который впоследствии был назван Крепостным, укрепленный замок. По замыслу замок должен был запирать собой выход из Ладожского озера и служить оплотом Шведского господства в этом районе Карелии. 1293 год стал годом основания Выборга, старый город был разрушен.

Уже в следующем, 1294 году, Новгородская Русь предприняла первую попытку отбить Выборг у шведов. Но попытка принесла удачи, также как и в 1318, а затем в 1322 годах. Осада 1322 года была предпринята под предводительством Новгородского князя Юрия Данииловича и, не принеся никаких результатов, была снята через месяц.

12 августа 1323 года в только что построенной крепости Орешек (шведы называли её Нотеборг), в истоке Невы, был заключен Ореховецкий мирный договор, по которому граница между Швецией и Великим Княжеством Новгородским прошла по реке Сестре на Карельском перешейке. Выборг на 417 лет отошел Швеции и с 1293 года по 1710 год находился под её управлением.

За годы Шведского правления вокруг замка стал образовываться город. Город представлял собой классический образец средневекового градостроительства с его кривыми узкими улочками. По мере разрастания он был обнесен сначала каменной крепостной стеной, а затем и земляным валом. Каменная стена вокруг города была воздвигнута в 1470ом году по проекту Эрика Тотта (датский рыцарь Эрик Аксельссон Тотт затем занимался постройкой замка - крепости Олавинлинна северней Выборга), выборгского наместника Швеции. В 1409 году (или в 1403 по иным источникам) Шведский король Эрик XIII Померанский даровал Выборгу привилегии и местное самоуправление, Выборг получил статус города. В 1542 году король Густав Ваза даровал городу право на монопольный экспорт некоторых товаров и освободил его от ленного управления. Городом стал управлять выборный магистрат.

На протяжении более 400 лет с переменным успехом Новгородская Русь, а с 1478 года и централизованное Московское государство не прекращало попытки отбить Выборг у шведов.

После неудачной попытки 1322 года последовали осады замка в 1359 и 1496 году. Они также не увенчались успехом. 30 ноября 1495 года к городу подошли войска Ивана III Васильевича.

Захарий Топелиус, финский историк, умерший в 1908 году, так описывал эти события:

"В 1495 году 30 ноября произошел здесь знаменитый в свое время Выборгский погром. Могущественный царь, Иван III Васильевич, освободитель России от монгольского ига, двинулся на Выборг с армией, многочисленность которой уподоблялась деревьям в лесу. Тяжелая артиллерия, пушки длиною в 24 фута, извергали на город град из железа, свинца и камней величиной с дно бочки. Две башни (замка) были разрушены, а третья получила такую пробоину, что через неё прошел бы мешок со хмелем."

Руководил обороной замка Кнут Поссе, благодаря военному таланту которого после трехмесячной осады Выборгский замок так и не был взят, хотя и был сильно разрушен. Русские войска отступили, оставив после себя выжженными и разоренными окрестности Выборга на многие километры.

После воцарения на Шведский трон Датского короля Кристиана II (правил 1520 - 1523) (или Кристиана 3-го Шведского) для Выборга наступила передышка, датский и русский монархи были дружны. Но уже в 1555 году на Российский престол взошел Иван Грозный, и войны за Выборг возобновились. Последовали осады 1575, 1582, 1590 и 1592 годов. Все они были неудачными. По условиям Столбовского мира 1617 года Россия потеряла выход к Балтийскому морю и Выборг получил очередную передышку от ужасов войны.

В 1561 - 1564 году была перестроена последняя оставшаяся башня. Старая, четырехгранная башня была разобрана до второго этажа и на её фундаменте была построена новая, восьмигранная. Новая башня имела бойницы для круговой обороны.

Во время Северной войны 1700 - 1721 годов русские войска дважды предпринимали попытку овладеть Выборгом. Осенью 1706 года, воспользовавшись тем, что войска Шведского короля Карла XII находились в Саксонии, русские войска под предводительством Петра I осадили Выборг. Но попытка оказалась неудачной, и войска опять отступили. После Полтавской битвы соотношение и расстановка сил изменилась, и в 1710 году началась подготовка очередного штурма Выборга. В марте 1710 года на острове Котлин был сформирован осадный корпус из 12 пехотных и 4 драгунских полков. Во главе корпуса стоял сподвижник Петра I, генерал - адмирал Федор Матвеевич Апраксин. Пройдя по льду Финского залива от Котлина до Выборга, 21 марта 1710 года Русские войска осадили замок со стороны крепостного моста и со стороны Петербурга, начав обстрел его из пушек. 9 мая 1710 года из Кроншлота (сейчас Кронштадт) подошел Российский флот во главе с Петром I. Также с ним прибыли два полка (Преображенский и Семеновский), оружие и провиант. После пятидневного обстрела замка войска были готовы пойти на штурм, но Шведский комендант, полковник Стенстраль, видя безысходность положения, сдал замок Выборг на почетных условиях. Апраксин был награжден орденом Андрея Первозванного, все солдаты участвовавшие в осаде, получили медаль. Петр I встречал торжественный въезд Апраксина в Выборг 15 июня 1710 года в строю Преображенского полка, в котором он числился. В 1721 году был заключен Ништадтский мирный договор, по которому Выборг отошел к России.

В царствование Императрицы Анны Иоанновны замок был укреплен бастионом "Крон святой Анны" - венец святой Анны. В 1790 году перед замком, в выборгском заливе произошло морское сражение, известное как "Выборгский проход сквозь строй". Суть его заключалась в том, что к городу подошел флот Шведского короля Густава III Адольфа. По суше двигалась сухопутная армия. Шведы планировали захват города как в свое время сделал Петр I, одновременным ударом с моря и суши. Но сухопутная армия была отброшена и Шведский флот оказался запертым Русским флотом в Выборгском заливе. Третьего июля 1790 года Шведский флот пробился ценой огромных потерь через строй русских судов, которые ожидали его на выходе из залива.

В войну 1808 - 1809 года замок Выборг служил базой русских войск для походов в глубь Финляндии. В Середине XIX века в замке было два опустошительных пожара, после них замок был восстановлен в 1894 году. Тогда же башня замка получила купол в виде шлема древнерусского воина.