В ночь в 14 на 15 октября 1703 г. образ Смоленской Богоматери стали излучать свет наподобие солнечного, и от этого света зажглась явившаяся восковая свеча. В память этого события в этом же году была построена деревянная часовня, а спустя два года - деревянная Смоленская церковь.

В 1727 г. был построен каменный двухэтажный храм. Нижний его престол был освящён в 1743 г, а верхний в 1762 г. Храм поддерживали благотворители, но потом для него настали чёрные дни. Храм пострадал в Великую Отечественную войну во время освобождения Белгорода в 1943 г.

Были две попытки взорвать собор - в 1958 и 1974 гг. Но он устоял, а школа рядом с ним пострадала. Его отметили как памятник архитектуры, хотели разместить в нём органный зал, но в 1991 г. вернули епархии.

В 1994 г. пристроили колокольню, а 11 июля 1996 г. собор был освящён.