Виктор Борге родился в Копенгагене, Дания. Его родители были музыкантами — отец альтист в Датском королевском оркестре, а мать — пианистка. Как и его мать, Борге начали учить играть на фортепиано, когда ему было всего два года. Когда ему было 8 лет, он дал свой первый сольный концерт, а в 1918 году получил стипендию в Датской Королевской консерватории. Одним из первых наставников Борге был Виктор Схиэлер, в дальнейшем он учился у Эгона Петри.
Во время второй мировой войны, когда нацисты оккупировали Данию, Борге давал концерт в Швеции, откуда сумел бежать в Финляндию. 28 августа 1940 года он прибыл в Америку, имея при себе всего 20 долларов.

В честь него назван один из залов Scandinavia House в Нью-Йорке. В 2002 году в Копенгагене его именем была названа площадь Victor Borges Plads, а в 2009 году в честь столетия с его рождения на этой площади ему был возведен памятник.