Родился в крестьянской семье. В 1917—1919 гг. занимался в Киевском музыкально-драматическом институте (класс Е.А. Муравьёвой).
В 1919—1924 гг. служил в Красной Армии и участвовал в спектаклях Полтавского передвижного музыкально-драматического театра. Спел в этом театре свою первую крупную партию — Фауста («Фауст» Гуно).
С 1924 года — солист Харьковского, с 1925 года Свердловского оперных театров, в 1926—1954 гг. Большого театра СССР. К. — выдающийся представитель советской вокальной школы. Прозрачный, серебристый, ровный голос красивого нежного тембра со свободным верхним регистром, свободное естественное дыхание, тончайший музыкальный слух, большой художественный вкус, драматическое дарование позволили артисту создать вокально-сценические образы, вошедшие в историю советского оперного театра.

Относясь с особым вниманием к слову, К. выявляет его музыкальную природу, придает важное значение музыкальной декламации, фразировке. Лучшие партии: Юродивый («Борис Годунов» Мусоргского; Государственная премия СССР, 1949), Ленский («Евгений Онегин» Чайковского), Лоэнгрин («Лоэнгрин» Вагнера).

С успехом К. исполнял также партии Берендея («Снегурочка» Римского-Корсакова), Владимира Дубровского («Дубровский» Направника), Принца («Любовь к трем апельсинам» Прокофьева), Альфреда («Травиата» Верди).

Организатор и художественный руководитель концертного Ансамбля оперы (1938—1941), К. поставил ряд опер, исполнив в них главные партии («Вертер» Массне, «Паяцы» Леонкавалло). Стремясь создать оперу-концерт с напряженным сценическим действием, К. добивался от артистов этого ансамбля синтеза пения и драматической игры.

Большое место в творческой жизни К. занимает концертная деятельность (выступает с 1919 года). Элегичностью, широтой эмоций, многогранностью настроений отмечено его исполнение романсов М.И. Глинки, А.С. Даргомыжского, П.И. Чайковского, С.В. Рахманинова.

К. является также тонким интерпретатором произведений Л. Бетховена, Ф. Шуберта, Р. Шумана, Ф. Листа. В обширный камерный репертуар певца входят старинные романсы, русские и украинские народные песни.


Ивану Козловскому посвящен научно-популярный фильм "Иван Семенович Козловский (1978).
Автор книги: "Музыка - радость и боль моя", Москва, 1992.