Затем Оззи перепробовал множество разных профессий: был помощником слесаря, автомехаником, маляром, могильщиком, забойщиком на скотобойне, даже воровал. Отсидел за кражу несколько месяцев в бирмингемской тюрьме.
После выхода из тюрьмы Оззи в роли вокалиста попадает в музыкальную группу Music Machine. Позднее он организовывает собственную группу Earth. Первой собственной композицией группы была песня Black Sabbath, исполненная в стиле progressive-блюз.
Вскоре выяснилось, что группа с таким же названием уже существует и музыканты меняют название на Black Sabbath. В 1970 году Оззи записывает свой первый альбом. К концу 1970-х годов у Оззи начались разногласия с другими членами группы, он покинул Black Sabbath, после записи альбома Never Say Die, однако поучаствовал в концертном туре, посвященном этому альбому.
Вскоре Оззи собирает новую команду и выпускает альбом Blizzard of Ozz, который становится базой для концертной программы. Через год выходит новый альбом The Diary of a Madman.
В 1986 году Оззи радует поклонников альбомом The Ultimate Sin, это самый нетипичный альбом Оззи, самый мягкий по звучанию и основанный на идеях мира и ненасилия.
В 1991 году Оззи выпускает альбом No More Tears, концертный тур в поддержку этого альбома прошел под лозунгом «Больше никаких турне». Сам музыкант объясняет это желанием проводить больше времени в кругу семьи.
В 1995 году Оззи Осборн выпускает альбом Ozzmosis, который критики назвали его самым удачным альбомом. Он умело чередует жесткие композиции и лирические, удивляя слушателей виртуозными гитарными проигрышами.
В последующие годы он выпускает еще ряд удачных альбомов: Down to Earth, Under Cover, Black Rain.
Сегодня, кроме музыкального творчества, Оззи Осборн известен как участник разных телешоу. На MTV выходил телесериал The Osbournes, в основу которого легли события из жизни семейства Оззи, и где основными актёрами являются Оззи и его семья.
На декабрь 2010 года в мире было продано более 100 млн пластинок с его участием. Как член группы Black Sabbath Осборн внесён в Зал славы рок-н-ролла США, а в Зал славы британской музыки он входит и как участник группы и как сольный исполнитель. Звезда с именем Осборна выложена на Аллее звёзд в Бирмингеме и на голливудской «Аллее славы».