Родился 5 декабря 1946 в Барселоне. Демонстрировал музыкальные способности уже с раннего детства. В это время находился под впечатлением от творчества Карузо. Впервые выступил на публике в возрасте восьми лет, исполняя La donna ? mobile на испанской государственной радиостанции. В одиннадцать лет выступил в роли рассказчика в El retablo de Maese Pedro Фальи (мужское сопрано), потом в еще одной роли второго плана во втором акте Богемы.

Каррерас учился в Conservatorio Superior de M?sica del Liceo. Дебютировал в Лисеу в роли Флавио в Норме, где «заглавную роль» исполняла знаменитая Монсеррат Кабалье. Кабалье заметила талант молодого тенора и способствовала тому, чтобы он получил роль первого плана в Лукреции Борджиа Гаэтано Доницетти.

Каррерас вновь пел с Монсеррат Кабалье в 1971, когда дебютировал на лондонской сцене в Марии Стюарт, а позже еще примерно в пятнадцати постановках.

В 1972 он дебютировал на американской сцене, исполнив роль Пинкертона в Мадам Баттерфляй. В 1974 в Вене он впервые выступил в роли герцога Мантуи.

К 28 годам Каррерас исполнил уже 24 роли первого плана классического оперного репертуара.

В 1987, когда он находился на вершине славы, врачи поставили ему страшный диагноз: острая лейкемия. Был всего лишь один шанс из десяти, что певцу удастся выжить. Эта болезнь прервала карьеру Каррераса на целый год

. В следующем году Каррерас создает Jos? Carreras International Leukaemia Foundation, организацию, собирающую пожертвования для финансирования исследований в области лечения лейкемии. Доходы Каррераса от примерно 60 концертов в год поступают в этот фонд.

В 1990 сотни миллионов телезрителей со всего мира могли видеть и слышать концерт «Трёх теноров», открывающий футбольный кубок мира в Риме

. Этот концерт, первоначально задумывавшийся как способ помочь фонду Каррераса, стал традиционной встречей Каррераса и двух его великих коллег Лучано Паваротти и Пласидо Доминго.

Помимо лирического искусства (бельканто) Каррерас выступал в жанре сарсуэлы. Также он принял участие (как в студии, так и на сцене) в музыкальной комедии West Side Story.