До семи лет у Альбрехта было «золотое» детство. У него были любящие, заботливые родители. Он любил своего младшего брата Рудольфа и был неразлучен, со старшим братом, наследным принцем Лютпольдом. В 1912г. умирает  от диабета Рудольф, а, спустя, несколько месяцев не стало матери принцессы Мари-Габриэль.

В 1914г. внезапно от болезни умирает принц Лютпольд.

Альбрехт становится единственным наследником Баварского престола.

Отец окружает мальчика заботой и вниманием. Альбрехт сопровождает его даже на войне. При всем при этом ему дается прекрасное домашнее образование. В отличие от всех мальчиков рода Виттельсбахов, он не получает военного образования. После окончания школьного курса обучения, он берет частные лекции по естествознанию. Его научные труды по ветеренарии известны специалистам. Мюнхенский университет удостоит его почетным званием, доктора в области ветеринарной медицины. В дальнейшем он будет почетным членом баварской гуманитарном академии.

В 1921г. его отец принц Рупрехт женится на принцессе Антонии Люксембургской, она была членом Люксембургского дома Нассау-Вайльбурги .

Альбрехт знал Антонию с детства (она на шесть лет старше его) и на тридцать лет младше его отца принца Рупрехта. При всем при этом отношения между второй семьей отца и Альбрехтом складываются дружественными и теплыми.

В1930 году Альбрехт заключил морганатический брак с венгерской графиней Марией-Франциской-Юлианой-Дракович из Тракоши  (1904-1969). Древний княжеский венгерский род (связанный, родственными узами с многими королевскими семьями Европы).

18 мая 1949 года,  признан как династический. У них было четверо детей.

  Франц, принц Баварский (14 июля 1933). После войны Франц получил среднее образование в бенедиктинском аббатстве Этталь. Затем он изучал управление бизнесом в университете Мюнхена и Цюриха. Страстный  коллекционер современного искусства. Сегодня многие предметы искусства из его частной коллекции находятся в постоянной экспозиции музея современности в Мюнхене.
Франц живет в замке Нумфенбург, бывшей летней резиденции королей Баварии, в Мюнхене. У него много почетных должностей в гражданских и религиозных организациях в Баварии.

- Макс,Эммануил,Людвиг,Мария, герцог Баварский (21 января 1937). Младший сын Альбрехта. Управляет семейными финансами и недвижимостью..

Члены семья Виттельсбахов были противниками нацистского режима в Германии. С приходом нацистов к власти их жизнь в Германии усложнилась. В 1939 г. Альбрехт переезжает с семьей в Венгрию. Они жили в Будапеште, в течение четырех лет до переезда в замок Савловар в конце 1943 года. В марте 1944 года, нацистская Германия оккупировала Венгрию. 6 октября 1944 года, вся семья, включая младших детей, была арестована. Они были направлены в нацистский концлагерь Ориниенбаург, а затем перевезены в Дахау. В конце апреля 1945 года семья была освобождена армией Соединенных Штатов.

Альбрехт стал главой королевской семьи Баварии со смертью его отца от 2 августа 1955 года.

 Альбрехт Баварский был первым из семьи Виттельсбахов, который не занимал государственные должности. После пережитых двух мировых войн, и его интернирования в концентрационный лагерь в 1944 году, он намеренно воздерживался от участия в политике. Он только один раз высказал свое мнение, в 1967 году, когда был обеспокоен изменениями в Конституции, из-за возможного подрыва федерализма и, следовательно, дальнейшего ограничения независимости Баварии.

 Альбрехт был страстным охотником, рыбаком и вообще любил загородную жизнь. Он был знатоком классической музыки, истории искусства и, в частности альпийской народной музыки, которую он поддерживал не только интеллектуально, но и материально.

 С 75-летием в 1980 году Альбрехт также отмечал 800-летие существования семьи Виттельсбахов.

Альбрехт приветствовал своих подданных с балкона дворца. К нему присоединился его старший сын Франц, кардинал архиепископ Мюнхена, одна из его старших дочерей, премьер-министр Баварии и его жена, и его младший сын Макс-Эммануил.

 Альбрехт умер в замке Берг, 8 июля 1996 года. Его останки лежат на семейном кладбище  в монастыре Андшесс.