На сердце Папанов никогда не жаловался и холодной воды не боялся, даже в октябре спокойно купался. Наденет обычно свою излюбленную кепочку, чтобы никто не узнал, и поедет на велосипеде: семь километров от дачи до водохранилища и обратно. Единственное, что часто беспокоило Папанова, — раненная в 1942-м нога. «Немец мне полпятки срезал», — говорил он. Немец ему еще два пальца на ноге оторвал и кости на ступне снарядом раздробил. Эти проклятые косточки потом периодически отторгались организмом, да и под срезанную пятку все время приходилось что-то подкладывать. Но зрители, видя на экране здорового и бодрого актера, даже не догадывались о его недуге. В ГИТИС Папанов пришел поступать с палочкой, но пообещал преподавателям избавиться от хромоты и к последнему курсу так натренировал ногу, что на выпускном даже затанцевал. Еще обещал над речью поработать, но, как ни старался, ничего не получилось — прикус у него был неправильным. Позже тот голос с «вульгарными шипящими», за который его так ругали преподаватели, стал фирменным — папановским.

«Я — однолюб: одна женщина, один театр», — говорил о себе Папанов. Со своей супругой Надеждой Каратаевой он познакомился в институте, но не обращал на нее особого внимания, пока дворовый друг однажды не отметил: «Какая у вас Надя девушка красивая». Папанов подумал: «А я-то, дурак, почему проглядел», — и начал ухаживать. Война, комендантский час, а влюбленные гуляли по ночной Москве и говорили о театре… 
«Когда моя мама первый раз увидела Толю, она сказала: „Наверное, Толя хороший парень, но уж больно он некрасивый“, — вспоминает Надежда Юрьевна. — Толя был худой, ходил в линялой гимнастерке… Свадьбу мы сыграли 20 мая 1945 года, винегрета наготовили, водку по карточкам накупили. В разгар свадьбы в доме погас свет. Кто-то увидел в этом недобрый знак, но жизнь показала, что примета не работает: мы счастливо прожили вместе 43 года. Многие актеры заводят интрижки на стороне, а мы с Толей всегда были вместе и в театре, и на гастролях. Даже когда ему командировки за границу давали, он говорил: „Без жены не поеду“. 
Надежда Юрьевна не любит вспоминать об этом, но было время, когда у нее появлялись мысли о разводе с Папановым… Соперницей молодой жены стала водка. На съемках одной из первых картин Папанова его и еще одного актера закрыли в гостиничном номере, опасаясь, как бы те не употребили лишнего. Тогда Папанов связал простыни, к последней прикрепил деньги, открыл окно и закричал: „Братцы, помогите! Двум артистам водочки надо!“ Когда режиссер вошел в номер, друзья уже были навеселе… 
Вспоминал Евгений Весник (помните учителя математики из „Приключений Электроника“?): 
— Посидели мы с дедом (я — ровесник Папанова, тоже фронтовик, но почему-то называл его дедом, а он меня — сопляком) в ресторанчике, выпили, едем на такси: 
— Ты хто? — спрашивает Папанов. 
— Я — Женя Весник. 
— Не ври, он мой друг. 
Через какое-то время опять: 
— Ты хто? 
— Я — Женя Весник. 
— Не ври, он мой друг. 
И так всю дорогу. На следующее утро рассказываю ему о вчерашнем. Папанов бурно реагирует: 
— Как ты можешь врать?! Ты ж мой друг!!!

Многие зрители, наблюдая за ослепительным дуэтом Папанов — Миронов, думали, что и в жизни два актера неразлейвода. Но друзьями они не были и в гости друг к другу не ходили. Папанов легко сходился с людьми, со многими был в очень хороших приятельских отношениях, но близко к себе редко кого подпускал. Виктор Мережко — один из немногих, кто был вхож в дом актера: 
— Казалось бы, что могло связывать меня и Папанова? Ему 50 лет, он звезда, я начинающий 35-летний сценарист, недавно приехавший в Москву. Видимо, понимая, что мы хотим есть, Анатолий Дмитриевич приглашал меня и мою покойную жену Тамарочку в гости. Какими вкусностями он нас угощал! Икра красная, икра черная… Многие завязавшие не могут видеть, как другие выпивают, а Папанов, наоборот, получал от этого наслаждение. Брал бутылочку, наливал. „Ты, Витюх, когда первая пойдет, возьми вот это, не-е-ет, не икорку бяри, а огурчик малосольный, Надюша специально на базарчик бегала“, — и подкладывает закусочку, подкладывает. „Когда, — говорит, — ты пьешь, я хмялею“. 
Папанов всегда помогал начинающим. Когда узнал, что у меня в квартире нет телефона, тут же предложил: „Ты узнай фамилию начальника телефонного узла, завтра поедем“. Через два дня у меня стоял телефон.

Сцену в „Бриллиантовой руке“, когда Папанов под водой нанизывает рыбу на крючок Никулину, по вине технических работников переснимали несколько раз, а вода была ледяной. Разгневанный Папанов высунулся на поверхность и грозно рявкнул на ассистента: „Идиот!!!“ Гайдаю так это понравилось, что он вставил эпизод в картину. Только удивительно, что умеющий „цветасто“ выражаться Папанов в гневе выдал не трехэтажный мат, а столь безобидное слово. 
»Для меня вообще загадка, как с таким лицом и произношением я стал актером. Наверное, это ошибка режиссеров..." — считал Папанов. Он не кокетничал, а действительно очень требовательно относился к себе. По словам друзей, выглядел Папанов как простой мужичок и обожал этакий дачный стиль: джинсы, рубашка навыпуск, босоножки и кепочка.

Умер Анатолий Папанов 7 августа (по другим данным - 5 августа) 1987 года в Москве на 65-м году жизни от сердечного приступа. А в 1989 году уже посмертно ему было присвоено звание лауреата Государственной премии СССР за роль в фильме «Холодное лето пятьдесят третьего». Похоронен на Новодевичьем кладбище.