Сергей Рахманинов родился в семье генеральской дочери Любови Бутаковой и отставного гусарского офицера Гродненского полка Василия Рахманинова. В семье Рахманиновых родились шестеро детей: Владимир, Сергей, Аркадий, Елена, София и Варвара. 

Сергей Рахманинов рос в музыкальной семье. Известно, что будущий композитор любил слушать колокольный звон, посещая с бабушкой Новгородские монастыри. Его дед Аркадий Александрович учился у Джона Фильда, был пианистом-любителем и композитором, и несколько его сочинений было издано в 18-м столетии. Отец великого композитора так же был очень музыкально одаренным человеком. Мама Рахманинова окончила консерваторию по классу фортепиано у известного педагога Антона Рубинштейна, неплохо пела и была первым педагогом по фортепиано у Сергея, хотя, по воспоминаниям самого композитора, эти уроки доставляли ему «большое неудовольствие». Тем не менее, к четырём годам маленький Сергей Рахманинов уже умел играть в четыре руки со своим дедом.