Считается, что удзигами появились в древней Японии, когда у японцев существовала большая патриархальная семья, которая называлась удзи. С распадом родовых отношений крупные кланы с неизбежностью дробились на более мелкие единицы, но и предельно мелкая единица сохраняла свою изначальную организацию. Даже современная японская семья частично сохраняет эту организацию. У нас такая патриархальная семья давно распалась, когда мы говорим о семье человека, то имеем в виду жену и детей. Но японская семья по-прежнему остается большой группой, она может состоять из прадедушки и прабабушки, дедушек и бабушек, родителей и детей - сыновей и дочерей нескольких поколений. Раньше такая семья могла составлять все население целой деревни или небольшого города, в Японии до сих пор есть общины, все члены которых носят одну и ту же фамилию. В некоторых местностях прежде существовал обычай по возможности оставлять всех детей в родной семейной группе, для чего всем дочерям подыскивали приемных мужей. Такая группа могла состоять из шестидесяти и более человек, живущих под одной крышей, соответственно строились и дома, расширяясь по мере необходимости. Со временем святилище, где обитает дух предка преобразовалось в нынешний синтоистский храм, а сам дух превратился в местное охранительное божество, современное наименование которого удзигами есть всего лишь сокращенная форма древнего титула удзи-но-ками. Наряду с общинным культом каждый отдельный дом соблюдал особый культ своих собственных умерших, эта сохраняется и сейчас. Семья может состоять из нескольких домов, и в каждом доме поддерживается свой культ предков.