Очень сложно понять, что у тебя произошло, поэтому из того, что поняла скажу просто... Если не хочешь, чтобы он уходил, тогда не отпускай, может стоит сделать самой шаг навстречу, извиниться и держать.