¿Por qué no le preguntas por qué te hace eso? Un verdadero amigo no debería hacerle eso a alguien que le importa.
Esto me ha sucedido un par de veces en mi vida, y la mejor manera de hacerlo es preguntar primero qué le pasa a tu amigo. Solo pregunte si hay alguna razón en particular por la que no quieran pasar el rato. Si piensa que estás exagerando o que sigues dejándote fuera, entonces es una señal de que no era un buen amigo para empezar y deberías encontrar otras personas dignas de tu amistad.