4 años no es una brecha tan grande, por ahora, sal con personas de tu edad hasta que tengas, digamos, 20, si todavía le gustas en ese momento, entonces puedes salir con él. :)
Bueno, tengo 14 y un chico de 17 también me invitó a salir y también dije que no, no hasta que pueda tener una cita. Entonces, si él te ama, esperará hasta los 16 o 18 o cuando sea, hasta entonces solo sean amigos.
Hasta los 18 años, salir con él sería ilegal (porque aunque 16 es la edad de consentimiento, él tendría 21 para entonces, lo cual también es ilegal). Estoy seguro de que eres una persona increíble (el hecho de que le hayas dicho que no demuestra lo madura que eres), pero él es claramente muy inmaduro y, honestamente, un poco repugnante y pervertido.
No tienes absolutamente nada de qué sentirte culpable.