Aprecio que me hayas invitado a almorzar y espero almorzar contigo en un futuro cercano.
Si no desea asistir al almuerzo y no tiene interés en reunirse con ellos para almorzar, simplemente diga "Gracias por invitarme a almorzar. Sin embargo, no puedo asistir en este momento debido a compromisos ". Dejarlo así. Si no desea volver a verlos, asegúrese de agregar "Aunque no es apropiado reunirse en este momento, espero tener noticias suyas en el futuro".
El simple hecho de decir "Gracias" con una tarjeta también funciona. No se necesita nada lujoso :)
Saludos