Sí, es de mala educación. Preste atención a la persona con la que está hablando mirándola, no a otras cosas que puedan captar su interés. Una vez que haya terminado su conversación, puede concentrarse en otra cosa.
¿Porque lo que dice la persona no es interesante? Es de mala educación en una conversación cortés, pero también humano si ves algo que captura tu interés y que no va a durar. Creo que depende de qué tan bien conozcas a la persona, si es un amigo y dices mirar y señalar, pero luego recordarles dónde lo dejaron podría ser aceptable.