Lo más importante que debe recordar al crear su archivo robots.txt es mantenerlo simple. Este archivo debe ser legible por humanos, por lo que si tiene problemas para leerlo, se ha perdido un poco en alguna parte.
El propósito fundamental del archivo es comunicarse con las arañas web (o bots, como se les conoce comúnmente) qué URL no desea que miren. Es posible que haya bots por los que no le interese que lo rastreen, por lo que puede indicar a los agentes de usuario específicos que se comporten de manera diferente. Sin embargo, tenga cuidado cuando comience a crear diferentes conjuntos de reglas para diferentes agentes de usuario, ya que pueden interpretar el archivo de manera diferente para usted.
Es una etiqueta web que los bots lean y se ajusten al archivo robots.txt, pero no necesariamente lo hacen, ya sea de forma accidental o deliberada. Debe asegurarse de que su servidor web aún maneja correctamente las solicitudes de bot a las páginas que no desea que visiten. Después de todo, también puede pensar en robots.txt como un punto de partida para personas malintencionadas que intentarán atacar su sitio realizando solicitudes a esas URL que no desea que estén en el índice de búsqueda.
También puede encontrar que algunas de sus URL no permitidas por bots aparezcan en los índices de búsqueda si esas URL se han vinculado a otra parte de la web. Es útil que incluya estas URL en su archivo robots.txt, pero no es una garantía de que no se rastrearán o indexarán.
Otra buena información para poner en robots.txt es la ubicación de su mapa del sitio (o el índice de su mapa del sitio, si necesita tener muchos mapas del sitio).
Google, una de las empresas de búsqueda más importantes que existen y con una amplia experiencia en rastreadores, tiene mucha ayuda para los webmasters. Como punto de partida para el uso de robots.txt, lea esto: bloquee o elimine páginas utilizando un archivo robots.txt