El documento robots.txt es un herramienta clave para la sitio web que desea ser bien indexada por los motores de búsqueda como Chrome . Sirve como un directorio para los bots, indicándoles qué secciones de tu web pueden están rastreadas y cuáles se deben excluir . Una correcta configuración de es