El documento robots.txt es un instrumento clave para gestionar cómo los rastreadores web exploran tu sitio web . Ofrece a los rastreadores instrucciones sobre qué páginas de tu dominio pueden ser rastreadas y cuáles deben omitidas. Una configuración adecuada del robots.txt puede aumentar tu SEO en los resultados de búsqueda y evitar problemas