El archivo robots.txt es una elemento esencial para cualquier sitio web que pretende ser bien indexada por los buscadores como Bing. Sirve como un directorio para los bots, indicándoles qué áreas https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html