Роботс – самый обычный текстовый документ в основном каталоге веб-ресурса. В нём содержатся все инструкции для поисковых роботов. С данным файлом можно запрещать индексацию некоторых разделов и страниц на сайте, можно указывать главное зеркало и путь к документу
sitemap. Всю полезность документа
robots.txt можно ярко наблюдать на примере удаления из индекса некоторых технических разделов на Вашем ресурсе. Если технический раздел Вашего веб-ресурса открыт для индексации, поисковый робот постарается исправить это средством выброса из индекса данной страницы, из-за чего индекс могут потерять и остальные страницы сайта.