Публичный саппорт: Когда поисковый бот Mail.ru научится читать robots.txt?


Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt

Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/

User-agent: *
Disallow: /search/
...

И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/

Это баг или фича?

Комментарий представителя компании

  • Контекст комментария

    Mikhail Starov

    У вас не указан Disallow: /search/ для нашего робота, поэтому он его и не выполняет (и это правильно, т.к. User-agent: * это не маска, а просто маркер «все остальные роботы, кроме перечисленных) Про crawl-delay и жалобу про 2-3 запроса в секунду: пришлите, пожалуйста, название сайта и примеры последовательных запросов из лога для изучения на go@corp.mail.ru Подробная инструкция про работу с robots.txt — http://go.mail.ru/help_robots.html

Лучшие комментарии

Добавить 4 комментария

Важное
Обсуждаемое