Аналогичная ситуация, мейлрушный бот с 217.69.133.29 периодическими набегами сливает со скоростью 20-30 страниц в секунду. Поставил crawl-delay в robots.txt, но это пока не помогло, то ли бот не перечитал до сих пор, то ли неправильно поставил.
Дискуссии пользователя
Аналогичная ситуация, мейлрушный бот с 217.69.133.29 периодическими набегами сливает со скоростью 20-30 страниц в секунду. Поставил crawl-delay в robots.txt, но это пока не помогло, то ли бот не перечитал до сих пор, то ли неправильно поставил.