Научите кто-нибудь mail.ru писать краулеров. За неполные сутки к одному сайту - более 250,000 обращений с nipple4.mail.ru (217.69.133.31). Интенсивность запросов - больше десятка в секунду.
217.69.133.31 - - [06/May/2012:23:40:44 +0400] "GET / HTTP/1.0" 200 37466 "-" "Mozilla/5.0 (compatible; Mail.RU/2.0)"
Аналогичная ситуация, мейлрушный бот с 217.69.133.29 периодическими набегами сливает со скоростью 20-30 страниц в секунду. Поставил crawl-delay в robots.txt, но это пока не помогло, то ли бот не перечитал до сих пор, то ли неправильно поставил.
Напишите, пожалуйста, адреса сайтов мне на почту, kalinin@corp.mail.ru — разберёмся.
Напишите, пожалуйста, адреса сайтов мне на почту, kalinin@corp.mail.ru — разберёмся.