Нашла информацию про робот Яндекса (и не только Яндекса, как оказалось), который искажает статистику сайтов своими замаскированными визитами. Называют его «Хитробот». Если кратко: «Хитробот — это робот, который маскируется под человека, эмулирует вход человека на вашу страницу. Его цель — разоблачить клоаки, редиректы и т.д., после прихода сравнивает вашу страницу в кэшэ с тем, что он увидел.» Чтобы узнать больше наберите в поиске «Хитробот». Везде где я успела прочитать предполагается благая цель борьбы поисковика с недобросовестными вебмастерами. Но вот то, что я наблюдаю на своих сайтах заставляет в этом усомниться: во-первых, на моих сайтах ничего такого нет, и не было никогда, и даже нахождение сайта в каталоге Яндекса не спасает; а во-вторых, зачем роботу сидеть месяцами на сайте совершая ЕЖЕДНЕВНО обход? Обнаружил робот нарушения — исключил сайт из поиска, а нет — достаточно проводить проверку раз в какой-то период, допустим раз в месяц. Зачем искажать статистику на сайтах? В связи с этим приходит на ум, что может вначале и были благие цели, но потом роботов могли переквалифицировать на другие цели… В любом случае система дурацкая, это мягко выражаясь… Специально делала собственную статистику, чтобы иметь реальную картину посещений сайта, а тут такая засада.
kukutz, Vetra, с командой Яндекс я уже пообщалась, больше желания нет, сюда я не для вас писала, а в ответ на просьбу автора темы, который, напоминаю, столкнулся с такой же ситуацией, как моя: «Замечен так же трафик приличный, по строго целевым низкочастотникам, с яндекса зашедший не шел дальше главной страницы, еще раз — запрос строго целевой, информация на сайте есть, сайт классический интернет магазин, на стандартном движке. Подобное замечено на 40 проектах моих, если У КОГО ТО ЕЩЕ ЕСТЬ ТА ЖЕ СИТУАЦИЯ, КОММЕНТИРУЙТЕ.» Надеюсь, что эту тему читают не только работники Яндекс. ————- P.S. А про саппорт Яндекса, который не знает, что у них есть роботы, которые имитируют запросы обычных пользователей, — это круто, из области фантастики про господство машин… (Цитата: «А во-вторых как они без адреса посмотрят, что происходит с роботами на их стороне?»)
Объясните мне пожалуйста, как название моего сайта может помочь? : «Пожалуйста, уточните адрес Вашего сайта. Если Ваш сайт находится по данному запросу, то в связи с этим и пользователи могут на него перейти из результатов поиска.» Вы предлагаете серьезно воспринимать этот ответ и рассматривать вариант, что люди ищут станки по слову «с» (а сотрудники Яндекса ежедневно)? Если бы это были мои собственные сайты (а эта ситуация на всех сайтах, с которыми я работаю) , то можно было бы рискнуть исключением с поиска Яндекс навсегда, но боюсь руководству это не понравится. Да и зачем? Посмеялась над ответами «Платона» и хватит. Дальше не вижу смысла переписываться, если вопросы игнорируются и «запускается дурочка», как в известной миниатюре Райкина/Жванецкого: «… — Вы можете мне ответить?! — Могу. — Какие колеса?! Какой Сидоров?! — Колеса круглые. Сидоров продолговатый.»
А вот моя переписка со службой поддержки Яндекса на эту тему. Думаю будет интересно. ====== Я: Заметила, что в статистике моего сайта появилось много однотипных ежедневных заходов с Яндекс, но не пользователей. Часто это заходы по ключевым поисковым фразам, но не только. Таким образом статистика сильно искажается. Примеры: —— 95.25.9.189 — — [01/May/2010:00:54:43 +0300] «GET / HTTP/1.0» 200 21414 «http://yandex.ru/yandsearch?text=» «Opera/8.54 (Windows NT 5.1; U; ru)» 95.108.220.23 — — [14/Apr/2010:10:13:54 +0300] «GET / HTTP/1.1» 200 21414 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» —— Второй ip определился как принадлежащий «Yandex enterprise network», поэтому обращаюсь к Вам с просьбой помочь очистить статистику. Также интересует, что означают эти заходы, навсегда это или временно? ====== Платон Щукин, Служба поддержки Яндекса: Уточните, пожалуйста, повторяются ли данные заходы с наших IP в настоящий момент? ====== Я: К сожалению ничего не изменилось: 95.25.49.60 — — [12/May/2010:16:15:22 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» ====== Платон Щукин, Служба поддержки Яндекса: Указанный Вами в настоящий момент IP нам не принадлежит. ====== Я: Да здесь не указана принадлежность к Яндекс, но : >> 95.108.220.23 — — [14/Apr/2010:10:13:54 +0300] «GET / HTTP/1.1» 200 21414 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» Это ip Яндекс. Вот еще: 95.108.220.71 — — [28/Feb/2010:20:17:37 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)» 95.108.220.54 — — [01/Mar/2010:10:30:18 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)» 95.108.220.53 — — [02/Mar/2010:17:46:08 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» 95.108.220.42 — — [02/Mar/2010:19:43:00 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.97 — — [03/Mar/2010:12:24:01 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.108 — — [04/Mar/2010:20:06:46 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» 95.108.220.118 — — [05/Mar/2010:07:41:11 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.70 — — [05/Mar/2010:18:42:36 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?stype=&nl=0&text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)» 95.108.220.89 — — [06/Mar/2010:01:57:51 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)» 95.108.220.46 — — [06/Mar/2010:23:49:28 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.27 — — [07/Mar/2010:11:40:30 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; .NET CLR 1.1.4322)» и так далее…. 95.108.220.86 — — [15/Apr/2010:10:58:24 +0300] «GET / HTTP/1.1» 200 21414 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» А вот сегодняшний: 95.25.49.60 — — [12/May/2010:16:15:22 +0300] «GET / HTTP/1.0» 200 21204 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» Запрос одинаковый: «http://yandex.ru/yandsearch?text=» И такой запрос () по несколько раз в день вот уже несколько месяцев приходит. Несмотря на то, что сейчас я не нашла, что ip принадлежит Яндекс, неправда ли логично предположить, что связь есть? А вот еще другие запросы, которые точно определяются, что с Яндекс: 95.108.220.61 — — [06/Apr/2010:00:19:06 +0300] «GET / HTTP/1.1» 200 19603 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» 95.108.220.23 — — [07/Apr/2010:04:05:15 +0300] «GET / HTTP/1.1» 200 19618 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)» 95.108.197.146 — — [11/Apr/2010:02:36:12 +0300] «GET /u_door.php HTTP/1.1» 200 24613 http://yandex.ru/yandsearch?text=++» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.91 — — [14/Apr/2010:16:22:59 +0300] «GET /artmaster.php HTTP/1.1» 200 24265 http://yandex.ru/yandsearch?text=+» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.25 — — [15/Apr/2010:18:59:46 +0300] «GET /artmaster.php HTTP/1.1» 200 24265 http://yandex.ru/yandsearch?text=+» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.57 — — [17/Apr/2010:20:59:28 +0300] «GET /u_door.php HTTP/1.1» 200 24613 http://yandex.ru/yandsearch?text=++» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)» 95.108.220.63 — — [18/Apr/2010:17:08:20 +0300] «GET /artmaster.php HTTP/1.1» 200 24265 http://yandex.ru/yandsearch?text=+» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» ….. И одновременно с этими заходами появились и другие, которые по ip точно не определишь, что с Яндекс (хотя эти ip тоже имеют определенную принадлежность — CORBINA), но в остальном это тоже самое — единичные заходы ежедневно по такой же группе запросов, как с ip Яндекса. ====== Платон Щукин, Служба поддержки Яндекса: По указанным Вами логам видно, что переходы происходили из результатов поиска поисковой системы и запросы, которые осуществлялись с IP принадлежащих Яндексу, являются нормальными запросами, так как поиском пользуются и наши сотрудники. Если Вы считаете, что запросы были осуществлены роботом, то для того, чтобы мы могли разобраться в проблеме, пожалуйста, пришлите более свежие и подробные логи. ====== Я: В общем-то я была уверена на 99%, что на вопрос мне не ответят… Можно было бы посочувствовать — вам приходится отвечать на вопросы, ответы на которых вы либо не знаете, либо не имеете права отвечать… Наверное для такой работы отбирают людей с хорошей фантазией. Придумать такое :) Сотрудники Яндекс больше месяца ежедневно более 10 раз в день посещают сайт, посвященный исключительно продаже станков и что еще интересней, чтобы попасть на этот сайт они набирают в поиске многозначительный поисковый запрос — «с» («text=» — это по понятному «поисковый запрос=с») :):):) Судя по тому что вам нужны только недавние логи, вы в курсе, что Яндекс перестал работать со «своих ip» — возможно после запросов, подобных моему. Но вот с ip CORBINA, конечный пользователь которых не указан :), продолжает: 95.26.3.1 — — [13/May/2010:06:38:35 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.26.61.101 — — [13/May/2010:13:32:16 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)» 95.24.145.144 — — [13/May/2010:13:55:26 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1; .NET CLR 1.1.4322)» Хотелось бы увидеть ваш ответ — просто ради интереса: как вы объясните как по такому «нормальному запросу» как «с» простые пользователи, а также непростые, как ваши сотрудники, могут искать сайт по станкам и находить его :) : >> 95.108.220.71 — — [28/Feb/2010:20:17:37 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)» >> 95.108.220.54 — — [01/Mar/2010:10:30:18 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)» >> 95.108.220.53 — — [02/Mar/2010:17:46:08 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» >> 95.108.220.42 — — [02/Mar/2010:19:43:00 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.97 — — [03/Mar/2010:12:24:01 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.108 — — [04/Mar/2010:20:06:46 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» >> 95.108.220.118 — — [05/Mar/2010:07:41:11 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.70 — — [05/Mar/2010:18:42:36 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?stype=&nl=0&text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)» >> 95.108.220.89 — — [06/Mar/2010:01:57:51 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)» >> 95.108.220.46 — — [06/Mar/2010:23:49:28 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.27 — — [07/Mar/2010:11:40:30 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; .NET CLR 1.1.4322)» >> и так далее…. >> 95.108.220.86 — — [15/Apr/2010:10:58:24 +0300] «GET / HTTP/1.1» 200 21414 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» ====== Платон Щукин, Служба поддержки Яндекса: Пожалуйста, уточните адрес Вашего сайта. Если Ваш сайт находится по данному запросу, то в связи с этим и пользователи могут на него перейти из результатов поиска. ====== No comments: http://hauptpostamt.wordpress.com/2008/09/09/мм-жванецкий-дурочка/
Дискуссии пользователя
Нашла информацию про робот Яндекса (и не только Яндекса, как оказалось), который искажает статистику сайтов своими замаскированными визитами. Называют его «Хитробот». Если кратко: «Хитробот — это робот, который маскируется под человека, эмулирует вход человека на вашу страницу. Его цель — разоблачить клоаки, редиректы и т.д., после прихода сравнивает вашу страницу в кэшэ с тем, что он увидел.» Чтобы узнать больше наберите в поиске «Хитробот». Везде где я успела прочитать предполагается благая цель борьбы поисковика с недобросовестными вебмастерами. Но вот то, что я наблюдаю на своих сайтах заставляет в этом усомниться: во-первых, на моих сайтах ничего такого нет, и не было никогда, и даже нахождение сайта в каталоге Яндекса не спасает; а во-вторых, зачем роботу сидеть месяцами на сайте совершая ЕЖЕДНЕВНО обход? Обнаружил робот нарушения — исключил сайт из поиска, а нет — достаточно проводить проверку раз в какой-то период, допустим раз в месяц. Зачем искажать статистику на сайтах? В связи с этим приходит на ум, что может вначале и были благие цели, но потом роботов могли переквалифицировать на другие цели… В любом случае система дурацкая, это мягко выражаясь… Специально делала собственную статистику, чтобы иметь реальную картину посещений сайта, а тут такая засада.
kukutz, Vetra, с командой Яндекс я уже пообщалась, больше желания нет, сюда я не для вас писала, а в ответ на просьбу автора темы, который, напоминаю, столкнулся с такой же ситуацией, как моя: «Замечен так же трафик приличный, по строго целевым низкочастотникам, с яндекса зашедший не шел дальше главной страницы, еще раз — запрос строго целевой, информация на сайте есть, сайт классический интернет магазин, на стандартном движке. Подобное замечено на 40 проектах моих, если У КОГО ТО ЕЩЕ ЕСТЬ ТА ЖЕ СИТУАЦИЯ, КОММЕНТИРУЙТЕ.» Надеюсь, что эту тему читают не только работники Яндекс. ————- P.S. А про саппорт Яндекса, который не знает, что у них есть роботы, которые имитируют запросы обычных пользователей, — это круто, из области фантастики про господство машин… (Цитата: «А во-вторых как они без адреса посмотрят, что происходит с роботами на их стороне?»)
Объясните мне пожалуйста, как название моего сайта может помочь? : «Пожалуйста, уточните адрес Вашего сайта. Если Ваш сайт находится по данному запросу, то в связи с этим и пользователи могут на него перейти из результатов поиска.» Вы предлагаете серьезно воспринимать этот ответ и рассматривать вариант, что люди ищут станки по слову «с» (а сотрудники Яндекса ежедневно)? Если бы это были мои собственные сайты (а эта ситуация на всех сайтах, с которыми я работаю) , то можно было бы рискнуть исключением с поиска Яндекс навсегда, но боюсь руководству это не понравится. Да и зачем? Посмеялась над ответами «Платона» и хватит. Дальше не вижу смысла переписываться, если вопросы игнорируются и «запускается дурочка», как в известной миниатюре Райкина/Жванецкого: «… — Вы можете мне ответить?! — Могу. — Какие колеса?! Какой Сидоров?! — Колеса круглые. Сидоров продолговатый.»
А вот моя переписка со службой поддержки Яндекса на эту тему. Думаю будет интересно. ====== Я: Заметила, что в статистике моего сайта появилось много однотипных ежедневных заходов с Яндекс, но не пользователей. Часто это заходы по ключевым поисковым фразам, но не только. Таким образом статистика сильно искажается. Примеры: —— 95.25.9.189 — — [01/May/2010:00:54:43 +0300] «GET / HTTP/1.0» 200 21414 «http://yandex.ru/yandsearch?text=» «Opera/8.54 (Windows NT 5.1; U; ru)» 95.108.220.23 — — [14/Apr/2010:10:13:54 +0300] «GET / HTTP/1.1» 200 21414 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» —— Второй ip определился как принадлежащий «Yandex enterprise network», поэтому обращаюсь к Вам с просьбой помочь очистить статистику. Также интересует, что означают эти заходы, навсегда это или временно? ====== Платон Щукин, Служба поддержки Яндекса: Уточните, пожалуйста, повторяются ли данные заходы с наших IP в настоящий момент? ====== Я: К сожалению ничего не изменилось: 95.25.49.60 — — [12/May/2010:16:15:22 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» ====== Платон Щукин, Служба поддержки Яндекса: Указанный Вами в настоящий момент IP нам не принадлежит. ====== Я: Да здесь не указана принадлежность к Яндекс, но : >> 95.108.220.23 — — [14/Apr/2010:10:13:54 +0300] «GET / HTTP/1.1» 200 21414 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» Это ip Яндекс. Вот еще: 95.108.220.71 — — [28/Feb/2010:20:17:37 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)» 95.108.220.54 — — [01/Mar/2010:10:30:18 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)» 95.108.220.53 — — [02/Mar/2010:17:46:08 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» 95.108.220.42 — — [02/Mar/2010:19:43:00 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.97 — — [03/Mar/2010:12:24:01 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.108 — — [04/Mar/2010:20:06:46 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» 95.108.220.118 — — [05/Mar/2010:07:41:11 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.70 — — [05/Mar/2010:18:42:36 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?stype=&nl=0&text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)» 95.108.220.89 — — [06/Mar/2010:01:57:51 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)» 95.108.220.46 — — [06/Mar/2010:23:49:28 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.27 — — [07/Mar/2010:11:40:30 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; .NET CLR 1.1.4322)» и так далее…. 95.108.220.86 — — [15/Apr/2010:10:58:24 +0300] «GET / HTTP/1.1» 200 21414 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» А вот сегодняшний: 95.25.49.60 — — [12/May/2010:16:15:22 +0300] «GET / HTTP/1.0» 200 21204 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» Запрос одинаковый: «http://yandex.ru/yandsearch?text=» И такой запрос () по несколько раз в день вот уже несколько месяцев приходит. Несмотря на то, что сейчас я не нашла, что ip принадлежит Яндекс, неправда ли логично предположить, что связь есть? А вот еще другие запросы, которые точно определяются, что с Яндекс: 95.108.220.61 — — [06/Apr/2010:00:19:06 +0300] «GET / HTTP/1.1» 200 19603 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» 95.108.220.23 — — [07/Apr/2010:04:05:15 +0300] «GET / HTTP/1.1» 200 19618 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)» 95.108.197.146 — — [11/Apr/2010:02:36:12 +0300] «GET /u_door.php HTTP/1.1» 200 24613 http://yandex.ru/yandsearch?text=++» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.91 — — [14/Apr/2010:16:22:59 +0300] «GET /artmaster.php HTTP/1.1» 200 24265 http://yandex.ru/yandsearch?text=+» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.25 — — [15/Apr/2010:18:59:46 +0300] «GET /artmaster.php HTTP/1.1» 200 24265 http://yandex.ru/yandsearch?text=+» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.108.220.57 — — [17/Apr/2010:20:59:28 +0300] «GET /u_door.php HTTP/1.1» 200 24613 http://yandex.ru/yandsearch?text=++» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)» 95.108.220.63 — — [18/Apr/2010:17:08:20 +0300] «GET /artmaster.php HTTP/1.1» 200 24265 http://yandex.ru/yandsearch?text=+» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» ….. И одновременно с этими заходами появились и другие, которые по ip точно не определишь, что с Яндекс (хотя эти ip тоже имеют определенную принадлежность — CORBINA), но в остальном это тоже самое — единичные заходы ежедневно по такой же группе запросов, как с ip Яндекса. ====== Платон Щукин, Служба поддержки Яндекса: По указанным Вами логам видно, что переходы происходили из результатов поиска поисковой системы и запросы, которые осуществлялись с IP принадлежащих Яндексу, являются нормальными запросами, так как поиском пользуются и наши сотрудники. Если Вы считаете, что запросы были осуществлены роботом, то для того, чтобы мы могли разобраться в проблеме, пожалуйста, пришлите более свежие и подробные логи. ====== Я: В общем-то я была уверена на 99%, что на вопрос мне не ответят… Можно было бы посочувствовать — вам приходится отвечать на вопросы, ответы на которых вы либо не знаете, либо не имеете права отвечать… Наверное для такой работы отбирают людей с хорошей фантазией. Придумать такое :) Сотрудники Яндекс больше месяца ежедневно более 10 раз в день посещают сайт, посвященный исключительно продаже станков и что еще интересней, чтобы попасть на этот сайт они набирают в поиске многозначительный поисковый запрос — «с» («text=» — это по понятному «поисковый запрос=с») :):):) Судя по тому что вам нужны только недавние логи, вы в курсе, что Яндекс перестал работать со «своих ip» — возможно после запросов, подобных моему. Но вот с ip CORBINA, конечный пользователь которых не указан :), продолжает: 95.26.3.1 — — [13/May/2010:06:38:35 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» 95.26.61.101 — — [13/May/2010:13:32:16 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)» 95.24.145.144 — — [13/May/2010:13:55:26 +0300] «GET / HTTP/1.0» 200 21204 «http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1; .NET CLR 1.1.4322)» Хотелось бы увидеть ваш ответ — просто ради интереса: как вы объясните как по такому «нормальному запросу» как «с» простые пользователи, а также непростые, как ваши сотрудники, могут искать сайт по станкам и находить его :) : >> 95.108.220.71 — — [28/Feb/2010:20:17:37 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)» >> 95.108.220.54 — — [01/Mar/2010:10:30:18 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)» >> 95.108.220.53 — — [02/Mar/2010:17:46:08 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» >> 95.108.220.42 — — [02/Mar/2010:19:43:00 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.97 — — [03/Mar/2010:12:24:01 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.108 — — [04/Mar/2010:20:06:46 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)» >> 95.108.220.118 — — [05/Mar/2010:07:41:11 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.70 — — [05/Mar/2010:18:42:36 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?stype=&nl=0&text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)» >> 95.108.220.89 — — [06/Mar/2010:01:57:51 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)» >> 95.108.220.46 — — [06/Mar/2010:23:49:28 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)» >> 95.108.220.27 — — [07/Mar/2010:11:40:30 +0200] «GET / HTTP/1.1» 200 1945 http://www.yandex.ru/yandsearch?text=&stype=www» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; .NET CLR 1.1.4322)» >> и так далее…. >> 95.108.220.86 — — [15/Apr/2010:10:58:24 +0300] «GET / HTTP/1.1» 200 21414 http://yandex.ru/yandsearch?text=» «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50» ====== Платон Щукин, Служба поддержки Яндекса: Пожалуйста, уточните адрес Вашего сайта. Если Ваш сайт находится по данному запросу, то в связи с этим и пользователи могут на него перейти из результатов поиска. ====== No comments: http://hauptpostamt.wordpress.com/2008/09/09/мм-жванецкий-дурочка/