Компания "Мастерхост" по ошибке заблокировала доступ индексатора "Яндекса" к сайтам, заказавшим у хостера услугу виртуального хостинга.
По словам Сергея Кошкина, гендиректора оптимизаторской компании "Смартсео", c начала мая часть клиентов компании выпала из поискового индекса "Яндекса", так как "Мастерхост" просто перестал пускать робота "Яндекса" на соответствующие сайты. Техподдержка провайдера объяснила действия хостера тем, что он блокирует роботов "Яндекса", так как считает их действия похожими на DDoS-атаку.
Александр Садовский, руководитель отдела веб-поиска "Яндекса" в комментарии коллективу блога Roem.ru отметил, что "Яндекс" действительно внес изменения в алгоритм работы ботов:
Новый контент на сайтах появляется в основном днем. Чтобы более своевременно и полно индексировать свежую информацию, мы перенесли часть ночного обхода робота на дневное время (изменения мы внедряли плавно, в течение месяца, а именно со 2 апреля по 4 мая).
Это изменение практически не сказалось на общем количестве обращений робота к сайтам - оно только перераспределило нагрузку между дневным и ночным временем в сторону первого. Несложные защиты от DDoS-атак могли ошибочно счесть за атаку увеличение числа обращений от робота в дневное, пиковое, время - и запретить обращение к сайту.
Если хостинг блокирует обращение надолго, то сайт может исчезнуть из результатов поиска. Мы не наблюдаем сколько-нибудь заметного "выпадения" сайтов, следовательно, бóльшая часть хостингов перенесла изменения нормально.
После того, как руководство "Мастерхоста" узнало о проблеме из закрытой рассылки ЕЖЕ, по словам Сергея Кошкина, с ним сразу же связались представители компании, сообщили о внесенных исправлениях и извинились за доставленные неудобства.
Интересно, что некоторые особо дальновидные авторы уже давно предсказывали битвы роботов, состязающихся в битвах за контент. Правда, вмешательство людей в эти битвы пока все еще нивелирует зрелищность данного вида спорта, однако не стоит сомневаться, что по мере усложнения архитектуры агрегаторов контента, последствия ошибок роботов будут все более масштабными.
Официальная позиция / Комментарий эксперта
А вот возьму и поддержу "Мастерхост". Я тоже считаю что Яндекс ведёт себя иногда как DDoS.
Я подписываюсь.
)
http://webplanet.ru/column/service/l_...earch.html
http://webplanet.ru/news/telecom/2006...balta.html
А под фразой "С одной стороны, взбесившиеся бабароботы яндекса уже приучили, что если сайт начинает тормозить, то нужно ipfw reset tcp fr om 77.88.0.0/18 to any, а уже потом искать, что может тормозить." пусть автор сам подпишется
У доброй части хостеров limit_rate на всех этих пауков прописан (а нет скажите, коллеги, а?).
> мы перенесли часть ночного обхода робота на дневное время (изменения мы внедряли плавно, в течение месяца, а именно со 2 апреля по 4 мая).
А это и вообще былинный отказ. Все прошлые попытки договориться успехом не увенчались. А уж сейчас и людей нет там тех. Опять всё заново.
Так что ничего необычного и непредсказуемого я в этой ситуации не вижу.
Кошкин! Это уже всё боян
Контекст комментария
Комментарии
Комментарий эксперта. Развернуть?
Вдруг они хотят сделать перманентные апдейты?
меня вот одно интересует - почему данная проблема связанна сугубо с мастерхостом?
т.е. другие хостеры отморожены не до конца, а мастерхост совсем заигрался у себя в песочнице?
> Вдруг они хотят сделать перманентные апдейты?
да хоть рандом в выдаче ;-)
"Мы, клиенты, мастерхоста, пупкины блоггеры, филькины спаммеры, графоманы экслеркины, сео-свистелкины ,строители ГСов , ударники дорвейного труда, и ветераны сапы, челом бьем и просим оградить наш оазис от всяких Яндексов, Гуглов и прочих Cuil-ов, кои воруют наш дорогой копипащений и автосгенеренный мусор, коего в интернете с каждым днем куча за кучей великая пребывает.
Надо просто задурдосить сайты помойко генераторы, благо список у Яндекса поплняется. И всякого навозы в выдаче станет помешьше процентов на 0.2
У Вас от снобизма распирает речевой вывод.
Привет трудягам sape-ковой лопаты.
Не пререживайте Вы так. Других хостингов море.
Не знаю как сейчас обстоят дела. Но лет 8 назад Мастерхост был один из самых толково организованных хостингов, это касалось совершенства личного кабинета и качество и поразительной скорости работы поддержки.
Некоторым другим "ветеранам" до сих пор свойственен хаотичный базарный стиль работы.