Открытка компании: сколько времени в «Яндексе» решаются проблемы с индексацией? (+)

Редакция Roem.ru не несет ответственности за материалы, размещенные в этом разделе читателями ресурса. Они добавляются через форму на сайте, и могут быть опубликованы без предварительной модерации.

Месяца полтора назад у "Яндекса" отвалился из индекса наш сайт. Вместо 800 тысяч документов, число проиндексированных снизилось до 125 тысяч. После этого поисковый трафик упал в два раза.

1-го апреля им об этом было написано письмо, не получив через неделю никакого ответа, начали туда звонить, после чего Платон Щукин ответил следующее:

Здравствуйте!


 Мы разбираемся с этой проблемой и сегодня обязательно Вам ответим, что нам удалось выяснить. Подождите, пожалуйста, немного.

Вдогонку прислали следующее:

Алгоритмы борьбы со спамом, используемые в поиске Яндекса, обнаружили, что на страницах Вашего сайта стоят ссылки, предназначенные для накрутки в поисковых системах рейтинга сайтов, на которые они ведут. Страницы с такими ссылками автоматически понижаются при ранжировании и по большинству запросов находятся существенно ниже, чем могли бы.

Что касается уменьшения страниц в выдаче - то тут как таковой проблемы нет, все страницы как и раньше участвуют в поиске, но вот посмотреть их одновременно через rhost или url в данный момент не представляется возможным.


Мы работаем над решением этой проблемы.

Пессимизация для нас не новость - она началась уже давно и наши материалы, перепечатанные другими ресурсами, практически всегда находились выше в выдаче "Яндекса", чем наши. Однако слова об отсутствии проблем как таковых плохо соотносились с действительностью, так как они отсутстовали и в отчете "Яндекса" для вебмастеров, который рапортовал, что в индексе находится 56477 страниц. Да и уменьшение количества переходов вдвое, тоже показывает на изменение числа страниц в индексе.

На эти возражения Платон Щукин из "Яндекса" отвечал еще неделю:

Здравствуйте!

Сейчас в Я.Вебмастере видна следующая информация:



Общая информация

Дата последнего обращения робота к сайту: 13 апреля 2008, 09:35

Число загруженных страниц: 1207702


Поисковый индекс

Страниц в индексе: 50855



Здесь цифра "50855" берется из общего поиска по запросу url.

Это было 15-го апреля. Пришлось опять позвонить в "Яндекс", там заверили, что это баг и скоро-скоро все вернется на круги своя. Через месяц, сейчас в "Я.Вебмастере" выдается, что в поисковом индексе ноль страниц (!!!), а через поиск url - 945 246

То есть и то, что они писали, что количество страниц в данных Я.Вебмастера берется из общего поиска, тоже не соответствует действительности.

При этом ничего практически не находится, то есть налицо глубокая пессимизация и касается она только нашего сайта, так как у всех остальных СМИ у которых установлен такой же рекламный блок от РБС никакой пессимизации нет.

Интересно, сколько времени в итоге понадобится "Яндексу" на исправление? Когда в сентябре "Яндекс" ошибочно забанил сайты СМИ, на устранение неисправности ушло меньше суток.

Комментарий представителя компании

  • Контекст комментария

    Александр Садовский

    1. Количество страниц, которые находятся в поиске по запросам с операторами host/rhost/url для крупных сайтов, может быть заметно меньше, чем число страниц, реально участвующих в поиске. Это связано с архитектурой поисковой системы — при формировании списка документов, из которых составляется ответ, отсекаются страницы, которые не имеют шансов оказаться релевантными («прюнинг»). При этом по запросам со словами все релевантные документы попадают в ответ. Нулевое число страниц, выдаваемое в сервисе Яндекс.Вебмастер, это наша ошибка, мы исправим ее в ближайшие дни. Спасибо за сообщение. 2. «Глубокая пессимизация» не упомянутого в тексте сайта, возможно, следствие размещения SEO-ссылок на сайте и автоматического обнаружения их нашей программой. Мы описывали свое отношение к этому явлению (http://webmaster.ya.ru/replies.xml?item_no=325): «…мы не гарантируем, что ранг сайтов, продающих ссылки, не понизится.» Сайты «всех остальных СМИ» тоже в поле зрения этого алгоритма но, видимо, не перешли порог, после которого санкции, примененные к сайту, становятся очевидными.

Добавить 50 комментариев

  • Ответить

    Там сложно. Сегалович на КИБе рассказывал, что в свое время сам факт наличия службы поддержки для интернет-проекта был прорывом. С поиском же обращений достаточно много, при этом, объективно говоря, на большую часть из них приходится отделываться отписками. Возможно, поэтому не всегда получается достукиваться до тех, до кого надо.

  • Ответить

    Платон Щукин — просто секретарша, имеющая набор стандартных отписок и ни в чем не разбирается. Вашей проблемой просто никто не занимается, поэтому она никогда не будет решена.

  • Ответить

    Некоторые фразы типа: «Пессимизация для нас не новость» или «После этого поисковый трафик упал в два раза» показывают, что хозяева очень сильно озабочены поисковой оптимизацией. На этом пути есть скользкие дорожки, из-за которых такие последствия и могут наблюдаться. Сайт в >1млн документов серьезно зависящий от поискового трафика — это вызывает некоторые сомнения, вот и хотелось бы на него взглянуть, чтобы их рассеять ;-)

  • Ответить

    И это можно ;-) (Ну правда высокое звание СМИ для перепечатывальщиков, трансляторов, рерайтеров новостей плохо подходит). А вот из СМИ сделать «дорвей» вполне так себе не сложно. Если это СМИ, тем более непонятно почему нельзя привести тут url. Естественно мои подозрения могут быть беспочвенны.

  • Ответить

    1. Количество страниц, которые находятся в поиске по запросам с операторами host/rhost/url для крупных сайтов, может быть заметно меньше, чем число страниц, реально участвующих в поиске. Это связано с архитектурой поисковой системы — при формировании списка документов, из которых составляется ответ, отсекаются страницы, которые не имеют шансов оказаться релевантными («прюнинг»). При этом по запросам со словами все релевантные документы попадают в ответ. Нулевое число страниц, выдаваемое в сервисе Яндекс.Вебмастер, это наша ошибка, мы исправим ее в ближайшие дни. Спасибо за сообщение. 2. «Глубокая пессимизация» не упомянутого в тексте сайта, возможно, следствие размещения SEO-ссылок на сайте и автоматического обнаружения их нашей программой. Мы описывали свое отношение к этому явлению (http://webmaster.ya.ru/replies.xml?item_no=325): «…мы не гарантируем, что ранг сайтов, продающих ссылки, не понизится.» Сайты «всех остальных СМИ» тоже в поле зрения этого алгоритма но, видимо, не перешли порог, после которого санкции, примененные к сайту, становятся очевидными.

  • Ответить
    Альтер Эго

    Синодов, может, и не может назвать урль. А я, простой анонимус вульгарис, могу. Это очевидно. Это же regnum.ru! Соркин многим жаловался на несправедливость. Отсюда и конкретный вопрос к Садовскому: так почему же Regnum.ru пессимизирован? Да еще с такими перекосами в индексации. Это ведь не какая-то линкопомойка, а крайне популярный проект с оригинальным контентом и с сотнями тысяч читателей.

  • Ответить
    Альтер Эго

    Посторонний, тут дело в ссылках, что у них внизу установлены. «Серая» SEO, а если по-честному, это накрутка тИЦ’а. Понятно, что Яндексу это не понравится.

  • Ответить

    2 Посторонний >> Синодов, может, и не может назвать урль. А я, простой анонимус вульгарис, могу. Это очевидно. Это же regnum.ru! http://www.yandex.ru/yandsearch?text=rhostru.regnum.*|rhostru.regnum.www.*&pag=u http://www.yandex.ru/yandsearch?ras=1&spcctx=notfar&zone=all&wordforms=all&lang=all&within=0l&Link=&rstr=&site=regnum.ru&numdoc=1&ds= http://www.yandex.ru/yandsearch?serverurl=regnum.ru завтра, когда проснётся начальство Ре, спрошу у них про эти домыслы. сроду они мне на такое не жаловались

  • Ответить
    Альтер Эго

    Как уже надоел этот Яндекс — скорей бы уже распилили своё айпиошное бабло и отвалились отдыхать. Вообще интересно — всё это постоянное сеошное гавно вокруг Яндекса — это может такой хитромудрый пиар, который обходится дешевле чем производство качественного поиска? Може это просто такая финансовая оптимизация поискового бизнеса?

  • Ответить

    2 Посторонний беру свои слова назад. похоже, что вы правы яндексу очередной нереспект. это ж как надо с головой рассориться, чтобы гноить Регнум?

  • Ответить
    Альтер Эго

    А вот не надо на Яндекс наезжать. Все правильно делают. Чистят результаты поиска от мошенников.

  • Ответить
    Альтер Эго

    Ну да, «Яндекс» это типа Робин Гуд — забирает ссылки у богатых и отдает их бедным плагиаторам.

  • Ответить
    Альтер Эго

    Видимо, бедные плагиаторы используют накрутку тиц-а гораздо в меньшей степени. Глупо было так подставляться, если твой бизнес настолько зависит от поискового трафика. В SEO-шной среде об этом говорили еще два года назад (про понижение позиции в выдаче при использовании такой тупой накрутки тица).

  • Ответить

    Речь, на самом деле о другом, не о трафике. То что они пессимизированы — они знают. Беда в том, что невключение в поисковый индекс приводит к тому, что ты знаешь, что у тебя была статья по какой-то конкретной теме, но никак не можешь ее найти с помощью «Яндекса». Потому что «Яндекс» считает, что на твоем сайте такой нет, вообще.

  • Ответить
    Альтер Эго

    м.б. это была переиндексация сайта, у меня такое — («…выдается, что в поисковом индексе ноль страниц (!!!), а через поиск url — 945 246…») бывало

  • Ответить
    Альтер Эго

    так я же говорю, проблема с трафиком скорее всего связана с пессимизацией из за SEO

  • Ответить

    Вот тут, Юрий, Вы за живое задели: «у тебя была статья по какой-то конкретной теме, но никак не можешь ее найти с помощью «Яндекса». Потому что «Яндекс» считает, что на твоем сайте такой нет, вообще» Получается, что Яндекс, являясь фактическим монополистом новостного поискового траффика, может пессимизировать СМИ. Если статья интересная и ее перепечатает по взаимному согласию тысяча Дайджестов — тогда что, за это их робот пессимизирует? А если она не про продукты-услуги, а про политику — тоже? Рулят свободой слова мозгом робота, которому все это покажется SEO? Тогда с новыми медиа что будет? 2webbug+1

  • Ответить
    Альтер Эго

    p.e.b, речь не об этом. не о качественном контенте регнума, не о перепечатывании. а о блоке, на каждой странице регнума «корпорация рбсраскрутка сайта — продвижение сайта — поздравляем наших клиентов!» в котором накручивается тиц. Это мошенничество по отношению к Яндексу. Вы хотите, чтобы Яндекс относился к регнуму как то иначе?

  • Ответить
    Альтер Эго

    Ну «Регнуму» как раз интересно, что происходит с его трафиком, что его колбасит не по детски. Или оптимизаторы дважды проморгали очень неслабые изменения в алгоритме, или Регнуму кто-то что-то подкрутил ручками? На этом мысль останавливается.

  • Ответить
    Альтер Эго

    Разместить блок автоматической системы с накручиваемыми ссылками, могли только сами владельцы регнума. Такой ошибки нормальный SEO-шник не допустил бы.

  • Ответить
    Альтер Эго

    p.eb., там фишка в том, что автоматические системы, обычно имеют легко определяемый кусок html-кода, единый (~похожий, не важно) для всех сайтов участвующих в системе. вот они и помечаются Яндексом достаточно просто. В вашем примере, непонятно. Если внешние ссылки, то скорее всего да, через некоторое время могут забанить, а могут и не забанить, зависит от общей «ссылочной массы» страницы.

  • Ответить

    яндекс уже утомил своими искусственными правилами… удивительно, как он промыл мозг всему Рунету — этого уже даже не замечают! хороший поиск — это не тот поиск, который банит сайты, нарушающие его искусственные правила, а тот который отдаёт адекватную выдачу в независимости от обстоятельств. пессимизация _должна бы_ играть роль уравновешивающего инструмента. если сайт за счёт спамдексинга вышел на позиции выше адеквата, то пессимизация должна вернуть его в адекват. а у яндекса пессимизация — инструмент наказания за попытку спадексинга. она заталкивает сайт НИЖЕ адеквата, при чём заведомо. и что это — объективный поиск, адекватная выдача? задача яндекса в чём: образцово-показательно наказать непокорных или пользователям адекватную выдачу отдать? ответ очевиден: важнее — покарать, а интересы пользователей стоят на втором месте после интересов яндекса.

  • Ответить
    Альтер Эго

    хороший поиск — это не тот поиск, который банит сайты, нарушающие его искусственные правила, а тот который отдаёт адекватную выдачу в независимости от обстоятельств. +1 мне кажется, что крайне идиотично банить хороший сайт потому, что у него есть плохие ссылки в силу каких-то недочетов админов сайта или чего-то еще Надо уметь уменьшать вес ссылок, а не исходного сайта А этот «супербан» — идиотизм какой-то

  • Ответить
    Альтер Эго

    ответ очевиден: важнее — покарать, а интересы пользователей стоят на втором месте после интересов яндекса. я думаю причина не злонамеренность и желание покарать, а техническая непродуманность Яндекс не хочет стать карающим и банящим «хозяином рунета», просто программисты не догадались, что можно менять вес ссылок, а не только сайтов. Слишком слепое следование чужим статься (ПейджРанк кажется Гарсиа-Малины и Брина) до добра не доводит

  • Ответить

    2 Alter Ego >> я думаю причина не злонамеренность и желание покарать просто карать-то проще. иначе придётся самому яндексу садиться и долго писать алгоритмы, отделяющие реальную релевантность от накрученной. это сложно. а если такой сайт просто забанить, не вдаваясь в подробности, то это приведёт к самоцензуре и большей дисциплинированности других сайтов — такова идеологическая «подкладка» бана. но сейчас уже даже до поисковиков доходит, что нет, не приведёт бан к самоцензуре и дисциплине. поэтому придумали усреднённую меру — пессимизацию. вот только она, о чём я и сожалею, в исполнении яндекса призвана не восстановить нарушенную оптимизаторами адекватность выдачи, а опять же служит карательным орудием. вот я и спрашиваю, что у них является главной целью: адекватность выдачи или внушение покорности и показательные порки? потому что пессимизация в нынешнем виде всего лишь превращает неадекватно высокие позиции в неадекватно низкие. и непонятно, почему для пользователя это должно быть лучше — если результат поиска по-прежнему неадекватен?

  • Ответить

    Я считаю, что очеловечивание действий роботов просто необходимо. Т.е все же должен быть Адекватный человеческий разум, который поправит результаты действия робота и отделит SEO от СМИ. Понятно, что это дороже и ответственность придется на себя брать, а Яндексу не хочется. Это кто сделал?- Спрашиваем мы у Яндекса «РОБОТ» отвечает Яндекс — с него и спрашивайте, а мы руки и мозг свой марать не будем. Как-то робот Гугла удалил сайт BMW — на следующий день ручками вернули, и не запачкались. А наши даже пресс-портрет оперативно поправить не хотели. Есть конечно в этом жесткая ПОЗИЦИЯ, вызывающая уважение, но дальше — то что будет? Найдется кое-что?

  • Ответить
    Альтер Эго

    да чего уж там, тут даже Яндекса с Гуглем сравнивали, это вам посильнее будет … пожалуй даже посильнее чем фауст гёте

  • Ответить

    2 p.e.b. >> А если сравнивать по социальной значимости Регнум здесь важнее сайта автогиганта если уж сравнивать честно, то БМВ-шный сайт в мировой Сети — это всего лишь корпоративный сайт. хоть и весьма известной конторы, но при этом с весьма плешивым контентом и прочими заглюками… и Регнум в Рунете имеет несопоставимо больший вес, чем БМВ в мировой Сети…

  • Ответить

    В истории с БМВ все почему-то опускают тот момент, что БМВ-шники сразу же зашевелились и в течение суток удалили дорвеи со своего хоста, вместо того чтоб гнать волну на форумах. После чего гугл их разбанил. Тут же бана никакого нет — раз, и два — на регнуме по-прежнему рекламные блоки с прямыми ссылками.

  • Ответить

    2 cls >> Тут же бана никакого нет — раз, и два — на регнуме по-прежнему рекламные блоки с прямыми ссылками. согласен полностью. к слову упомяну, что описанного перекоса в индексации лично я не фиксировал в отношении Регнума, потому и пишу только про пессимизацию. я сожалею лишь о том, что эта самая грешная пессимизация привела к парадоксальным результатам в выдаче, когда плагиаторы и дорвейщики (кстати!) получили более высокие позиции, чем авторы контента. такая выдача ничуть не более релевантна, чем выдача, накачанная решными сеошниками. собственно, пользователь, который ищет в яндексе, ничего не выиграл от этой пессимизации. даже, можно сказать, проиграл. контент плагиаторов по определению лишён изрядной доли ссылочной полезности типа досьёв, тематически близкой аналитики и проч., что есть на сайте авторов. но посылает яндекс пользователя к копипастерам. ЗЫ я тут, видите ли, занимаюсь новым делом: пытаюсь смотреть на ситуацию со стороны интересов рядовых посетителей интернета :) и я пока не вижу, чем выдача, покорявленная пессимизацией лучше выдачи, покорявленной сеошниками

  • Ответить

    В краткосрочной перспективе пользователь нет, не выигрывает, а в долгосрочной, имхо, да. Если грубо, то через какое-то время — год, два, пять — сеошники снимут свой блок с регнума, платных накрученых ссылок станет меньше, регнум «распессимизируют», качество поиска повысится. -) Ну а мне, как СЕО-шнику, придется переквалифицироваться. Надеюсь что не в управдомы -)

  • Ответить

    2 cls: давайте для простоты диалога отбросим всю маркетинговую казуистику яндекса и назовём вещи своими именами есть единый рынок на котором продаётся простой продукт: поисковый траффик. продают его поисковики — через директы, бегуны и адворды — и сеошники бан и пессимизация в её нынешнем виде не призваны сделать выдачу релевантной. это очевидно. также поисковики не столь наивны, чтобы ожидать, что карательные санкции остановят сеошников. но! эти меры приводят к УДОРОЖАНИЮ СТОИМОСТИ УСЛУГ КОНКУРЕНТА. вот тут мы можем сказать: бинго! такая мотивация полностью объясняет поведение яндекса. поэтому все штрафные санкции яндекса — это не забота об интересах пользователя в оперативной, тактической или стратегической перспективе, а старая, добрая «работа» с конкурентами во всей её многоликой красе. по приёмам конкурентной борьбы написаны мегатонны материалов, и в действиях яндекса легко читаются многие её классические приёмы. забота об интересах пользователя выглядела бы по-другому, я написал как. во всяком случае, вывод плагиаторов и дорвейщиков на более высоких позициях, чем авторов контента, не позволяет ни достичь релевантности, ни обеспечить интересы пользователей.

  • Ответить
    Альтер Эго

    поэтому все штрафные санкции яндекса — это не забота об интересах пользователя в оперативной, тактической или стратегической перспективе, а старая, добрая «работа» с конкурентами во всей её многоликой красе. Мне кажется Вы не правы, так как такая работа наказывает в первую очередь не конкурентов, а самих «пессимизаторов». Пользователи видет, что система не ищут то, что им надо, «баны» и «выигрыш в долгосрочной перспективе» пользователей не интересуют Они просто переходят на другие системы, благо такая транзакция в интернет обходится дешево, сменить поисковик это не сменить банк