Вот уже несколько месяцев по всем вебмастерским и оптимизаторским форумам интернета идет активная волна обсуждений по поводу того, какое огромное количество сайтов вылетело с начала осени из поискового индекса Яндекса.
Высказывается много разных предположений и догадок, количество версий перевалило за несколько десятков. Насколько они близки к истине – можно только гадать.
При этом никто почему-то никто не догадался спросить у самого Яндекса. Я ждал-ждал, пока кто-то спросит, потом решил спросить сам.
Яндекс – ответил. Четко, откровенно и подробно.
Итак, мои собеседники:
Технический директор Яндекса Илья Сегалович.
Руководитель отдела веб-поиска Александр Садовский. Руководитель группы отдела веб-поиска Сергей Певцов.
Часть 1. Хорошие сайты – не выбрасывать!
Андрей Шипилов: В последнее время на многих интернет-ресурсах особенно часто стало высказываться мнение, что Яндекс исключает из своего поиска большое количество сайтов, и причины, по которым он это делает, далеко не всегда понятны. Я тоже вижу признаки такой тенденции. Лично для меня очевидно, что это происходит вследствие попыток Яндекса улучшить качество своего поиска за счет выбрасывания из него «мешающих» сайтов, но чем именно Яндекс при этом руководствуется – понять очень непросто. Можно ли говорить о появлении некоей цензуры со стороны Яндекса? По каким критериям происходит отсев сайтов?
Илья Сегалович: Прежде всего, я хочу сразу сказать, что определенные санкции к каким-то сайтам с нашей стороны действительно могут иметь место – но это ни в коей мере не цензура. Когда речь заходит о «пессимизации», «фильтрации» и прочих ограничительных мерах со стороны Яндекса по отношению к тем или иным сайтам, то речь не идет об оценке смыслового содержания этих сайтов. Ни к одному сайту никогда не будут применяться никакие ограничительные меры исходя из политических, религиозных, моральных резонов или из-за того, что точка зрения, пропагандируемая сайтом, кого-то не устраивает.
Ограничительные меры применяются только исходя из качества сайтов, причем употребляя термин «качество», мы имеем в виду исключительно способность сайта влиять на качество и релевантность нашего поиска. «Некачественный» с нашей точки зрения сайт, то есть тот, к которому могут быть применены ограничительные меры, это сайт, который в силу тех или иных причин создает помехи в поисковой выдаче, мешает поисковой машине в ее работе, ибо в текущей модели ранжирования мы не можем его корректно отранжировать (проще говоря, он занимает неприемлемо высокое место по не соответствующим ему запросам). Это мешает пользователям в поиске нужной информации. Других критериев для применения санкций к сайту быть не может.
Отдельно хочу отметить, что, когда мы строим выдачу и анализируем запрос (и найденные документы ответа и историю поискового поведения по данному запросу), мы решаем попутно задачу повышения качества ответа в целом, качества представления всей страницы.
В частности, в нашей системе оценок есть оценка «явная глупость» - когда ответ не просто нерелевантен, он вызывает у пользователя отторжение и удивление по поводу работы поисковой системы.
Такие оценки получают ссылки, содержащие неудачное синонимическое расширение слова запроса или какую-нибудь морфологическую форму, которая несет совершенно другой смысл, чем слово в запросе, иными словами, эту оценку получает текст, диаметрально иного смысла, чем смысл заданного запроса.
Ровно в этих рамках (борьба с «глупостью») мы относительно недавно реализовали алгоритм определения запросов и ответов, которые можно трактовать двояко: и как поиск эротического и порнографического содержания, и как невинный информационный запрос. Например, запрос [девочки] может быть поиском повести Людмилы Улицкой, а вовсе не «девочек по вызову». Для человека, ищущего Улицкую, ответ с порнографией не просто нерелевантен, он «явная глупость».
Опираясь на классификаторы запросов и сайтов по порнографическому и непорнографическому содержанию, и построив соответствующие метрики, отражающие долю резко нерелевантного поведения нашей системы по «двояким» запросам, мы смогли реализовать механизм понижения в выдаче сайтов порнографического содержания.
При этом, важно заметить, что никакой модификации не подвергается ответ на запрос, у которого по нашему мнению (выраженному в алгоритмической оценке поисковой системы) нет иной интерпретации, кроме порнографии.
Андрей Шипилов: И насколько сильно такие «некачественные» сайты искажают выдачу поисковой машины?
Александр Садовский: Пытаются испортить выдачу – очень сильно. Но реальное влияние, «внешний выход» у всех таких сайтов в настоящее время стремится к нулю. Мы давно научились отслеживать попытки повлиять на поисковую выдачу и нивелировать их. По нашим данным, нам это удается.
Андрей Шипилов: Понятно, что вебмастера при помощи тех или иных методов оптимизации стараются поднять свой сайт в выдаче поисковой машины на верхние позиции. Очевидно, в стремлении сделать это вебмастер может нечаянно, не ставя перед собой цели нанести вред поисковой машине, переступить некую границу, после которой вы сочтете, что его сайт недопустимо влияет на качество поиска. Как вы определяете эту границу? Как вы страхуетесь от возможных ошибок в определении этой границы?
Александр Садовский: Мы старается соблюдать баланс интересов и вебмастера, и пользователя поисковой системы. Когда эти интересы вступают в конфликт, то мы всегда решаем этот конфликт в пользу пользователя пусть и в ущерб вебмастеру. Если же конфликта нет, то нам не жалко делиться с вебмастером ни трафиком, ни чем-то еще (сервисами через API, информацией о его сайте и т.д.). Мы, наоборот, готовы помогать, чтобы его сайт искался лучше, предоставлять соответствующие сервисы, интерфейсы, и мы делаем это.
Илья Сегалович: Я хочу сказать по поводу возможных ошибок. Мы понимаем, что вполне возможна ситуация, когда из-за ошибок или несовершенства алгоритмов качественные сайты могут либо не попасть в поиск, либо занять в его результатах ненадлежащую позицию.
У нас есть такая метрика: «Не выкидывать хорошие сайты».
Что мы делаем: по ряду запросов мы мониторим выдачу других поисковых машин, всех, кто хоть как-то ищет по-русски, включая все версии самого Яндекса - рабочую версию и внутренние, экспериментальные (у Яндекса много версий). И складываем все результаты в один котел. Если какой-то сайт присутствует в этом «котле», если он там имеет достаточно хорошие оценки, и при этом отсутствует в Яндексе, мы начинаем разбираться – почему. Причины могут быть разные. Чаще всего причина банальна – плохо отранжировался. Следующая причина – этот документ есть у нас в базе, но в выдачу не попал: так обычно бывает, если мы не сделали нужное синомическое расширение – человек искал по какому-то слову, а в базе был его синоним, искал «Ленинка», а в базе было «Библиотека Ленина».
И наконец, самая редкая причина – документа нет в нашей поисковой базе. И вот тут мы начинаем смотреть, по какой причине он не попал в нее. Да, кстати, говоря «смотреть», я не имею ввиду «смотреть глазами», это все делают алгоритмы, автоматически. Если документа в базе нет, мы смотрим, известна ли нам ссылка на этот документ. Как правило – известна, нам известно чудовищное количество ссылок, на порядки больше, чем наша база документов. Далее смотрим, а был ли скачен документ по этой ссылке – он ведь мог просто не скачаться по техническим причинам. Далее смотрим, какими метриками этот документ обрабатывался – вдруг он не попал в базу, потому что наши алгоритмы сочли его некачественным? Тут могут сыграть роль ссылки, которые на нем стоят, ссылки, которые на него ведут, дублированность контента, признаки сгенерированности текста, его неестественность – у нас много критериев. Мы считаем определенную сумму баллов, и когда сумма баллов превышает некий порог, мы сайт выбрасываем из поиска.
Мы очень тщательно отслеживаем долю документов, не попавших в выдачу, и если обнаруживаем качественный документ, который мы незаслуженно запессимизировали, мы вносим соотвествующие изменения в алгоритмы. И могу с уверенностью сказать, что доля таких сайтов у нас очень маленькая. Мы тщательно следим, чтобы она не увеличивалась, мы стремимся к тому, чтобы она уменьшалась.
Александр Садовский: Чтобы было понятно, «котел» какого объема оценивается, подчеркну, что это речь идет о десятках тысяч запросов, которые мы проверяем таким образом. Мы проверяем первые 30 позиций по каждому запросу. Считайте: десятки тысяч запросов, умножить на 30 первых позиций, умножить на количество версий, - это десятки миллионов URL. Все обнаруженные сомнительные случаи проверяются и, если необходимо, вносятся коррективы в алгоритмы. Мы уделяем огромное внимание этой проблеме.
Андрей Шипилов: Значит ли это, что любой качественный сайт, попавший в результате ошибки под пессимизацию, будет с течением времени автоматически реабилитирован?
Александр Садовский: Не обязательно. Ведь запросы для проверки выбираются случайным образом. Вот допустим, наш алгоритм обнаруживает на каком-то сайте страницу со словом «порно» и неадекватное нагромождение всяких порнографических терминов. С очень высокой долей вероятности мы имеем дело с сайтом, противоречащим поисковой лицензии, и алгоритмы принимают решение об исключении такой страницы. Но есть маленькая вероятность, что это, например, был текст законопроекта о порнографии. Если в результате случайной выборки нашей метрикой будет произведена проверка запроса «порно», и мы обнаружим этот случай, мы внесем изменения в алгоритмы, и все сайты, которые были пессимизированы из-за этой ошибки, с течением времени будут реабилитированы. Но если проверка по запросу «порно» не будет проведена, мы об этом случае не узнаем. Поскольку, повторюсь, запросы для проверки выбираются так, чтобы репрезентировать выборку в целом, но попадание конкретного запроса или URL – дело случая. Мы не можем дать гарантию реабилитации для каждого конкретного сайта, если ошибка нетипичная, и вебмастер нам не напишет.
Часть вторая. Робот «Платон Щукин»
Андрей Шипилов: Может в таком случае помочь обращение в вашу службу техподдержки? Если владелец сайта уверен, что его сайт пострадал незаслуженно и обращается в техподдержку, каковы шансы, что проблема будет разрешена справедливо?
Илья Сегалович: Тут надо понимать вот что. Те, кто создает сайты, предназначенные для манипуляции поисковой выдачей, – это, как правило, очень неглупые люди, многие из них имеют хорошее профильное образование. Кое-кого из них я лично знаю по совместной учебе и отношусь с уважением к их способностям. И подходят они к своей проблеме (а проблема эта называется «заспамить Яндекс») по-научному.
Что они делают: они применяют так называемый метод половинного деления. Сначала создаются откровенные псевдосайты, которые, понятное дело, выбрасываются из выдачи. Потом в ход идут заведомо качественные сайты, которые не могут быть выброшены, и далее, двигаясь с двух сторон, методом половинного деления находят ту «серую зону», где можно играть с поисковой машиной. Где можно создавать сайты, которые с одной стороны выглядят достаточно качественными, чтобы ускользать от автоматической пессимизации, а с другой - не являются по сути качественными, и не требуют, чтобы на их создание тратились заметные ресурсы.
Так вот, практически все обращения в службу техподдержки - я думаю, в цифрах это будет более 90% - касаются именно таких сайтов из «серой зоны». Пишут грамотные аргументированные письма: «А вот смотрите, почему вы этот сайт выбросили, он качественный, контент уникальный, ссылки по теме. Объясните почему.» Цель таких писем – методом перебора уточнить безопасные границы в этой «серой зоне». Предприняли какое-то действие – смотрят результат. Если результат отрицательный, сайт попал под санкции, они пытаются получить от нас обратную связь, проанализировать причины.
Сергей Певцов: И именно потому, что такие обращения прежде всего направлены на то, чтобы нащупать слабые места в наших алгоритмах, мы не можем давать ответ с указанием конкретной причины.
Андрей Шипилов: Это я могу понять. Я сам, будучи регистратором Вебмани, регулярно оказываюсь в такой же ситуации. Если ко мне приходит человек за персональным аттестатом, и я по определенным признакам вижу, что аттестат он хочет получить с криминальной целью, я никогда не сообщу ему эти признаки. Иначе он их учтет, скорректирует свои ошибки и получит аттестат у другого регистратора.
Но возможно именно такая политика приводит к тому, что часто приходится слышать, будто на письма в саппорт Яндекса всегда отвечает робот, который подписывается как «Платон Щукин».
Сергей Певцов: Конечно, отвечает не робот, при этом надо понимать, что на вопрос о типовой ситуации последует типовой ответ. Тут играет роль степень нашей уверенности, что мы поступили правильно. Если она у нас чрезвычайно высока, то, разумеется, нет смысла тратить много человеческих ресурсов на то, чтобы сообщить очередному дорвейщику, что он сделал очередной дорвей. Если такой твердой уверенности нет, или если мы видим, что ситуация сложная, то ответ всегда дается персональный и ситуация внимательно изучается. Но все же, как показывает практика, большинство сайтов, по поводу отсутствия которых в выдаче к нам обращаюся вебмастера, создавались специально с целью обмана поисковой системы и манипуляции результатами поиска.
Александр Садовский: Я хочу заметить, что если мы видим, что имела место ошибка с нашей стороны, то в алгоритмы вносятся изменения, улучшающие работу системы в целом, и это касается других сайтов, которые тоже могли бы пострадать в аналогичной ситуации. Мы очень внимательно относимся к этой работе, и если делать прогноз, то процент таких «пострадавших» сайтов будет все время снижаться.
Сергей Певцов: Кстати, хочу заметить, что каждое обращение изучается очень внимательно. Поток обращений очень большой, но это правило неукоснительно соблюдается. Ни одно письмо не остается без ответа. И если вам кажется, что на ваше письмо отвечают слишком долго (а обычно мы отвечаем в течение трех дней), то это говорит не о том, что к вам отнеслись невнимательно, а наоборот о том, что над вашей проблемой работают с особым вниманием и ее решение требует времени.
Часть 3. Уникальность не догма
Андрей Шипилов: хотелось бы поднять еще одну популярную тему под названием «уникальность контента». У вас на сайте написано, что Яндекс не одобряет наличие на сайте «неуникального контента», а в кругах вебмастеров ходят упорные слухи, что Яндекс «выбрасывает из индекса» сайты, на которых присутствует контент, скопированный с других сайтов. Я сам был свидетелем такого случая. Один известный мне онлайн-магазин транслировал на своей витрине ленту новостей, автоматически скопированных, или как еще говорят «спарсенных» с других сайтов, причем делал это легально по договору с правообладателями. Посетители магазина были довольны таким подходом. Но сайт магазина, тем не менее, был запрещен к индексации.
Александр Садовский: Вот вы сказали прекрасную фразу: «Пользователь доволен». Но ведь если вебмастер сайта, копируя чужие новости, в заголовке страницы или в Robots.txt поставит запрет индексации этих новостей, то это никак не уменьшит положительных эмоций пользователя. Но сайт от санкций спасет.
И кстати, наши критерии ведь не ограничиваются статистическим исследованием текста, и уникальность материалов – не единственный и даже не главный показатель. «Удовлетворенность пользователя» - не менее важный критерий.
По большому счету наша цель как раз и состоит в том, чтобы пользователь был доволен. И у нас есть средства, позволяющие оценить способность сайта решить ту или иную пользовательскую задачу, формализовать эту характеристику, обратить в цифры и использовать эти цифры при оценке качественности сайтов. Уверяю вас, что если мы видим, что «пользователь доволен сайтом», то это как минимум резко понизит вероятность попадания такого сайта под санкции.
Сергей Певцов: Еще раз подчеркну: уникальность контента совсем не определяющая вещь. О ней много говорят, но более важная характеристика - не уникальность, а полезность контента. Цель, с которой этот текст размещается. Сейчас есть программы, которые способны сгенерить мегабайты уникальнейшего и совершенно бессмысленного текста. Сейчас есть сканеры и программы распознавания текста, и это тоже средство заполнения сайтов уникальным контентом . И тут опять-таки надо четко понимать, с какой целью все это делается. Если это ставится на поток - быстрее-быстрее все выложить на сайты, чтобы хоть как-то их заполнить, если все это не вычитывается, а прямо так, с ошибками распознавания, вываливается в интернет, дробится на мелкие абзацы, форматируется как попало, сверх меры обвешивается рекламой – вряд ли такой сайт будет полезен посетителю, его будет просто неудобно читать.
А если то же распознавание делается тщательно, любовно, с действительно полезной целью, если при этом не жалеются время и силы, чтобы придать документу удобочитаемый вид – такие вещи тоже замечаются и оцениваются. Если человек проделал полезную работу – это более важная вещь, нежели формальная «уникальность».
Александр Садовский: Другой способ получения «уникального» контента – рерайтинг. Когда берется новость и переписывается, подбираются синонимы. Иногда это делается автоматически, программами-синонимайзерами. Потом пишут нам, возмущаются «как же так, текст уникален, а вы его выкинули, смотрите, вот такая-то фраза больше нигде не встречается, и вот такая...» Конечно, задача вычисления синонимизированного текста – это решаемая задача, мы можем во многих случаях это делать.
Но все это – лишь показатель того, каким образом многие люди реагируют на слово Яндекса о том, что мы ценим уникальные тексты, и как они механически пытаются обойти надуманную для себя проблему именно с целью заспамить Яндекс, а не создать что-то полезное.
Часть 4. Копипейст и приоритет
Андрей Шипилов: И коль скоро речь у нас зашла об уникальности контента, я бы хотел поднять близкую тему, воровство контента. Ситуация банальна: человек создал сайт, пишет хорошие тексты, эти тексты у него воруются и размещаются на множестве других сайтов. Кончится это может печально. Если поисковая машина не сможет разобраться, кто у кого украл, то она может запросто подвергнуть санкциям «за неуникальность» и сайт самого автора текстов.
Александр Садовский: Действительно, задача определения оригинала – очень сложная. Ее можно было бы решить, если бы у нас был бы мгновенный слепок информации по всему Рунету. В настоящее время у нас есть такой слепок по его новостной части, где мы может отследить первоисточник той или иной новости от новостного агентства с точностью до минуты. Что касается остальной части, то мы можем сказать себе, что велика вероятность того, что этот документ является первоисточником, но гарантии пока дать не можем. Робот может зайти на сайт чуть раньше или чуть позже, страница может оказаться недоступной и т.д. Но проблема не только в этом.
Если речь идет о старом сайте, то, к примеру, пять лет назад алгоритмов отслеживания первоисточников еще не существовало. Сейчас они есть, они все время совершенствуются, но вот старым сайтам они, к сожалению, уже ничем не могут помочь.
Сейчас мы стремимся к тому, чтобы оригиналы документов оказывались в выдаче выше копий. Если мы видим, что ситуация противоположная, то такую ситуацию мы однозначно трактуем как ошибку и принимаем меры к ее исправлению - обучаем алгоритмы, совершенствуем их.
Андрей Шипилов: И все-таки, что делать человеку в такой ситуации, которая, к сожалению, достаточно распространена. У него украли контент, наделали копий его сайта. Яндекс находит копии выше оригинала, потому что не может определить факт воровства. Человек пишет в саппорт, саппорт не может ему в такой ситуации помочь. Что делать?
Александр Садовский: Если человек действительно сам создал свой сайт, если он дорожит этим сайтом и готов бороться за него, то любые позитивные усилия с его стороны не останутся незамеченными. Если уж он смог создать контент такого качества, что его воруют, ничто не мешает ему продолжить совершенствовать свой сайт, создавать и дальше полезный контент, так что динамика его развития по сравнению с клонами станет очевидной. В ранжировании используются сотни факторов и усилия по развитию сайта не останутся незамеченными.
Сергей Певцов: Хочу уточнить. Вот вы сказали: «Саппорт не может помочь». Собственно, это не есть задача саппорта. В любой ситуации, когда у сотрудника саппорта возникает сомнение, он передает задачу аналитикам и потом только транслирует вебмастеру их решение или рекомендацию. К сожалению, далеко не всегда, если говорить именно о подобной ситуации, аналитик в состоянии понять, кто тут прав, кто виноват. И очень многое тут зависит от того, каким образом клиент сформулировал проблему, какие факты он привел. Зависит от того, насколько грамотно и внятно вебмастер объяснил, что у него случилось, почему он считает, что произошла ошибка с нашей стороны, и как он аргументирует это.
Часть 5. Политика борьбы с поисковым спамом.
Андрей Шипилов: Ходят упорные слухи, что с начала осени Яндекс повел бурное наступление на сайты, торгующие SEO-ссылками. Как вы можете это прокомментировать?
Александр Садовский: У нас был только анонс наружу алгоритма АГС-17, - возможно, это привлекло внимание и создало видимость «запуска» какой-то кампании по борьбе. Действительно, периодически мы запускаем новые алгоритмы, которые отлавливают новые типы спама, но это непрерывная, текущая работа. Возможно, осенью стал отлавливаться спам, который раньше сходил с рук. Но называть это стартом какой-то кампании неправильно.
На конференции в Харькове со стороны биржи ссылок Sape была озвучена такая статистика: около 20% сайтов, которые торговали SEO-ссылками на этой бирже, перестали учитываться Яндексом. Хочу подчеркнуть, что речь шла не о нормальных сайтах, а именно о сайтах, созданных исключительно для торговли ссылками. Этот факт говорит о том, что наши алгоритмы стали работать лучше. Я хочу подчеркнуть, что и со стороны биржи SAPE прозвучала ровно та же оценка ситуации. Докладчик заметил, что биржа изначально создавалась как инструмент помощи вебмастерам, а не как инструмент для спама. И что сейчас «ушла» именно та часть заведомо некачественных сайтов, которая служила для заспамливания, и которая мешала в том числе и работе самой биржи.
Сергей Певцов: Я хочу обратить внимание на то, что и по нашим оценкам около 20% сайтов, появившихся с начала этого года, созданы исключительно для поискового спама. Согласитесь – это ненормально. Эти сайты создают помехи поиску, они не несут абсолютно никакой ценности для пользователя. Разумеется, нам не выгодно появления такого количества бесполезных сайтов. И, разумеется, мы с ними боремся и будем бороться.
Андрей Шипилов: Имеет ли смысл исключать сомнительные сайты из выдачи, если можно с тем же успехом просто нивелировать их влияние?
Александр Садовский: Мы именно так и делаем, когда есть такая возможность. Но она есть далеко не всегда.
Сергей Певцов: Не говоря уже о том, что это требует дополнительных ресурсов. Чтобы только обойти эти двадцать процентов бесполезных сайтов, надо потратить немало времени, не говоря уже об обработке и хранении информации.
Александр Садовский: Давайте рассмотрим гипотетическую ситуацию. Мы обнаруживаем на сайте тысячи страниц автоматически сгенеренного бессмысленного текста. Какова вероятность в такой ситуации, что десять оставшихся страниц, которые выглядят, как нормальные, на самом деле сделаны для пользы посетителей? Логика подсказывает, что нормальный вебмастер не стал бы размещать такое количество мусорного текста на нормальном сайте, и, скорее, мы имеем дело с попыткой обмана.
Тем не менее, даже в такой ситуации, если мы видим, что какая-то часть сайта нормальная, мы стараемся оставить эту нормальную часть в индексе и накладываем фильтр только на мусорную часть.
Сергей Певцов: Я хочу добавить еще, что в последнее время участились случаи, когда на совершенно нормальных сайтах в результате взлома, какой-то вредоносной атаки, недобросовестности сотрудников появляются мусорные страницы. В такой ситуации было бы совершенно неправильно закрывать весь сайт от индексации. И тут мы действуем максимально «точечно» - закрываем только мусорные или вредоносные URL, предупреждаем владельцев сайта о возникшей у них проблеме.
Александр Садовский: Поисковый спам – это еще и социальное явление. Спамеры на этом зарабатывают, создаются дочерние рынки, например, рынок инструментария для спама. Это огромная сложная структура. Если мы будем бороться с этим явлением только фильтрацией части контента, мы всегда будем отставать на шаг и неизбежно проиграем. У нас будет страдать полнота поиска, а у них – оставаться свобода для маневра в поисках всяких лазеек. Закрывая сайт, то есть воздействуя на этот рынок экономически, мы лишаем спамеров этой свободы маневра. Поэтому закрытие сайта в поиске (в том случае, если мы абсолютно уверены в том, что он «плохой») это еще и социальное явление. Сайт не получит дохода, и неумелые дорвейщики будут вынуждены уйти с рынка.
Андрей Шипилов: А умелые – они останутся?
Александр Садовский: Умелые – останутся, но они способные и быстро понимают, что этот бизнес рискованный и недолговечный и постепенно уходят в белую оптимизацию.
Сергей Певцов: Влияние на экономику процесса – самый эффективный способ противодействовать этому явлению. Когда человек создает бесполезный сайт и зарабатывает на продаже ссылок столько, чтобы отбить хостинг и у него еще остается, то он создаст еще один такой же сайт, потом еще один... Прервать этот процесс можно, только сделав такую деятельность экономически невыгодной.
Андрей Шипилов: Вот вы упомянули слова «социальная значимость». Но они ведь имеют и другую сторону. Поисковым спамом люди занимаются не от стремления навредить, а потому, что порог входа на этот рынок очень низкий. Можно, вложив минимальные средства, тут же начать зарабатывать деньги. Иногда такой заработок становится панацеей именно для социально незащищенных групп – инвалидов, пенсионеров. Вам не приходило в голову, что бороться с поисковым спамом можно не только повышая порог входа на этот рынок, но и предложив какой-то собственный, альтернативный способ заработка со столь же низким порогом входа, который не наносил бы никому ущерба?
Александр Садовский: Так ведь у нас есть такой способ. Минимальная стоимость рекламной кампании в Яндекс.Директе – всего триста рублей – сумма вполне подъемная не только для Москвы, но для отдаленных регионов. У нас есть narod.ru и narod2.ru, где не надо платить за хостинг и можно создать полноценный сайт, не владея навыками верстки и программирования. Чтобы не быть голословным, приведу пример из собственной практики. У моих родителей был небольшой бизнес. Я потратил четыре часа, чтобы создать на «народе» сайт с описанием их услуг. Это не стоило мне ни копейки. Я потратил триста рублей на рекламу в Яндекс.Директе. Этого оказалось достаточно, чтобы пошли клиенты, которые приносили доход, намного превышающий понесенные затраты.
Андрей Шипилов: Однако то, что вы рассказали, подразумевает еще и наличие расходов на организацию того самого мелкого бизнеса, который будет рекламироваться на Яндекс.Директе. Люди идут за заработком в поисковый спам, потому что там таких расходов нет. Просто делают сайт и сразу начинают зарабатывать.
Александр Садовский: Вот вы употребили слово «зарабатывать». А что оно означает? Если вы «зарабатываете», вы производите некую ценность, материальную или информационную, которую меняете на деньги. Те, кто занимается поисковым спамом, никакой ценности не производят. Деньги, что они получают – не «зарабатываются», они просто перетекают из одного кармана в другой. Эта модель «заработка» очень похожа на игру на Форексе или фондовом рынке на основе технического анализа. Если вы выиграли, то лишь потому, что кто-то проиграл. Если вы играете грамотно и умеючи, вы можете очень долгое время быть в выигрыше. Но это не значит, что завтра вы не проиграете. В области поискового спама – то же самое. Если кому-то в какой-то момент повезло и деньги потекли к нему, то высока вероятность, что завтра они потекут не к нему. Просто надо четко понимать, что если вам удалось «заработать», не произведя никакой ценности, то ваш «заработок» - это не «заработок», а такая же улыбка фортуны, как и выигрыш в игровом автомате.
Часть 6. Советы вебмастерам от Яндекса
Андрей Шипилов: Ну и в заключение давайте вернемся к началу разговора. Вот такая ситуация: Вебмастер видит, что его сайт попал под санкции. Что вы посоветуете ему сделать, как вести себя?
Александр Садовский: Прежде всего - написать в саппорт. Если саппорт увидит, что проблема действительно имеет место, он обязательно примет меры.
Андрей Шипилов: А если вебмастер и сам без саппорта видит, что проблема в том, что он нарушил поисковую лицензию? И понимает, в чем именно эти нарушения заключаются. Спасет ситуацию, если он самостоятельно эти нарушения устранит?
Александр Садовский: В большинстве случаев – да. Конечно, бывают исключения, но это если уж сайт не просто нарушил поисковую лицензию, а был создан с какой-то заведомо вредоносной или «криминальной» целью. Такой сайт, конечно, в поиск не вернется.
Сергей Певцов: Но я хочу заметить, что по нашим наблюдениям, по нашей статистике, если сайт попал под санкции, а потом нарушения были устранены, вследствие чего сайт вернулся в поиск, то в подавляющем большинстве случаев эти нарушения потом снова повторяются. Все, что было убрано – тут же появляется снова.
Но, тем не менее, такие сайты все равно возвращаются в индекс. Нам просто невыгодно держать сайты забанеными, поскольку это уменьшает полноту нашей поисковой базы.
И еще совет. Если вебмастер пострадавшего сайта обращается в саппорт, ему надо быть откровенным, не пытаться хитрить или обманывать. Нам же прекрасно видны все эти хитрости. А честная позиция всегда позволит наладить конструктивный диалог. Надо понять простую вещь, не надо бояться, что вас «забанят», если вы будете говорить правду. Наша цель не «забанить», а найти решение проблемы. А вот неискренность со стороны вебмастера может помешать найти такое решение проблемы, которое устроило бы и его, и нас.
Александр Садовский: И еще один совет. Найдите лучшие сайты в вашей нише. Например, посмотрите в панели вебмастера, по каким запросам посетители находят ваш сайт, а потом сами наберите эти запросы в поисковой машине и внимательно изучите сайты, которые показываются по этим запросам на первых позициях. Просто посмотрите на лучшие образцы и поймите, что вы сделали не так.
Добавить 94 комментария
wanna subscribe
текс собран из самых типичных афрооптимизаторских набросов на Яндекс и самых типичных ответов Яндекса, которые каждый, занимающийся оптимизацией, слышал не один десяток раз. Зачем он здесь? а, я знаю. Чтобы не отставать от Вебпланеты в модном тренде поливания дерьмом поисковой оптимизации! http://webplanet.ru/column/advert/admin/2009/11/20/seo.html
Onlooker, я, в отличие от вас, не считаю, что любой вопрос Сегаловичу и Ко должен превозносить ценность поисковой оптимизации. Я тексты оцениваю с другой стороны: должно быть более-менее актуально (насколько это возможно для интервью) и, желательно, с толикой информации. Здесь интервью Шипилова выкрик Дерека Повазека кроет как бык овцу. Мне вполне интересно было узнать про «одноклассников» Сегаловича занимающихся спамом поисковых систем и их методы. Вполне интересно было узнать про мерку «глупость», внедренную по словам того же Сегаловича, недавно. И так далее. Ищите и обрящете.
а где я писал, что вопросы должны «превозносить ценность»? как это вообще возможно, не подскажете? Это интервью неактуально для тех, кто имеет отношение к поисковой оптимизации и не будет прочитано теми, кто не имеет. Какой людям стимул осиливать огромный текст про то, что их не касается? конечно, каждый владелец ресурса волен размещать на своем ресурсе любые тексты, любые провокации, письма в Спортлото и ответы Чемберлену, ну уж за читателями хоть оставите право мнение свое выражать?
Ну вы так экспрессивно написали о «поливании дерьмом поисковой оптимизации», что можно предположить, что вы хотите чего-то иного. Диаметрально противоположного, прямо. Извините, другого Шипилова у меня нет. А ответы Сегаловича и Садовского мне, в ряде мест, показались интересными и не боянистыми. Если вы считаете, что многие так не сочтут, зайдите вечером сюда: http://www.liveinternet.ru/stat/roem.ru/pages.html Потом обсудим, что пользуется интересом читателей, а что нет.
лучше бы спросил, кого это там обещал порвать Расковалов
Расковалов говорит у себя в блоге что уже порвал того, кого обещал порвать.
бггг, главред Роема использует аргументацию в стиле Seonews. Впичатлён. я, кстати, непрозрачно выразился, наверное. Поливание ожидается в каментах. Потому и провокация.
2 Onlooker На вебпланете почитал по ссылке — полный бред — особенно порадовали камменты. :) Утвердился в своем решении не читать больше подобных ресурсов. :)
Onlooker, еще раз: а) поливание в комментах я вижу исключительно от вас, на данный момент. б) тексты с участием Сегаловича практически всегда собирают «афрооптимизаторские набросы». Пример. Ставить Сегаловича в шкаф из-за этого? в) по-моему, вы уже весь Роем обругали исключительно за то, что еще даже не произошло. И набросов еще не было, и говорить про отсутствие интереса к материалу рано. У вас машина времени есть? Дайте поносить, а?
ладно, я, похоже, остался непонят. да и неправ, наверное. Надо радоваться, что на Роеме наконец-то появился большой авторский текст про что-то, хотя бы отдаленно имеющее отношение.
кстати, эти рассказы о том, что хороший сайт всегда разбанят, и исправившийся тоже… они звучат красиво, но я вот знаю один сайт крупной и уважаемой компании, который подвергся санкциям, был вычищен и вылизан, а санкции все равно остались. Причем Платон отвечает, что всё, вы молодцы, сайт ваш перевоспитался — а воз и ныне там. И вот оптимизатор этого сайта уже начинает выдавать типичные параноидальные формулировки, что мол, наверняка конкуренты проплатили «убийство» в поиске его сайта.
Onlooker, говоря «интервью неактуально для тех, кто имеет отношение к поисковой оптимизации», вы делаете слишко уж глобальное обобщение. Поисковой оптимизацией занимаются очень разные люди. Для контор типа ингейта, да, наверное ничего нового тут не содержится. Но контор такого уровня, раз-два и обчелся. Что касается «неактуальности» для остальных, то дело в том, что в интервью были заданы именно те вопросы, которые оптимизаторский люд вот уже несколько месяцев задает друг-другу на оптимизторских форумах и не находит ответа. Теперь ответы есть. Нравятся эти ответы или нет — другое дело, но вместо догадок и предположений теперь имеется определенность. Пройдитесь по форумам линкообменных бирж, и оцените реакцию SEO-общественности, которая уже сейчас, сразу после публикации, достаточно обширна. Во всяком случае, я по обратной реакции вижу, что не напрасно потратил время, и хоть небольшая часть тех школьников, кто намеревался потратить юные годы в стремлении извлечь бабло из воздуха, займется чем-то более продуктивным.
>Onlooker, говоря «интервью неактуально для тех, кто имеет отношение к поисковой оптимизации», вы делаете слишко уж глобальное обобщение. Скажем проще — он хуйню порет. Читать садовского и ко всегда интересно, если мозг включать, плюс если им дают выговориться, а не «скажите два слова».
ну не то чтобы я поддерживала этого странного онлукера, но таки посмеялась над заявлением, что раньше никто из Яндекса нигде на эти вопросы не отвечал. И на сеоньюзе отвечали, и на сёрче отвечали, и уж извините в нашей рассылке. И в официальных клубах на я.ру. Ссылки я, конечно, искать не буду, это чисто так, замечание ради справедливости :) а так конечно, Миша прав, из слов яндексоидов всегда можно что-то извлечь.
«Что мы делаем: по ряду запросов мы мониторим выдачу других поисковых машин, всех, кто хоть как-то ищет по-русски, включая все версии самого Яндекса — рабочую версию и внутренние, экспериментальные (у Яндекса много версий). И складываем все результаты в один котел.» Это яндекс у нигмы научился? :) Можно вообще не иметь своего индекса не разрабатывать алгоритмов, а просто «мониторить» выдачу других поисковиков и все будет ОК. А вообще это выглядит как подгонка своего алгоритма под гугловский.
Все разговоры специалистов яндекса на фоне их поисковой выдачи выглядят смешно, в топ 5 как были ГС так и остаются. Жаль что больше всего страдают сравнительно молодые проекты )))
вы главное примерчики ГС в топе кидать не забывайте. А то неинтересно.
Да-да. Явная глупость. http://yandex.ru/yandsearch?text=83 Чмоки Сегаловичу в этом чате!
ОЯэтосамоеБУ!!! Сколько букаф-то, сколько фукафф! «Уникальность контента», «полезность контента». Ну прямо таки «контент из зе кинг»! Если бы я сам не пользовался Яндексом, то наверное даже поверил. Ребёнок тут у меня недавно искал сказку про Кота-баюна. Если кому интересно — полюбуйтесь, что он нашёл: http://yandex.ru/yandsearch?text=кот-баюн . Список объявлений Директа показался мне _чуточку_ более релевантным.
Setelogia, покажите, пожалуйста, «сайт крупной и уважаемой компании, который подвергся санкциям, был вычищен и вылизан, а санкции все равно остались». Спасибо.
что, прямо вот сюда, на Роем? Наверное, не стоит. Я к этой компании, к ее сайту и к его оптимизации имею отношение наблюдателя и не знаю, понравится ли им цитирование их сайта на Роеме.
Ну в личку хотя бы скажи. Может у них баг, надо же рассказать
да я с радостью. А где тут личка? :)
Ребята из Яндекса выбрасывайте больше, видьте в каждом оптимизатора, а пользователи свой выбор сделают…
А у Гугла кот-баюн чуточку более хужее: http://www.google.com/webhp?hl=en#hl=en&source=hp&fkt=2792&fsdt=7262&q=-&aq=0p&aqi=g-p1&oq=-&fp=a50ffc77dda4c0bc Там капли вообще на первом месте.
Отличное интервью! А по ссылке на вебпланете — поток сознания высокомерного неадеквата. Пусть этот громазека (или как его там) попробует применить свое правило «просто сделать классно» к сайту про окна пвх или кондиционеры, а мы скромные «абдуризаторы» посмотрим на результат.) ps: разговор вот только получился больше за дорвейщиков, ГС-строителей и прочих АФРО. Интересно было бы послушать по поводу тех, кто у тех самых сейповодов отоваривается.
Готов поспорить, что на каждого ребенка ищущего сказку про кота Баюна приходится десять взрослых интересующихся «антисексом» для своей кошки. :)
2 Crio: > Готов поспорить, что на каждого ребенка ищущего сказку про кота Баюна приходится десять взрослых интересующихся «антисексом» для своей кошки :) Я рад, что Вы готовы, а вот я не готов, потому что это — гадания на кофейной гуще и предположения. Исследований ни я, ни, полагаю, Вы не проводили. Зато есть неоспоримые факты, и среди них следующий: с точки зрения «Яндекса» Кот-баюн больше не сказочный персонаж, а с вероятностью 80% — капли. И если пользователь не уточнит «Кот-баюн сказка» или «Кот-баюн капли», то по умолчанию Яндекс будут считать его каплями. Я не знаю, плохо это или хорошо, правильно или нет, но это есть так.
(на вскидку) судя по уточняющим запросам котоводов больше детей http://wordstat.yandex.ru/?cmd=words&page=1&text=-
>с точки зрения «Яндекса» Кот-баюн больше не сказочный персонаж, а с вероятностью 80% — капли. С точки зрения простоты использования, взрослые с проблемными кошечками гораздо быстрее догадаются дополнить кота-баюна антисексом, чем детишки сказочками…
2 Tagirov: > (на вскидку) судя по уточняющим запросам котоводов больше детей Сложно сказать… Если судить по правой колонке «Что еще искали с этим запросом», там количество «секс-барьеров», «таблетки для кошек» и проч. примерно сопоставимо со «сказка жар птица», «ивашка +из дворца пионеров» и иже с ними. Может, конечно, в сумме всё же и больше, но не настолько, чтобы 8 позиций из 10 отдавать каплям. И потом есть ещё такой момент, что количество запросов для Яндекса является далеко не единственным оценочным параметром, как и количество упоминаний. Ведь это же я просто пример привёл такой подлый :) Возьмите, к примеру, запрос «Конфуций» — вряд ли Вы найдёте в выдаче большое количество товаров. Современные поисковики всегда ломаются именно на таких вот «беззащитных» запросах. Которые редко спрашиваются, не имеют ни медийного значения, ни торгового. Которые никому не нужны, кроме маленькой горсточки людей, которые заведомо никому не заплатят и рекламу на них не продашь. А почему я про них заговорил? Потому что очень приятно слушать рассказы про «простых пользователей» (тм), о которых так печётся крупная компания. Потому что, если быть честным, то по-настоящему простые пользователи, а не потенциально интересные с коммерческой точки зрения группы, никому не нужны и это… нормально. Ибо на то и бизнес.
очень актуальная выдача у яндекса http://yandex.ru/yandsearch?text=3.14 http://yandex.ru/yandsearch?text=a5
Последние две ссылки — клевета на яндекс! В Яндекс работают не такие уж идиоты, чтобы такие ошибки в ранжировании допускать! Посмотрите на ваш любимый гугл, там, наверное, не лучше, а еще в сто раз хуже потому, что они не понимают морфологии русского языка! А у яндекса развитые технологии с математикой и школой данных, а также уникальная русская морфология! Ура!
ЗЫ Последнее сообщение было шуткой-подражанием типичным фанатам яндекса или гугла.
А у Гугла кот-баюн чуточку более хужее: http://www.google.com/webhp?hl=en#hl=…77dda4c0bc Там капли вообще на первом месте. Вы ищите русскоязычным гуглом, а не англоязычным http://www.google.ru/search?q=кот-баюн
Не понял а зачем по запросу 83 слово «Кий» на первом месте Какой смысл?
> Возьмите, к примеру, запрос «Конфуций» — вряд ли Вы найдёте в выдаче большое количество товаров. А что, есть известная товарная марка «Конфуций»? Вашему ребенку «не повезло», что кто-то выбрал «кота» в качестве торговой марки и сделал этот продукт популярным (при том, что у меня нет и не было котов, я знал о его существовании до этой дискуссии). Ваше утверждение, что «запрос не имеет торгового значения» в данном случае ошибочно. Поисковики ломаются не на «редких запросах, которые никому не нужны», а на туманных и неопределенных, либо многозначных, смысл которых можно выяснить только с помощью наводящих вопросов. Спросите поисковик «коса» и наверняка вы увидите мало результатов хотя бы одному из трех значений этого слова (инструмент). Поисковик виноват? Вряд ли. Ведь телепаты-то в отпуске.
а зачем по запросу 83 слово «Кий» на первом месте Вам же Сегалович все рассказал. Это «явная глупость ™»
Crio, не перегибайте палку. О существовании «известной товарной марки» (как Вы выразились) «Кот-баюн» я тоже узнал не так давно, а до этого ведать не ведал. Что касается Конфуция, то такое название имеют и чаи, и наборы чайных принадлежностей, и куча сувенирной продукции, и предметы обстановки — в общем, много чего. Просто всей этой мелочёвке, которая, в общем, равноценна кошачьим капелькам, приходится конкурировать с публикациями на сайтах с мощными индесами цитирования, PR и т.д. А странички со сказками про Кота-баюна, понятно, всей этой совокупностью свойств не страдают, и поэтому если великий Тёма Лебедев напишет на своём сайте «Он был скучен, как Кот-баюн, и чуть не усыпил меня на…», то Яндекс без колебаний отдаст предпочтение этой супер-релевантной странице, а не сказке про оное животное. А что касается «косы», то я уже говорил и могу повторить: документов, проиндексированных поисковиком, достаточно и по теме сказочек, и по теме капелек. Правда, достаточно. Вопрос в другом: почему по умолчанию предпочитаются капельки. И, кстати, чтобы уж быть до конца последовательными, почему тогда на первом месте у нас не ссылка на какую-нибудь аптечку, коль уж у нас в стране Кот-баюн вдруг резко стал каплями?
Вы ищите русскоязычным гуглом, а не англоязычным Ну так я и ищу. По вашей сслыке фиточай на первом месте. Капли на третьем и так далее. Итого из 10 ссылок — 5 про капли. Но Гугл же это ж наше же все! Он же все равно же круче же.
Вы уверены? У меня Мифологическая энциклопедия: Баюн Кот Кот Баюн Персонаж русских волшебных сказок. В образе кота Баюна соединились черты сказочного чудовища и птицы, обладающей волшебным голосом. … myfhology.narod.ru/.. ./baun-cat.html — Сохранено в кэше — Похожие Кот Баюн Кот Баюн — успокоительный фиточай (также выпускается в таблетках) для кошек и собак, представляет собой отвар из лекарственных трав. В состав Кот Баюн … http://www.evrovet.ru/slovo.php?... — Сохранено в кэше — Похожие Кот Баюн капли Кот Баюн капли. … Фитоэлита-К «Кот Баюн» Капли [собаки и кош]. 17.50грн … КОТ БАЮН РАСТВОР. Состав и форма выпуска. Биодобавка для кошек и собак, … http://www.zootovary.com/p-426.html — Сохранено в кэше — Похожие
> Crio, не перегибайте палку. Да, это вредно и может приводить к травмам. Но парням вроде Crio с настоящей крепкой эрекцией на поисковики это не грозит.
А у меня вот: http://www.google.ru/search?q=- # Кот Баюн Кот Баюн — успокоительный фиточай (также выпускается в таблетках) для кошек и собак, представляет собой отвар из лекарственных трав. В состав Кот Баюн … http://www.evrovet.ru/slovo.php?... — Сохранено в кэше — Похожие — # Мифологическая энциклопедия: Баюн Кот Кот Баюн Персонаж русских волшебных сказок. В образе кота Баюна соединились черты сказочного чудовища и птицы, обладающей волшебным голосом. … myfhology.narod.ru/…/baun-cat.html — Сохранено в кэше — Похожие — # Кот Баюн капли Кот Баюн капли. … Фитоэлита-К «Кот Баюн» Капли [собаки и кош]. 17.50грн … КОТ БАЮН РАСТВОР. Состав и форма выпуска. Биодобавка для кошек и собак, … http://www.zootovary.com/p-426.html — Сохранено в кэше — Похожие — # Картинки по запросу кот-баюн — Пожаловаться на изображенияСообщить об оскорбительном содержании следующих изображений. Подтвердить ОтменаБлагодарим за замечания. # Кот-баюн Кот-баюн — в славянской мифологии фантастический зверь, обладающий огромной магической силой. izbakurnog.historic.ru/…/a000895.shtml — Сохранено в кэше — Похожие — # КОТ БАЮН ТАБЛЕТКИ / Каталог ветеринарных препаратов КОТ БАЮН ТАБЛЕТКИ. Обсудить на форуме · Оставить отзыв. Купить в розницу: Купить оптом: Ваша компания продает данный препарат? Разместите здесь свою рекламу … http://www.veterinar.ru/pharmacy/…/392/ — Сохранено в кэше — Похожие — # Кот Баюн раствор, уп. 3 фл. по 10 мл. Препараты других … Кот Баюн раствор, уп. 3 фл. по 10 мл. Препараты других фармакологических групп (успокоительные) в ветеринарном интернет-магазине «Ветлек» http://www.vetlek.ru/shop/?gid…id... — Сохранено в кэше — Похожие — # Кот Баюн (9 фото) | Webpark — юмор картинки фото, приколы видео … 25 апр 2007 … Кот Баюн .Не знаю чей это кот, но говорят он так выглядит всегда…. Меня убило — —. Автор: Alx. Опубликовано: 25.04.2007. old.webpark.ru/22750.htm — Сохранено в кэше — Похожие — # Кот Баюн (настой) Кот Баюн — лекарственное средство в форме стерильного водного настоя лекарственных … Кот Баюн настой хранят в сухом, защищенном от света месте при … http://www.vedaved.ru/…/227-kotbayundog.html — Сохранено в кэше — # Ответы@Mail.Ru: Страница пользователя Кот Баюн Щелкни, чтобы пообщаться с этим человеком в Mail.Ru Агенте Кот Баюн … нет удачных рекомендаций. Главная » Страница пользователя Кот Баюн … otvet.mail.ru/list/kot_bajun/ — Сохранено в кэше — Похожие — # кот баюн | Записи с тегом кот баюн | Если веришь, сказка оживет … Ну, Андрей, сослужил ты мне службу, сослужи другую: ступай в тридесятое царство и добудь мне кота Баюна. Не то мой меч — твоя голова с плеч! … http://www.liveinternet.ru/showjournal.php?... — Сохранено в кэше — # Сообщения в блогах по запросу «кот-баюн» Ануад с комментариями — Умные люди зрят в корень, а я собираю … — Ануад с комментариями — 21 час. назад sooto: «Учиться можно и прохожего» — Рысь: сказки Кота Баюна. — 16 час. назад Новая читалка и редактор — прошу помощи сообщества | Либрусек — Либрусек — 11 авг 2009
Ну и где тут гениальный интеллект Гугля? Мусор и есть мусор.
> Зачем он здесь? > а, я знаю. Чтобы не отставать от Вебпланеты в модном тренде поливания дерьмом поисковой оптимизации! Чтобы могли почитать нормальные люди.
Надо признать, что по такому простому запросу сосут и гугл, и яндекс.
> .. если великий Тёма Лебедев напишет на своём сайте «Он был скучен, как Кот-баюн, и чуть не усыпил меня на…» Допишите википедийную статью про Кота-баюна до уровня статьи про Конфуция, и никакой лебедев не вытеснит её с первой позиции ни Гугла, ни Яндекса.
> Потому что, если быть честным, то по-настоящему простые пользователи, а не потенциально интересные > с коммерческой точки зрения группы, никому не нужны и это… нормально. Ибо на то и бизнес. Не надо гворить то в чем не смыслите. Сегодняшний «простой пользователь» завтра станет коммерческим интересным. Да имидж кампании, это вполне оцениваемый результат. Другое дело что эти «прастые полъзаватели» вместо того чтобы написать в поддержку засирают форумы (пассивная ориентация).
Подкину ещё один примерчик заботы о «простых пользователях», тоже из недавнего опыта. Возник вопрос: дирижировал ли Отто Клемперер, известный немецкий дирижёр, оперы из вагнеровского цикла «Кольцо нибелунга»? Яндекс не замедлил засыпать меня ссылками на Озоны, Болеро и прочие прелести. Причину, по которой я долго и витиевато матерился, объяснить нетрудно: я совершенно точно знал, что _записей_ этих выступлений нету точно! Ну не записывали эти оперы под управлением Клемперера! До сих пор любопытно, что мне там хотел предложить Яндекс. Поковырявшись в Гугле с теми же запросами, нашёл всё таки ответ. Да, дирижировал он эти оперы. Правда очень давно, ещё в 30-ых, потому и записей нет. Далее по ссылкам отыскалась таки даже пара коллекционных дисков, которые давно сняты из всех каталогов, а к нам и вовсе никогда не поступали. Короче, вывод простой: если ты ищешь пылесосы/мобильники, жыпь ебрило, «война в Грузии» или «что сказала Колмановская Туганбаеву» — то можешь идти на Яндекс, он найдёт. Если же твой запрос по несчастью выбивается из лемминговского стада — то лучше не порт себе нервы, вали сразу на Гугл.
Яндекс не замедлил засыпать меня ссылками на Озоны, Болеро и прочие прелести. А что вы хотели?
Мы проверяем первые 30 позиций по каждому запросу. Считайте: десятки тысяч запросов, умножить на 30 первых позиций, умножить на количество версий, — это десятки миллионов URL. Рассмешил.
Умелые – останутся, но они способные и быстро понимают, что этот бизнес рискованный и недолговечный и постепенно уходят в белую оптимизацию. Не понял каким образом «спамеры уходят в белую оптимизацию», если тут же выше говорится. что 20 процентов новых сайтов созданы исключительно для всяких сеошных целей? Значит не уходят они в белую оптимизацию?
у гугла по запросу «кот баюн» первой в выдаче идет ссылка на сказочного персонажа, а затем — ссылка про чай а по запросу «кот-баюн» — первой идет ссылка про лекарства, а второй — про сказочного персонажа можно предположить, что большинство детей в запросах дефис не ставит, так что все вполне логично. яндекс стабильно на первом месте предлагает википедию. Видимо, пимер с A5 и 3.14 их вдохновил
насколько я понимаю в Яндексе если запрос достаточно редкий (чтобы исключить срабатывание на такие слова как «но» «у» «я») и часть этого запроса есть в википеддии, википедия с дикой силой тащится вверх выдачи Это простое ручное правило помогло по таким запросам как «италия» «франция» вытащить википедию поверх сайтов турагенств
имелось ввиду не редкий запрос, а редкое слово (по идф)
Какое же оно, нахрен, редкое, если по A5 находится 429 миллионов страниц, а по 83 — 112 миллионов ?
>Какое же оно, нахрен, редкое, если по A5 находится 429 миллионов страниц, а по 83 — 112 миллионов ? Скажу больше по запросу ‘и’ находится 1055 миллионов страниц. http://yandex.ru/yandsearch?text=&lr=1&stpar2=h1tm23s1&stpar4=s1&stpar1=u0 Господа, а вам не кажется, что пытаться на основании самых глупейших запросов делать самые глубокомысленные выводы — это та еще архиглупость. Ну и с котом-баюном-баяном тоже все ясно. Что чаще ищут (а лекарство ищут очевидно чаще, чем сказку) то и выше вылазит — логично. Гораздо интереснее сравнить выдачу гугля и Яндекса по более осмысленному запросу, ну например, «негритянка» http://www.google.ru/search?hl=ru&q=&sourceid=navclient-ff&rlz=1B3GGGL_ruRU344RU344&ie=UTF-8 http://yandex.ru/yandsearch?text=&lr=213&stpar2=h1tm9s4&stpar4=s4&stpar1=u0 Вот уж где 100% несовпадение позволяющее оценить разницу алгоритмов.
Вчера наткнулась: http://yandex.ru/yandsearch?text=&lr=10174 http://www.google.com/search?ie=UTF-8&hl=ru&q= вообще-то я интересовалась, как правильно пишется «в преддверии», а на втором месте в яндексе и первом в гугле — ссылка на википедию, статью «преддверие влагалища», да еще и с анатомическими фотографиями — это правда самый релевантный результат по данному слову?
> Ну и с котом-баюном-баяном тоже все ясно. Что чаще ищут (а лекарство ищут очевидно чаще, чем сказку) то и выше вылазит — логично. У яндекса выше всего википедия со сказочным котом. Яндекс нелогичен? > Гораздо интереснее сравнить выдачу гугля и Яндекса по более осмысленному запросу, ну например, «негритянка» по какому критерию запрос «негритянка» более осмысленный чем «кот-баюн»? У яндекса на первом месте негр из википедии — это логичная выдача? :)
Уважаемый господин Шипилов! Прошу меня извинить за то, что не ищу в Интернете «осмысленных» негритянок. Боюсь, что даже по Вашей просьбе не стану этим заниматься. Но Вы могли бы сильно помочь общественности, если бы привели официальный перечень «глупейших» (или «умнейших») запросов, с которыми не дозволяется (или же наоборот — рекомендуется) подавать челобитную в поисковую систему. Тогда пользователи быстро сориентировались и не грузили бы занятых людей из «Яндекса» своими бестолковыми котами, дирижёрами или другими глупостями, а обращались бы строго по специальности: с негритянками и… чем там ещё? Вы осведомлены, просветите, пожалуйста, и нас.
http://yandex.ru/yandsearch?text=++&lr=1 негритянки говорите…
>Но Вы могли бы сильно помочь общественности, если бы привели официальный перечень «глупейших» (или «умнейших») запросов, с которыми не дозволяется (или же наоборот — рекомендуется) подавать челобитную в поисковую систему. ————————————————— Ну видимо все же «помочь» не общественности, а конкретно вам. Общественность она весьма неоднородна и большая ее часть способна самостоятельно разобраться, что является очевидной глупостью, а что нет. Та же часть общественности, которой требуется официальная формализации глупости в виде неких «официальных перечней» мне неинтересна. Боюсь даже, что именно эта часть общественности и войдет в такой перечень в виде его составной части :-)
> Боюсь даже, что именно эта часть общественности и войдет в такой перечень в виде его составной части Ну-у? Как интересно… Пользователи входят теперь в перечень поисковых запросов? Вы осведомлены о таких тонкостях внутренней политики «Яндекса»… Быть может, этот список Вами и составляется? Тогда я, конечно, срочно беру назад все свои слова. С Вами опасно шутить.
ну всё :) завтра по запросу «pindle» будет то же что и по запросу «a5» :)
огромная разница в выдаче между запросом «негритянки» и весьма похожим (с точки зрения поиска, так как «кто» «такие» слова пренебрежимимые )»кто такие негритянки» говорит о ручном редактировании выдачи под конкретный запрос Если бы это был алгоритм, которые убирает порно сайты, он бы их убрал в выдаче и первого, и второго запроса.
интервью и ответы Садовского ПЕвцова Сегаловича очень интересные
Не ПЕвцова, а ПевцОва :) Спасибо :)
>> огромная разница в выдаче между запросом «негритянки» не-не.. по запросу «негритянки» такое же порно задорное вылезает.. из которого каждому понятно кто такие негритянки.. :) первой озвучивается версия в яндексе — секс-рабыни. это по запросу «негритянка» чисто.. но любопытно и другое.. http://wordstat.yandex.ru/?cmd=words&page=1&text=&geo=&text_geo= что это за негритянк ? если написать негритянк в поиске яндекса, то он тебе не предложит исправить данное слово ни на какое другое. В гугле если написать — негритянк — то предложит вариант — Возможно, вы имели в виду: негритянок
Господа, а вам не кажется, что пытаться на основании самых глупейших запросов делать самые глубокомысленные выводы — это та еще архиглупость. Да нет, запрос 83 дает массу материала для глубокомысленных выводов об алгоритмах яндекса. Вот уважаемый Шипилов высказал массу предположений про АГС-17, а ведь тоже архиглупость. Ну и с котом-баюном-баяном тоже все ясно. Что чаще ищут (а лекарство ищут очевидно чаще, чем сказку) то и выше вылазит — логично. Все еще проще, сказочники ссылок не покупают, а фарма — очень даже. Примеру Андрея Иванова про дизайн уже лет пять, наверное….
Наблюдаю за Яндексом еще с тех пор, когда (в 95? 96? году) директора его разъезжали по городам и весям с презентацией и раздавали визитки (Амилющенко, V6 — что пришло на память). По сравнению с нынешним временем и интернет, и Яндекс радикально изменились. С тем количеством мусора, который выливается в сеть, мы неизбежно придем еще при нашей жизни к разделению интернета на «белый» и «дикий», с цифровой подписью в белом, с сертификатом, который выдается один раз на каждое физлицо и каждую фирму, и т.д. (все знают). И с поиском, и с интернетом будет так, как с бумажным издательством — автор отвечает за то, что пишет, авторы — авторитетные и нет, «белый» поиск по «белому» интернету и т.д. Анонимность в массовом порядке постепенно сойдет на нет, и не из-за происков Большого брата, а потому что достоверная информация нужнее. Забавно сейчас наблюдать, как ники меняют на настоящие фамилии — тогда, когда вырастает популярность и ее хочется конвертировать во что-то другое. Трудности поиска сегодня — это издержки переходного периода, периода наполнения сети. Например, образуется пул авторитетных «детских» сайтов — и не будут искать вне его, поскольку на 99% можно будет все найти внутри и безопасно. Другая проблема/задача, которая лежит на поверхности, и про которую редко говорят — упорство, с каким поисковые системы держатся за конценцию «одного окна». Да, уточнение запроса затрудняет поиск, но повышает качество результата на порядки. Из «почти прошлого» — приходя в библиотеку, мы ищем, что купить, в разделе каталогов продукции, а что почитать — разделе худ.литературы. Хотя, кто сейчас ходит в библиотеку? :) Кот-баюн убивается таким разделением сразу. Надо приучить пользователей слегка думать, прежде чем сказать «хочу!» — но ни одна поисковая система из крупных пока не решается сделать первый шаг.
онаниму 24.11.2009 21:40:54 > огромная разница в выдаче между запросом «негритянки» и весьма похожим (с точки зрения поиска, > так как «кто» «такие» слова пренебрежимимые ) редкое непонимаение основ. нам остаётся только порадоваться что вы не занимаетесь поиском. «кто» и «такие» можно считать стопсловами, но с точки зрения поиска они могут иметь ОГРОМНОЕ значение в зависимости от контекста. так что отучаемся говорить за всех (поисковиков :))
просто я вы легко можете посчитать их idf на любом корпусе эти слова пренебрежимы с точки зрения поиска с точки зрения двусмысленности порно-непорно они могут только отодвигать запрос от порно и крайне глупо давать по ним порно ссылки смотрите порнуха — порно запрос что такое порнуха — непорно запрос секс видео — порно запрос что такое секс видео — не порно запрос переход «негритянки» — «кто такие негритянки» может только понижать возможное «порно» намерение запроса и то что по «кто такие негритянки» дается гораздо больше порно ссылок говорит только о том, что из «негритянки» порно ссылки были убраны вручную
Хотите кидаться трёхбуквеными аббревиатурами? у меня есть чем ответить — PMI !! :) idf это далеко не всё что интересует поисковики… в качестве пищи для размышления два запроса кто я быть или не быть
> эти слова пренебрежимы с точки зрения поиска Но не пренебрежимы с точки зрения анализатора поиска цитат: http://analyzethis.ru/?analyzer=quote&location=ru&lang=ru
Ю в качестве пищи для размышления два запроса кто я http://yandex.ru/yandsearch?clid=13999&yasoft=barff&text=&lr=1 Опа!!! Вы — Путин?! Извините, Владимир Владимирович, сразу-то не признал. Виноват, больше спорить не буду!
Наблюдаю за Яндексом еще с тех пор, когда (в 95? 96? году) директора его разъезжали по городам и весям с презентацией и раздавали визитки (Амилющенко, V6 — что пришло на память). Вот это зачотная ложная память. Чуваг! В 1996 году Яндекса еще не было, Амилющенко там не работал в такой древности, а V6 это вообще другая компания, ничего общего. Постой на голове и попей танакана для стимуляции кровообращения в верхней ж.
пример совершенно искуственные и не по теме редкая фраза («цитата», как говорят некоторые) собранная из «высокочастостных» слов совсем не равна комбинации из этих слов встречающейся почти в каждом документе «быть или не быть» != быть + или + не комбинации это совсем другое дело тоже самое одно дело слово «новые» при поиске «новые васюки» тут его игнорировать нельзя а совсем другое дело слово «новые» при поиске «новые книги» тут его часто можно игнорировать и многие релевантные страницы (головные страницы магазинов по продаже книг) содержат списки «новых» книг, но не содержат слово «новые»
А какой группой руководит Певцов?
группой программистов
А вы с какой целью интересуетесь?
Раз уж эти яйцеголовые дебилоиды из Яндекса так рьяно борются за чистоту рунета, почему бы вместо мудрёных алгоритмов для начала не исключить из поиска слова «порно», «зоофилия», «инцест», «е%ля», «анал», и т.п.? Вот чтоб тупо по данному поисковому запросу ничего кроме википедии с обьяснением данного слова, не показывалось? Сколько миллионов терабайт дискового пространства Яндекс бы освободил? Сколько мощностей бы разгрузил? Чистоту бы какую навёл? А то борются с горе-сеошниками и с их продажными ссылками, козыряют чистотой рунета, а в реальности тупо защищают свои шкурные интересны. Тошнит уже от их правильности. Значит им порно нужно?
Я не профессор в этих делах — новичок. Проводил тут эксперимент, зарегил домен бесплатный и повесил на него махровый сателлит. Так он продержался полтора месяца. Поэтому считаю, что конкретно шлачные сайты и сателлиты выкладывать бесполезняк.
извините, но статья действительно малоинформативная. полезной инфы тут пару строк не наберется, да и та не жизненно необходимая инфа. 2topmedia: откройте Яндекс.Каталог, увидите ответ на свой вопрос про будущее ;)
> от уважаемый Шипилов высказал массу предположений про АГС-17, а ведь тоже архиглупость. Когда Шипилов пишет архиглупость, то он всегда честно предупреждает об этом читателей, поместив в тексте соответствующий дисклаймер. Иное дело что никто его не принимает всерьез. Так вот там где Шипилов писал про АГС, там такое предупреждение есть. А в этом интерьвью — нет. Так что все всерьез, без шуток и без глупостей.
вот еще в копилку http://yandex.ru/yandsearch?text=&lr=225 стеклотары нет.. а еще качки так бицепсы называют.. пра, это мож и диалектизм
Диверсификация выдачи — одна из самых сложных задач Так как в большинстве случаев одно толкование является сильно доминантным и оно подавляет другие толкования Поэтому яндекс и не справился с этой задачей, и это можно понять СЕо фактор тоже надо учитывать, так как финансовые «банки» продвигают себя в выдаче Яндекса, а стеклянные банки нет У Гугла ситуация аналогичная яндексовской http://www.google.ru/search?hl=ru&q=банки&b
http://www.a34.ru/?query=банки — есть стеклобанки на втором месте
релевантным результатом на поиск банки была бы википедия или прочая статья о банках, а не какая-то маленькая фирмочка, торгующая стеклотарой Поэтому этот успех флексума следует считать случайным, хоть и с диверсификацией выдачи в целом он справился лучше гугла или яндекса
> релевантным результатом на поиск банки была бы википедия скоро на любой запрос релевантным результатом будет статья в википедии :)
Я имел ввиду статью в Википедии или любую энциклопедическую статью
> скоро на любой запрос релевантным результатом будет статья в википедии :) Таки да. По крайней мере страница disambiguation :)
Рррр! Как я не люблю, когда люди умными словами бросаются! К слову о: Что они делают: они применяют так называемый метод половинного деления. Сначала создаются откровенные псевдосайты, которые, понятное дело, выбрасываются из выдачи. Потом в ход идут заведомо качественные сайты, которые не могут быть выброшены, и далее, двигаясь с двух сторон, методом половинного деления находят ту «серую зону», где можно играть с поисковой машиной. Илья! Вы же математик& А значит не должны бросаться такими словами! Метод половинного деления основан на отделении СЕРЕДИНЫ отрезка, а затем выбор левой или правой части! А то, о чём вы пишите, называется КОМБИНИРОВАННЫЙ метод: совмещение метода касательной и хорды, друг другу на встечу, от концов к середине. Фи!
Очень важная заметка