Mail.ru перестал быть маргинальным поисковиком

К концу 2012 года три топовых поисковика Рунета (Яндекс, Google и Mail.ru) показали практически идеальное качество поиска по навигационым запросам. Заметный рост наблюдался у Mail.ru. Поисковик обошел в апреле и Google, и даже Яндекс, но не смог удержать лидирующие позиции и к декабрю пришел вторым после Яндекса. Такие данные следуют из отчета компании «Ашманов и Партнеры» о качестве поиска и поисковых системах в Рунете в 2012 году.

Лучшие результаты по навигационным запросам к концу года Mail.ru показал только в поиске персональных сайтов Рунета, приблизившись и незначительно опередив Яндекс в декабре. В целом, по этому показателю практически все поисковики (кроме Yahoo) показали высокий уровень (более 90%).

С января по март 2012 года качество поиска персональных блогов по имени автора в Яндексе заметно упало примерно на 10 п.п. (почти до 80%) по сравнению с январем 2012 года, и вперед вышли Google и Mail.ru. Однако к ноябрю Яндекс смог исправить ситуацию и в декабре стал единственным поисковиком, качество поиска которого по этому показателю превысило 90%.

В периферийном поиске (запросы, цель которых — найти определенный сайт) также лидирует Яндекс с результатом качества поиска в декабре, близким к 90%, однако значительно уступает Google в поиске внутренних страниц сайтов.

По информационным запросам Яндекс, Google и Mail.ru в течение года шли примерно на одном уровне, уступая друг другу по несколько процентных пункта. Яндекс показал лучшие позиции в качестве поиска ответов на вопросы в сниппетах и поиске крылатых фраз. Google — в поиске цитат и оригиналов новостей.

В течение 2012 года колебания качества поиска оригиналов новостей у всех поисковиков (кроме Google) несколько раз меняли расстановку сил. В мае Yahoo смог обойти Яндекс и занять второе место, но не продержался там больше месяца. Падение качества поиска Mail.ru к июлю и резкий скачок вверх у Bing сделали Mail.ru на 4 месяца аутсайдером.

Хуже всего у поисковиков Рунета обстоит дело с поиском легального медийного контента и софта. Ни один из них не показал результат выше 60%.

По скорости индексации новых страниц в 2012 году ни одному поисковику не удалось обойти Google. Однако сам лидер заметно сдал свои позиции примерно на 10 п.п., его доля сократилась до чуть менее 80%. С июля скорость индексации заметно выросла у Mail.ru (примерно на 20 п.п.) и почти сравнялась с показателем Яндекса. Хорошие результаты показал Mail.ru и в тематическом поиске — в последнем квартале 2012 года он смог обогнать Яндекс и Google и зафиксировал результат по качеству данного поиска на уровне 40%.

Заметный прорыв в Рунете по сокращению сайтов для взрослых в поиске по «обычным» запросам совершил Google. К апрелю 2012 года результаты поисковика практически сравнялись с Яндексом и Mail.ru, а общее количество таких сайтов по трем названным поисковикам с этого времени не превышает 10%.

Напомним, в 2012 году одним из самых значимых достижений Mail.ru в области поискового направления стало тестирование собственной технологии машинного обучения поиска (по аналогии с Матикснетом Яндекса). Яндекс, в свою очередь, в конце года объявил о запуске персонализированного поиска.

Лучшие комментарии

  • Контекст комментария

    Андрей Калинин Mail.Ru

    Процент запросов, обслуживаемый нашим поиском, мы действительно не раскрываем. Но к росту качества это отношения практически не имеет. В отчёте АиП приведены числа по росту гибридного поиска (мы + Гугл), т.е. такого, который видит конечный пользователь. И основные составляющие этого роста, отмеченные в отчёте (например, навигация или региональность) реализованы нами в нашем движке и рост там — за счёт наших разработок. Если вы в этом сомневаетесь, то вы можете посмотреть на качество именно нашего движка, он представлен в анализаторах под названием MailBeta. Это выдача с o.go.mail.ru, там только наш движок и Гугла нет — а рост качества есть.

Добавить 23 комментария

  • Ответить
    Геннадий Фуркасин Здрайверы (IT Park) +эксперт

    Я бы не стал доверять отчетом ашаманова, там никакой аналитики — всё из пальца как говориться. Такими темпами вы скоро будете верить всему что говорит наиль байков.

  • Ответить

    Процент запросов, обслуживаемый нашим поиском, мы действительно не раскрываем. Но к росту качества это отношения практически не имеет. В отчёте АиП приведены числа по росту гибридного поиска (мы + Гугл), т.е. такого, который видит конечный пользователь. И основные составляющие этого роста, отмеченные в отчёте (например, навигация или региональность) реализованы нами в нашем движке и рост там — за счёт наших разработок. Если вы в этом сомневаетесь, то вы можете посмотреть на качество именно нашего движка, он представлен в анализаторах под названием MailBeta. Это выдача с o.go.mail.ru, там только наш движок и Гугла нет — а рост качества есть.

  • Ответить
    Альтер Эго

    Андрей, а с какой целью вы портите гугловскую выдачу на основном поиске, подмешивая свои результаты? По анализаторам видно, что чистый гугл лучше чем гугл+мэйл (иногда заметно хуже).

  • Ответить
    Альтер Эго

    Процент запросов, обслуживаемый нашим поиском, мы действительно не раскрываем. Похвастаться нечем? (кто-то от G собирался отказаться в феврале) А что у вас находится по запросам типа http://go.mail.ru/search?q=site:roem.ru? а иногда бывает 1:1 с Гуглем. Почему не всегда?

  • Ответить

    По анализаторам видно, что чистый гугл лучше чем гугл+мэйл (иногда заметно хуже). Решение о том, показать свой поиск или гугловый не обязательно принимается на основании качества поиска, как его меряют анализаторы. Например, мы показываем свой поиск тогда, когда хотим показать какой-нибудь подмес, например, картинки или видео — мы не можем изменять чужую выдачу, поэтому нужно показывать свою. А подмесы анализаторами не измеряются. Ну и другие подобные причины.

  • Ответить
    Альтер Эго

    Ну то есть вы сознательно ухудшаете выдачу ради каких-то собственных целей («нам хочется показать видео»). А пользователей не жалко? Или качество поиска — не ваш KPI?

  • Ответить

    > Или качество поиска — не ваш KPI? Довольно очевидно, что качество поиска — это качество поиска, а analyzethis — всего лишь одна из его оценок, причем не факт, что хорошая (просто единственная публичная). Внутри компаний есть другие метрики, в которых задаются KPI. Они, зачастую, более хорошие, чем у АиП, тупо потому, что для поисковиков они важнее и денег на них тратится (гораздо) больше. Когда разработчик поиска говорит «нам хочется показать видео», он имеет ввиду, что «алгоритм решил, что видео тут релевантно, и ответ mail-с-видео будет с вероятность X лучше, чем google-без-видео».

  • Ответить
    Альтер Эго

    Вы, Алексей, говорите нам: ашмановские анализаторы работают грубовато, и иногда показывают ухудшение там, где на самом деле нет ухудшения. Ну что типа мэйлру на самом деле делает пользователям лучше, когда отказывается в некоторых случаях от выдачи гугла, и что на внутренних измерялках это улучшение видно. А теперь, Алексей, сделайте одну простую вещь: зайдите на внутреннюю измерялку качества яндекса и посмотрите, насколько сильно мэйлру обгоняет гугла по качеству:) О результатах расскажите нам.

  • Ответить

    Качество поиска для нас важно, потому мы его и растим. Но вот качество поиска по анализаторам АиП — это немного другое. Хорошо, когда мы чего-то сделали и это подтверждается сторонней, независимой от нас системой сравнения поисковиков. Но в конечном итоге мы пользуемся своими метриками качества и формулируем их так, как считаем нужным. Пример с подмесами он просто явный: подмесы должны быть на выдаче, но анализаторами они не меряются, что же теперь — их не показывать? Да и вообще — «сознательно ухудшаем», «пользователей не жалко» — вы довольно сильно преувеличиваете. Вы посмотрите на интегральные показатели качества по тем же анализаторам. Их там два, асессорский и общий по всем анализаторам. Разница между ними в том (и авторы отчёта как раз и пишут об этом), что анализаторы специально подбираются так, чтобы показать разницу между поисковиками. Ну, т.е., был анализатор навигационных запросов, по нему все поисковики хороши, значит надо идти дальше и создавать специфические анализаторы с более редкими запросами, на которых разница видна. Но насколько эти редкие ситуации важны — непонятно, поэтому общий анализатор не говорит ничего об абсолютных значениях. Он только показывает разницу, а в каком масштабе — неясно (он же ещё и меряет от самого плохих показателей поиска к самым хорошим). Асессорский же интгеральный показатель, наоборот, абсолютный. Есть набор запросов, он оценивается людьми, потом эти оценки как-то аггрегируются. И по нему видно, что разница между всеми поисковиками мала — 0.01, при том что у лидера 0,79. Ну вот и всё ухудшение: у Гугла 0,78 условных попугаев, у нашего гибрида — 0,77. Но зато мы, например, компенсируем это показом подмесов, которые тоже что-то добавляют к выдаче.

  • Ответить
    Альтер Эго

    Ну то есть единственный доступный внешнему измерению результат вашей деятельности в мэйлру — это ухудшение качества поиска с 0.79 до 0.78? ОООК ;) Ладно, это был уже троллинг, Андрей, не обижайтесь. А теперь, друзья, давайте попробуем грубо оценить количество запросов, по которым мэйлру показывает свою выдачу вместо гугловой. Раз уж Андрей не хочет нам цифирку говорить сам. Введем допущение, что эта замена выдачи производится случайным образом (что, конечно, не совсем так). Обозначим качество гугловской выдачи как G. Обозначим качество выдачи родного мэйлрушного поиска как M. И смешанное качество выдачи обозначим как X. Тогда: G * ДоляГугля + (1 — ДоляГугля) * M = X отсюда: ДоляГугля = (X — M) / (G — M) = (0.78 — 0.75) / (0.79 — 0.75) = 0.75 То есть мэйлру показывает свою выдачи приблизительно в 25% случаев. Похоже на правду, Андрей?

  • Ответить
    Альтер Эго

    Если подставить последние цифры с «асессорского анализатора», по ДоляГугля получается не 75, а 66%. В любом случае выходит, что мэйлрушному поиску пока доверяют обрабатывать меньше половины запросов. Не самая хорошая строчка в резюме — «я работал в поисковой компании, которая настолько стеснялась своего поиска, что больше чем в половине случаев показывала выдачу гугла» :)

  • Ответить
    Альтер Эго

    Внутри компаний есть другие метрики, в которых задаются KPI. Они, зачастую, более хорошие, чем у АиП, тупо потому, что для поисковиков они важнее и денег на них тратится (гораздо) больше. Помним, они нацелены на то, чтобы приносить компаниям больше бабла. Вы там с «оригинальными текстами» до своей смерти справитесь? При современном уровне ваших технологий она не имеет никакого смысла и легко подделывается, ползателям сойдет (в каком году Людкевич открыл спамерам глаза на вашу фильтрацию по сниппетам?) А пока продолжайте АГСить первоисточники, точнее домены, как можно громче рассуждая о качестве поиска.

  • Ответить
    shmutz пользователь сервисов

    1) поясните неспециалисту — что такое «навигационный запрос», «вопросы в снипеттах» 2) а зачем поиск новостей отдельно выделять — это действительно высокий процент запросов пользователей? Или это разборки между новостниками и поисковиками?

  • Ответить
    Альтер Эго

    >зайдите на внутреннюю измерялку качества нет уж, Алексей, лучше делайте как Google — никому ничего не говорите измерялка качества является даже бОльшим коммерческим секретом, чем формула ранжирования. чем дольше конкуренты пользуются слепыми анализаторами, тем лучше.

  • Ответить
    Альтер Эго

    измерялка качества является даже бОльшим коммерческим секретом, чем формула ранжирования и если вдруг ее рассекретить, то рухнет долго создававшийся миф, что это якобы высокотехнологичная поисковая система, всем станет очевидно, что это просто кнопка «бабло!»