«Яндекс» дал россиянам ранее недоступный им «дорогой» поиск

Развитие событий: Амзин искал «Яндексом» две недели и поделился впечатлениями (13 сентября 2017)

«Яндекс» заменил поисковый алгоритм «Палех» на его более развитую версию «Королёв». Прошлогодний «Палех» использовал связь между смыслом поискового запроса и смыслом заголовков предварительно подобранных веб-страниц. «Королёв» работает со всем содержанием страницы, не ограничиваясь заголовком.


Запрос «как одеться сегодня» по смыслу соответствует веб-страницам с прогнозом погоды на ближайшие часы, и страницам с советами стилиста о моде в августе 2017 года — заголовки и текст подходящих страниц не обязаны повторять слова из исходной фразы «как одеться сегодня».


«Яндекс» напомнил о вычислительной сложности установления смыслового соответствия при помощи нейросетей. С ноября 2016 года, на старом алгоритме, мощностей дата-центров «Яндекса» хватало на ранжирование через нейронные модели лишь 150 лучших заголовков от потенциально подходящих документов к одному запросу. На более ранних стадиях ранжирования применялись более грубые, но, за счёт своей простоты, более скоростные методы сортировки. В «Яндексе» понимали, что хорошие документы всё-таки терялись на ранних стадиях, а все смыслы веб-страницы не всегда удачно переданы в её заголовке. В поисковике перестроили и организацию нейронных сетей и подход к первичному индексированию веб-страниц. В результате «Королёв» сравнивает по смыслу с запросом не 150 заголовков, как раньше, а 200 000 полных веб-страниц, ранжирует их и выводит в результаты поиска.

Презентация новой версии поиска «Яндекса»

Превратившийся в «Королёва» «Палех» — это не финальная версия поискового алгоритма. «Яндекс» рассказал, что в перспективе инженеры хотели бы применять нейросети на всех стадиях предварительного поиска и добавить в алгоритм персонализацию: «Чтобы семантические вектора помогали нам находить документы, близкие по смыслу к запросу, но вовсе не содержащие слов запроса. Еще мы хотели добавить персонализацию (представьте себе еще один вектор, который будет соответствовать интересам человека)». Поисковик планирует: «Но на все это требуется не только время и знания, но и память и вычислительные ресурсы, и здесь без нового дата-центра не обойтись. И у Яндекса такой уже есть. Но это уже другая история […]».

В конкурирующем Google тоже работают над искусственным интеллектом (AI) в поиске. Около года назад Google поручил поиск Джону Джаннандреа — специалисту по AI.

Лучшие комментарии

  • Контекст комментария

    AS

    ИМХО Яндекс как коммерческая компания рубит сук на котором сидит.
    И непонятно почему упорно не хочет понимать кто платит деньги.
    Поиск для пользователей ? С какой целью ? Вы коммерческая компания, Вас интересует заработок.
    Пользователь за поиск не заплатит. Ввести оплату за поиск уже вряд ли возможно.

    Деньги в отрасль несут комерсы — комерсам надо понятные правила игры — как разместить свое предложение выше конкурента.
    Ему не нужны нейронные сети и прочие черные ящики.
    Если Яндексу не нравилось что SEO идет не в его карман, ну так надо было не убивать SEO, а возглавить — сертифицировать, создать свое, купить все биржи ссылок и т.п.
    Раньше были ссылки, потом тексты. Проекты разваивались и продавали. И долгое время чуть ли не до 90% продаж шло с Яндекса.
    Сейчас нет ссылок, нет текстов, выдача хаотична и на 50% случайна. Проекты по прежнему продают, но доля Яндекса упала уже до 25%.

    Ну меня конечно радует, что зависимость от Яши уже почти сошла на нет, но они должны понимать что когда это случится не в отдельно взятой нише, а повсеместно, то Яндекс нахрен станет никому не нужен и вот тогда деньги точно потекут мимо их кассы.
    Не если ребята хотят запилить опенсорсный проект, отказаться от зарплаты и все такое, то как бы снимаю шапку, вперед и с песней… но пока что то никто таких целей не декларировал.

  • Контекст комментария

    Денис Демидов AvtoGSM.ru

    >Деньги в отрасль несут комерсы — комерсам надо понятные правила игры — как разместить свое предложение выше конкурента.

    Я вам как коммерс официально заявляю, я понесу свои деньги туда где есть аудитория, удобство сервиса, лич. кабинет или еще что, будут по важности на последнем месте, если аудитория то я с деньгами там, нет? увы, хоть пусть облизывают меня с ног до головы, нет и все.

    Что касается ясных правил, то все есть, директ и маркет, кто больше платить тот и выше.

    >Сейчас нет ссылок, нет текстов, выдача хаотична и на 50% случайна. Проекты по прежнему продают, но доля Яндекса упала уже до 25%

    Вы правы доля Яндекса по многим коммерческим темам упала, у меня например Яндекс дает уже в два раза меньше клиентов чем гугл, но это объяснимо, Яндексу против долларового лома нечего противопоставить, в рыночной экономике у кого больше бабла тот и на коне.
    Американцы печатая баксы за счет всей планеты перешибут баблом кого угодно, в этой ситуации либо сворачивать рыночную экономику, либо выносить иностранцев за скобки, ну или кирдык всей IT отрасли, начало мы уже видим, а потом и всей стране.

    В 21 веке IT будет фундаментом всей экономики, как сейчас финансы.
    Я лично за вышвыривание иностранцев из России и строительства собственной IT отрасли по примеру Китая.

  • Контекст комментария

    gremlin

    > Так в том то и проблема что никаких сколько бы формализованных «правил нет»!

    Даже если они были бы формализованы и известны для самих яндексоидов, они бы всё равно их бы не афишировали. Предлагаю Вам рассмотреть этот вопрос с точки зрения Ашманова И.С. в выступлении о маркетинговых платформах:
    https://www.youtube.com/watch?v=Xdr4r3fHCLw

    Тезисно:
    1. Поиск Яндекса — это маркетинговая платформа со своей аудиторией.
    2. Если Яндекс даст чёткий набор правил, как выйти в топ, то получается, он даст доступ к своей платформе, а значит должен иметь с этого гешефт.
    Т.е. коммерсы должны платить за доступ к аудитории.
    3. Поскольку Яндекс по разным причинам отказывается от платы за попадание страниц в органику, все механизмы ранжирования должны быть скрыты от рекламодателей. Раз коммерсы Яндексу не платят — никаких гарантий для них нет.

    Отсюда абстрактное «делайте для людей». Или идите в директ)
    Где, кстати, тоже мутноватые правила, но они достаточно формализованы, публичны, есть гарантии, отчётность, механизм оплаты и т.п.

Добавить 37 комментариев

  • Ответить

    Так как нейронная сеть — это «чёрный ящик», о котором неизвестно почему он принял то или иное решение — теперь всегда можно сказать, что в странных результатах поиска виноват не «ящик» (не «Яндекс»), а пользователи поисковика. Ведь соответствия смыслов устанавливают на основе поведенческих факторов и мнений пользователей сервиса «Толока».

    Есть и более приятное продолжение. Смысл не обязательно задавать словами, его и не задают словами. Поэтому «Королёв» даёт надежду на запуск настоящего «поиска без поиска», очень продвинутого компьютерного ассистента в Яндекс.Браузере или мобильном приложении «Яндекс», которое предлагает ссылки не после введения текста в поисковую строку, а до набора ключевых слов.

  • Ответить

    давайте уже определимся.
    исходник:
    — алгоритм «Палех»: связь между смыслом поискового запроса и смыслом заголовков подобранных веб-страниц («как одеться сегодня»). мощностей дата-центров «Яндекса» хватало на ранжирование … лишь 150 лучших заголовков
    — алгоритм «Королёв» сравнивает по смыслу с запросом не 150 заголовков, а 200 000 полных веб-страниц

    и это все? всего лишь увеличение «объема результатов» ? чего ж здесь радикально-нового?
    б) как сегодня одеться — вот что волновало разработчиков? куда пойти выпить вчера?
    в) мощности дата-центров Яндеха: на оборудовании х86-64 (именно такое стоит в ДЦ) — построение реально-нейронных сетей невозможно в принципе (=двоичная логика). но новостей про «иное оборудование в ДЦ» Яндех нам не дает
    итого, +++, = вся эта новость «о радикально новом поиске» — обычный фейк для госчиновников (= отбивка бюджета)

  • Ответить

    В заголовке, в паре предложений, нельзя передать весь смысл веб-страницы.

    Смысл :) поиска и заключается в том, что нужно ранжировать огромное число примерно подходящих документов. Взять все миллионы примерно подходящих документов, отбросить спамные, а остальные расставить по-порядочку. Таким образом, чтобы их список начался с наиболее подходящих. Очевидно, что если получается — наиболее подходящие, наиболее совершенным методом подбора, лучше искать среди 200 000 полных смыслов всей страницы, а не 150 заголовков.

    Наверняка в мире есть куча тем, где 200 000 веб-страниц закрывает тему вообще полностью. То есть хорошее ранжирование применяется ко всей области знания о чём-нибудь.

  • Ответить

    со «смыслом» — позже. сначала — результаты:
    — допустим, алгоритм «Палех» был правильный, но медленный. поэтому он давал 150. а сейчас «Королев» лучше, и дает 200 К. Но меня не устраивало ни 1 из прежних 150. почему я должен считать, что новые 200 К — более «правильно» отображают мой запрос ?
    — Гугль (да, он!))) давал 50, но все — более качественно отрабатывали мои запросы
    Смысл поиска не в адресе «куда пойти вчера напиться». Но — это мое личное мнение (и запросы). Тем не менее, повторюсь, про изменение парадигмы поиска — Яндех молчит. Из чего я (опять же — лично для себя) делаю те выводы, что описаны в предщ. моей записи
    ЗЫ.
    по ср. с АльтаВистой — Гугль = «сынок». правда, «хороший сынок». а ЯндехКоролев (намек на «короля»?) — этот даже не родственник. ИМХО

  • Ответить

    PS.PS.
    возможная причина моих (!) неудач на Яндексе: привычка к АльтаВисте, в каком виде формулировать свои запросы (это — как первая любовь, забыть невозможно). Для Гугля этот алгоритм оказался верен, для Яндексе — увы.

  • Ответить

    >Но меня не устраивало ни 1 из прежних 150. почему я должен считать, что новые 200 К — более «правильно» отображают мой запрос?

    — никто не должен. Бессмысленно масштабировать частный пример на общее качество поиска для всех пользователей вместе взятых. Качество проверяют более масштабно, анализаторами, как вы помните.

    Однако есть нюанс. Если вы заведомо знаете, что ответ на ваш вопрос существует, но его не было в 150 результатах — значит «Яндекс» отбросил ответ раньше (совсем грубой, быстрой и дешёвой технологией). Затем «Яндекс» отсортировал 150 ссылок, среди которых уже не было подходящей. Результаты разочаровывают, естественно. Поэтому, когда на 3 порядка выросло число ссылок, которые можно сортировать — упала вероятность того, что подходящий результат выкинут грубые алгоритмы. Не менее важно, что теперь соответствие тонкими алгоритмами ищется по всему тексту страниц, а не только заголовкам, где ничего толкового и не умещается.

  • Ответить

    мое дело 10-е: мне нужен «ответ на вопрос». и я намерен выбирать тот инструмент, который мне это позволяет сделать быстрее и точнее. плакать по AV я буду ближе к ночи, предв. нужно крепко подружиться с JmBeam ))))
    — послушать умных людей про «преимущества Яндекс-поиска»: послушал. Спасибо, до свидания!

  • Ответить

    Скайнет на службе добра это конечно хорошо, но почему что Яндекс что отчасти Гугол не хотят сделать удобную систему настройки поиска без этих лабиринтов, танцев с бубнами и непонятной, часто неработающим или меняющимся языком поисковых запросов? Все таки попытки прочитать мысли пользователя, при этом не давая возможности правильно сформулировать запрос, но подсовывая то, что чаще всего ищут, даже с самыми навороченными AI-шными алгоритмами, являют обычную тупую статистическую машину.

  • Ответить
    Альтер Эго

    Да какая разница какой алгоритм, если с каждым днем яндекс все больше ищет только ко яндексу.
    «Поиск №1 по яндексу»

  • Ответить

    Почему-то создатели поисковых систем считают, что должны все придумать за пользователя и дать ему 10ку самых лучших результатов на основе результатов ранжирования. Эта утопичная идея ползет уже 20 лет. За это время научились лишь подмешивать картинки, видео, статью из википедии, новости, вычлененку определения и калькуляторы.

    Было бы очень полезно, если бы ввели фильтр поиска по типам сайтов: гос, СМИ (Яндекс.Новости типа есть), интернет-магазины, прочие онлайн-сервисы, блогосфера, соцсети, корпоративные сайты, музыкальные сервисы, кинотеатры, мобильные приложения, образовательные учреждения, научные учреждения, медучреждения…

    Второй фильтр был бы также полезен по типу контента: подробный обзор с фото/видео, интервью, лонгрид, книга, рецензия, с комментариями пользователей, радиопередача (аудиоподкаст)…

    Вот что это за дебильная выдача «видеоредактор для смартфона»
    https://yandex.ru/search/?text=%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%BE%D1%80%20%D0%B4%D0%BB%D1%8F%20%D1%81%D0%BC%D0%B0%D1%80%D1%82%D1%84%D0%BE%D0%BD%D0%B0&lr=2&rnd=79315

    Уже десять лет прошло почти с момента выхода мобильных приложений, а мне выдают какие-то сомнительные статейки с обзорами от великого ИИ.

    Увы, грустные инновации у вас!

  • Ответить

    ИМХО Яндекс как коммерческая компания рубит сук на котором сидит.
    И непонятно почему упорно не хочет понимать кто платит деньги.
    Поиск для пользователей ? С какой целью ? Вы коммерческая компания, Вас интересует заработок.
    Пользователь за поиск не заплатит. Ввести оплату за поиск уже вряд ли возможно.

    Деньги в отрасль несут комерсы — комерсам надо понятные правила игры — как разместить свое предложение выше конкурента.
    Ему не нужны нейронные сети и прочие черные ящики.
    Если Яндексу не нравилось что SEO идет не в его карман, ну так надо было не убивать SEO, а возглавить — сертифицировать, создать свое, купить все биржи ссылок и т.п.
    Раньше были ссылки, потом тексты. Проекты разваивались и продавали. И долгое время чуть ли не до 90% продаж шло с Яндекса.
    Сейчас нет ссылок, нет текстов, выдача хаотична и на 50% случайна. Проекты по прежнему продают, но доля Яндекса упала уже до 25%.

    Ну меня конечно радует, что зависимость от Яши уже почти сошла на нет, но они должны понимать что когда это случится не в отдельно взятой нише, а повсеместно, то Яндекс нахрен станет никому не нужен и вот тогда деньги точно потекут мимо их кассы.
    Не если ребята хотят запилить опенсорсный проект, отказаться от зарплаты и все такое, то как бы снимаю шапку, вперед и с песней… но пока что то никто таких целей не декларировал.

  • Ответить
    Альтер Эго > AS контекст

    «Раньше» покупатели наливались из «Яндекса» — это когда? Когда поисковая доля Google была меньше?
    Google, вот, нравилось, что SEO идет не в его карман — поэтому он не занимался благотворительностью и не покупал у энтузиастов их «биржи ссылок».

  • Ответить

    >> Было бы очень полезно, если бы ввели фильтр поиска по типам сайтов: гос, СМИ (Яндекс.Новости типа есть), интернет-магазины, прочие онлайн-сервисы, блогосфера, соцсети, корпоративные сайты, музыкальные сервисы, кинотеатры, мобильные приложения, образовательные учреждения, научные учреждения, медучреждения…

    +++++ Люто плюсую! Чем этот древняя выдача в виде списка, нужно либо вот как на стартовой странице гугла скриншоы или на роеме статьи — разверстать по блокам — ввести еще и «неопределенное», сверху у каждого блока картиночку (чтоб было видно, куда лезть в первую очередь) .
    А то что ни спрости — две страницы одного алиэкспресса. И непонятно как избавиться от него. ( в рпинципе и избавляться не надо, но порой было бы неплохо всех ээтих торговцев отключить от выдачи). Дикое время уходит на копание это.
    Или сам запрос сперва конфигурировать чекбоксами а не просто в поисковую строку слово ввести.
    Специально полез в тотже гугл (ну какбы мировые гейганты?) на днях в инструкции, может, думаю, чтото там уже такое появилось? Но нет. Ничео не появилось, максимум это както корячиться с составлением поисковой фразы:
    https://support.google.com/websearch/answer/134479?hl=ru

    мне очевидно, что сейчас уже назрела и перезела ситуация для поисковиков — не выдача всей кучи, а предварительная тонкая конфигурация запроса, отсечение лишнего. Либо — как предалагется выше — сортировка выдачи по кучкам, на одной странице, а не списком.

  • Ответить

    ИИ говорите… а вот почему в 2017 году нельзя сохранить фильтр за «2 недели» (например), при переключении от обычного поиска, в картинки, новости и далее…

  • Ответить

    Оказывается есть что то подобное, и ссылку на него нашел здесь на сайте в комментах, http://ktonanovenkogo.ru/seo/nigma-populyarnymi-poiskovymi-sistemami-nigma-matematika-ximiya-poisk-muzyki.html,
    http://www.nigma.ru/, хотя месяца два назад искал что то похожее в яндексе и гугле и естественно получил кучу не пойми чего, и совсем не по теме.

  • Ответить

    >Деньги в отрасль несут комерсы

    Строго говоря, коммерсы идут туда, где тусуется покупатель. Собственно, привлечение широкой аудитории в свой поиск — это первая задача Яндекса. Будут люди — будут коммерсы.

    > Сейчас нет ссылок, нет текстов, выдача хаотична и на 50% случайна. Проекты по прежнему продают, но доля Яндекса упала уже до 25%.

    Яндексу всё равно, какие именно сайты показывать, лишь бы пользователи были удовлетворены. Если есть 30 хороших релевантных сайтов по запросу, он вообще может из них выбирать ТОП-10 случайно — ведь каждый из них пользователя примерно одинаково удовлетворяет.
    Мне кажется все эти ИИ и персонификация выдачи это в том числе попытка разрулить ситуацию, когда релевантных страниц становится больше, а топ не резиновый. И, так сказать, равномерно размазать релевантные сайты по пользователям, чтобы каждый сайт получил свой сегмент аудитории.
    Из примера выше — не чтобы 10 случайных сайтов из 30 закрепились в топе, и не чтобы он случайно мешался, а чтобы были правила, на основе которых они будут ранжироваться для разных людей по-разному. И каждый что-то получит.
    Но это всё, конечно, теория, как там внутри кухни всё устроено никто не скажет.

  • Ответить

    Так в том то и проблема что никаких сколько бы формализованных «правил нет»!
    Мы можем с Вами сделать 10-к тестовых страниц представляющих скажем один и тот же товар и … никто в Яндексе не сможет сказать как они распределятся в выдаче между собой и главное ПОЧЕМУ так ?
    Их прогонят через матрикс нет и скажут — так получилось. И если на второй итерации получится с точностью до наоборот, то скажут … тоже самое.
    Это анархия, а не правила.
    При этом каждый раз они будут говорит что надо «делать для людей», что уже даже не смешно :(

  • Ответить

    > Деньги в отрасль несут комерсы — комерсам надо понятные правила игры —
    > как разместить свое предложение выше конкурента.

    За понятными правилами вам в Каталог Рамблера — помните такой?
    Современному пользователю рекламный каталог вместо поиска неинтересен, поэтому основная задача Яндекса, как и Гугла, состоит в том, чтобы организовать процесс так, чтобы понятных правил не было.

  • Ответить

    Точнее, у Яндекса есть отдельное специальное место для коммерсов с понятными правилами — Яндекс.Маркет. Правда, он все менее и менее полезен пользователям.

  • Ответить

    >Деньги в отрасль несут комерсы — комерсам надо понятные правила игры — как разместить свое предложение выше конкурента.

    Я вам как коммерс официально заявляю, я понесу свои деньги туда где есть аудитория, удобство сервиса, лич. кабинет или еще что, будут по важности на последнем месте, если аудитория то я с деньгами там, нет? увы, хоть пусть облизывают меня с ног до головы, нет и все.

    Что касается ясных правил, то все есть, директ и маркет, кто больше платить тот и выше.

    >Сейчас нет ссылок, нет текстов, выдача хаотична и на 50% случайна. Проекты по прежнему продают, но доля Яндекса упала уже до 25%

    Вы правы доля Яндекса по многим коммерческим темам упала, у меня например Яндекс дает уже в два раза меньше клиентов чем гугл, но это объяснимо, Яндексу против долларового лома нечего противопоставить, в рыночной экономике у кого больше бабла тот и на коне.
    Американцы печатая баксы за счет всей планеты перешибут баблом кого угодно, в этой ситуации либо сворачивать рыночную экономику, либо выносить иностранцев за скобки, ну или кирдык всей IT отрасли, начало мы уже видим, а потом и всей стране.

    В 21 веке IT будет фундаментом всей экономики, как сейчас финансы.
    Я лично за вышвыривание иностранцев из России и строительства собственной IT отрасли по примеру Китая.

  • Ответить

    > Так в том то и проблема что никаких сколько бы формализованных «правил нет»!

    Даже если они были бы формализованы и известны для самих яндексоидов, они бы всё равно их бы не афишировали. Предлагаю Вам рассмотреть этот вопрос с точки зрения Ашманова И.С. в выступлении о маркетинговых платформах:
    https://www.youtube.com/watch?v=Xdr4r3fHCLw

    Тезисно:
    1. Поиск Яндекса — это маркетинговая платформа со своей аудиторией.
    2. Если Яндекс даст чёткий набор правил, как выйти в топ, то получается, он даст доступ к своей платформе, а значит должен иметь с этого гешефт.
    Т.е. коммерсы должны платить за доступ к аудитории.
    3. Поскольку Яндекс по разным причинам отказывается от платы за попадание страниц в органику, все механизмы ранжирования должны быть скрыты от рекламодателей. Раз коммерсы Яндексу не платят — никаких гарантий для них нет.

    Отсюда абстрактное «делайте для людей». Или идите в директ)
    Где, кстати, тоже мутноватые правила, но они достаточно формализованы, публичны, есть гарантии, отчётность, механизм оплаты и т.п.

  • Ответить

    >2. Если Яндекс даст чёткий набор правил, как выйти в топ, то получается, он >даст доступ к своей платформе, а значит должен иметь с этого гешефт.
    >Т.е. коммерсы должны платить за доступ к аудитории.

    Да кто против то ? Дайте правила и расценки и будем платить.
    Вот тут выше про то что никому не нужен каталог, а нужен свободный поиск…
    Вот нахрена вам этот высер где в топ-10 сплошной хлам ?

    А если кто то платит за оптимизацию своего сайта, за то чтобы попасть в топ, то наверное он не просто так это делает, никто не будет гавно в топ запихивать — это дороо и не имеет коммерческого смысла.
    Коммерсам подпихивать вам свою рекламу на некомерческие запросы тоже не особо то нужно.
    Но когда человек ищет в поиске что то про купить, а поисковик это определяет на 1-2, то очевидно в этот момент поиск должен становится как раз таки рекламной площадкой и забывать про свои дебильные алгоритмы-«черные ящики», а работать в режиме рекламной витрины.

    Все проблемы ранжирования они же только в коммерческих высококонкурентных сегментах. А если человек пишет на сайте про разведение «подкустовых выползней» то у него никаких проблем нет и найти его не сложно :)

    Директ — да, но директу на выдаче отдано слишком мало места, поэтому он получается слишком дорог, ИМХО как вариант, чисто на коммерчерческие запросы в выдаче я бы ТОП-30 отдал Директу, а дальше уже обычные сайты

  • Ответить

    Впрочем это все и в тему сделать предфильтры тоже ложиться.
    Т.е. если человек включает фильтр, что он ищет товар купить, то выдаем ему только Маркет скажем или Директ или магазины или какой то микс их, без всего остального мусора :)

  • Ответить

    посмотрел инфу про Nigma, на которую дал ссылку коллега ED -209.
    Ну да. Примерно об этом и идет речь. И даже понятно, что поцаны просто несколько опреедлили время, стартанули раньше. А также постарались впихнуть невпихуемое и объять необъятное. А задача, наверное, по настоящему назрела именно теперь.
    Надо отметить, что некая систематизация и устаканивание в формах\подачах\дизайнах сайтов произошла именно в последние годы, ао многом благодаря шаблонизации. А также и офрмление уже локальных поисков чего либо внутри этих сайтов ( например, туроператор или недвижка или завод по производсту гаек). Такая унификация просто проще и удобнее.
    Однако, проблема в том, что для поиска вот этих вот подходящих инфоресурсов нужно перелопатить кучу гуано, которое вываливают выжившие на рынке глобальные поисковики.
    Их гордость понятна, но какое мне дело, что они выдали 13445654 ссылок на страницы за 0.034 сек.? Как рыться в этой куче навоза?
    Минусовать лишине словосочетания? Но в ряде случаев, еще надо полчаса потратить, чтобы понять, что минусовать.
    Одним словом, настало время, говоря горнорудным языком, обогащения выданной на гора породы. А далее — тонкой очистки, фильтрации и центрифугирования субстанции. Т.е. поиск в поиске.
    Услуга поиска в выдаче нескольких поисковиков — дело некриминальное. Это может делать и физлицо и алгоритм. Причем разный алгоритм — разный и успех.
    И начанать надо наверное с каких то узких сегментов. Индустриальная тема, например. А уж потом охватывать кабаки или бутики.
    Было бы окнечно удобно сконфигурировать поиск (пусть это займет неск. минут) а потом дождаться, когда этот брандмауэр ужа сам там всю эту выдачу перероет неспешно (хоть даже за минуты), отсеет лишнее (критериев — масса) и выдаст то, к чему можно присмотреться.

    А крупные поисковики — они и забронзовели уже да и, чую, другие задачи преследуют. Их видимо прикалывают конверсии на ненужные сайты в выдаче или возможность впихивать проплаченное. Ну и уж тем более — возможность «влиять на умы». Это хлебом не корми. Сами себя уверили в этом и сидят с этой мыслей. Грезят.
    А надо просто переходить к новому этапу организации поиска.(сохраняя и старое). Народ уже наискался и вообще наблатыкался. Нужно эффективность повышать.

  • Ответить

    > Да кто против то? Дайте правила и расценки и будем платить.

    Против Яндекс, потому что против будут пользователи.
    В чём отличие органики от директа? По перейдя по директу, может открыться любая чушь, которую проплатили. Релевантная, или не очень.
    А юзеры это в основном понимают. Что качество директа ниже поиска почти во всех сферах.
    А это значит, что если Яндекс будет продавать позиции, или сделает 30 позиций директа, то он кратно снизит качество поиска. И тогда здравствуй Гугл (а если это сделает Гугл, то тогда здравствуй Яндекс).

    Поэтому модель у Яндекса такая — делаем качественный поиск, удерживаем аудиторию, показываем рекламу рядом с поиском.
    Просто он недоволен, видимо, что много денег уходит в сеошные конторы, ссылки и т.п. Ну то есть на тот самый неавторизованный доступ к платформе.
    Добавив конспирологии, можно предположить, что индивидуализация выдачи и усложнение чёрного ящика (нужное для размазывания релевантных сайтов по аудитории) это, помимо прочего, также ещё и намерение усложнить жизнь сеошникам и вебмастерам, рассчитывающим на трафик из органики, чтобы подстегнуть их в директ.

    Это интересный момент: если представить, что раньше было топ устаканеный, от апдейта до апдейта, то пробившись в топ ты собирал всё.
    А теперь, с индивидуализированной выдачей, ты можешь пробиться в топ, но всё ты уже не соберёшь — только тех, кто под тебя индивидуализирован.
    То есть получается, что топовые сайты просто лишаются части аудитории, эта часть «индивидуализировалась» под конкурентов. Само понятие «топ выдачи» размывается.
    Судить продвинутый сайт или нет по позициям уже сложно — только по трафику, отдаче от сайта и т.п.
    А хотите больше трафика — вот вам директ, маркет, рся.

    Резюмируя — все эти усложнения алгоритма, чёрные ящики, ИИ и прочее это попытка сделать две вещи:
    1. Улучшить качество поиска.
    2. Усложнить неавторизованный доступ к платформе.

  • Ответить

    Было бы окнечно удобно сконфигурировать поиск (пусть это займет неск. минут) а потом дождаться, когда этот брандмауэр ужа сам там всю эту выдачу перероет неспешно (хоть даже за минуты), отсеет лишнее (критериев — масса) и выдаст то, к чему можно присмотреться.

    Это называется text mining. Очень дорогая штука, там реально должны инженеры сидеть и затачивать всё под конкретную специфику, поэтому используется очень мало где. Но используется, и давно.

    А поисковики — это дешевый ширпотреб. В том же IT гугль ищет превосходно, да и что ему для этого нужно — всего лишь стековерфлов, вики, документация и немножко хабра. Как в других областях — я не знаю, возможно, там всё очень плохо как раз-таки потому, что никто не додумался завести там свой стековерфлов, да и даташиты до сих пишут в PDF и чертят на чертежных досочках… ну и не удивительно тогда.

    P.S. А вот это вот «как одеться сегодня» — это конечно полная жесть. Неужели кто-то и впрямь на полном серьезе задаёт поисковику такие вопросы? Прямо готовые колбочки для извлечения волшебной матричной энергии…

  • Ответить

    Но Яндекс и Гугл с его Siri похоже и затачивают поиск под людей которые не знают «как одеться сегодня». В этом контексте новый ИИ поисковика интереснее не более ИИ какого нибудь чат-бота. Если с технического на человеческий — «Что вы ищете?» заменяется на «Я знаю что вам нужно». Интересно, есть ли будущее у поисковиков зарабатывающих на поиске, а не на рекламе?

  • Ответить

    @Владимир Мяу

    Себрант ещё 3 года назад объяснил, что половине России — не нужен поиск, хотя они тоже владельцы телефонов и компьютеров:

    У нас есть статистика частоты запросов в Яндексе в зависимости от размеров населенного пункта. В пунктах с населением меньше ста тысяч человек проживает почти половина страны. При этом частота обращений — любых! — к поисковой системе там в 10−15 раз меньше, чем в крупных городах. Не то, чтобы эти люди не знали, где найти информацию, она им просто не нужна.

    То, что людям не нужен Поиск, вовсе не обозначает, что люди, которые могут позволить себе компьютер или телефон — не нужны «Яндексу». Поэтому «как одеться сегодня» — оказался не только примером запроса (примечание: это словосочетание приведено, как гипотетический пример, «Яндекс» к нему не имеет отношения), но и как пример сценария, который должен отработать ассистент «Яндекс», сам и в нужный момент, а не поиск в ответ на запрос.

    @gremlin

    Индивидуализация выдачи — это задача по снижению себестоимости поиска. «Индивидуализация» — это маркетинговый термин для розничной аудитории. По ту сторону прилавка никакой «индивидуализации» нет. Есть полезный трюк, удобный для удешевления расчёта SERP.

    Если поисковику известно, например, что человек не знаком с правилом «всегда читать пруфф», обходится без официальных документов, не умеет читать тексты длиннее 450 символов, не любит страницы, которые весят по 2 мегабайта, не умеет пользоваться страницами, где много картинок, не нуждается в сайтах из других регионов России и так далее и тому подобное — для ранжирования под запрос поисковик будет использовать не половину Рунета, а сто убогих страниц, оставшихся после предварительного грубого, но очень дешёвого отсечения всего того, что человеку «не нужно». Вот и вся «индивидуализация».

    Возможно, что работают вероятностные модели. Когда поисковику известно, что сделанные им допущения-упрощения-индивидуализация, с большей вероятностью снижает себестоимость поиска, а не провоцирует решения никогда не пользоваться Яндексом. Наверняка есть целое семейство запросов, где это предположение верно. Та же «погода». Достаточно разобрать исходный запрос и поняв, что он о погоде, можно вывести собственный прогноз с Яндекс.Погоды и абсолютно любые несколько сайтов о погоде. Вообще любых, большой индекс даже не надо трогать. Всем пользователям без исключений (кроме владельцев сайтов о погоде) — будет абсолютно безразлична полнота или максимальная релевантность и корректность присвоения места в SERP тем или иным погодным сайтам.

  • Ответить

    >>> Если поисковику известно, например, что человек не знаком с правилом «всегда читать пруфф», обходится без официальных документов…..сто убогих страниц, оставшихся после предварительного грубого, но очень дешёвого отсечения всего того, что человеку «не нужно». Вот и вся «индивидуализация».

    Вот. Именно это и требуется, именно об этом разговор. Дешево и сердито, зато экономит кучу времени ( в пользу рытья уже в выданных сайтах, а не в самой выдаче). Понятно, что поисковику приятно, что роются в нем ( время пребывания, блабла).
    То же и по работе с результатами поиска. (что характерно — что гугл что яндекс предлагают свои браузеры). Но кроме «истории» или кучи открыты вкладок никаких более удобных инстументов для систематизации работы с резултататми (ну может еще «сохранить страницу как») даже я не знаю. Самое удобное — копипасть адрес и уже в текстовом докуметне гдето у себя, с пометками и комментами, храни). Ну и далее, по мере контактов и изучения ( а иногда надо и позвонить или письмо написать или через форму обратиться) еще один уже ручной отсев идет.

    >> Это называется text mining. Очень дорогая штука, там реально должны инженеры сидеть и затачивать всё под конкретную специфику,

    это может и на стороне пользователя быть такое приложение. Засосет и промолотит в фоновом режиме всю выдачу и выдаст относительно чистый продукт. Перегонкой. Ведь что бы надо? Что завод по выпуску пружинок не в Гондурасе. Что сайт жив и обновлялся хотябы в прошлом году. Украину вот теперь можно уже и не показывать (мало ли что там русскоязычные сайты и продукция подходящая?).
    Было бы не плохо также както уже найденным и просмотренным (которое, надо отдать должное, подсвечивается цветом) не помещать на первую страницу при повторном уточненном поиске, а кудато в отдельную папочку помещать а не снова впихивать.

    Кстати, тот же ютуб достаточно осымсленную выдачу делает в отличие от текстовой на гуггле. И се чаще просто поиск по видео (там наверно меньше лишннего в тегах) делаю Т.к. проще. А все конторки уже так или иначе поразмещали по ролику на ютубе. Некоторые, конечно, по страой памяти, изза ложно понимаемых понтов, хостят свои ролики у себя. Вот их, бедолаг и приходится выискивать в текстовой куче.

  • Ответить

    Я думаю гугл и Яндекс хотят трансформировать не просто в поиск, а в голосового помощника (и не только голосового), быть первым окном в интернете и не только, успех амазоновского помощника не плохое тому подтверждение.

    Так что скоро Яндекс и гугл будут не только отвечать на вопросы класса что надеть сегодня, но и что новенького и что посмотреть и чем заняться, и тут ключ к успеху именно в персонализации, персонализация это вовсе не какая то экономия ресурсов как писали выше, это наоборот ядерный костер для сжигания этих ресурсов в больших количествах, но по другому они обречены умереть.

    Думаю через 3-5 лет нейронные сети будут заниматься всеми без исключениями запросами а не частью как сейчас, и персонализация будет только углубляться, поисковик будет не просто понимать своего юзера но и будет делать это в реальном режиме времени, потому как человек в разное время суток может быть довольно разным.

    Следующий логичный шаг не просто персонализация а изучение социального круга конкретного юзера, поисковик будет принимать решения опираясь не только на конкретного индивида но и на инфу о действиях соц. круга этого индивида.

    Понимая социум индивида можно будет начать и активные действия, например система понимает что твоя женщина вот вот начнет тебе выносить мозг и предлагает на опережение сделать то то и то то, например купить цветы, разумеется у тех кто уже платит системе за участие в программе.

    Поисковики имея огромные массивы данных о самых разных людях смогут стать настоящими помощниками по жизни а может даже и на подобии друга, которому можно поплакаться и который подскажет решение проблемы с вероятностью 99% на успех.

  • Ответить

    С точки зрения лично меня, еще с моих студенческий дней, примерно 50% не могут его пройти. Так что я просто тупо верую, что мы такая переходная временная веточка, по типу обезьян, которые уже умели круто хватать руками и даже ногами, а толку-то. Пусть продолжают спрашивать что же им что же надеть, и плачутся в жилеточку роботу.

  • Ответить

    >Мартовская версия мобильного приложения «Яндекса» уже стала ассистентом, а не поиском.

    Вот уже и робкие попытки, у поисковиков в стремлении стать чем то большим чем поиск в конкурентах только соц. сети, у них данных даже больше для этого, но есть ощущения что у них много меньше компетенций, тот же fb в разы уступает гуглу, как и вконтакте яндексу по технологиям.
    Так что скорее всего таким «супер» ассистентом быстрее поисковики станут.

    >Похоже когда «система» таки ответит на вопрос про черепашку, не всякий человек сможет пройти тест Тьюринга.

    Человек не резиновый, его умственные возможности стабильны из века в век, жизнь становится все сложнее и сложнее, поэтому адаптируясь к ней человек в других секторах где это возможно становится более «тупее», и это правильно, если можно двигатель заводить кнопкой то зачем крутить ручку (кривой стартер), если с помощью автоматической коробки можно не переключать передачи, то зачем этот навык?!

    Так что не стреляйте в музыкантов людей, играют живут как умеют.

  • Ответить

    Вы сейчас пишите, что «если будет 10К новых страниц об одном и том же, то Яндекс каждый раз будет их ранжировать по разному», и почему-то ставите это как аргумент «плохости» Яндекса.

    Однако, если подумать мозгом, очевидно, что это как раз идеально-правильное поведение, когда 10К документов об одном и том же показываются, практически, рандомно. Почему Вы считаете что в этой ситуации 10 документов из этих 10К должны оказаться выше — мне непонятно (вернее понятно — сэо головного мозга, но к разумному оно имеет мало отношения)