Яндекс с помощью Microsoft продвинет технологию, экономящую ресурсы на индексацию

Microsoft представила протокол индексирования контента IndexNow, созданный совместно с Яндексом. Как сообщает SearhEngineJournal, это опенсорсный проект, к которому может присоединиться любая поисковая система ("с заметной долей хотя бы на одном рынке"): при появлении в сети нового контента или обновлении существующего поисковики-участники мгновенно об этом узнают, что сократит время индексирования. Технология начнет работать в ноябре 2021 года, за один запрос сайты смогут передавать информацию о 10 000 изменившихся страницах.

SEJ отмечает, что IndexNow - это смена концепции, по которой раньше было устроено индексирование веб-страниц поисковиками, на противоположную. Раньше поисковики запрашивали сайты об изменениях, посещая их индексирующими роботами, а теперь сайты будут проактивно отдавать им информацию (в оригинале материала это "pull" и "push"). Так уже умели делать (запрашивать переиндексацию при появлении нового контента), например, сайты на WordPress.

Поисковики не только смогут быстрее узнавать об обновлении контента, но и сэкономят ресурсы обслуживающих краулеры серверов, в том числе, возможно, за счёт отказа от обхода уже известных страниц, на которых ничего не поменялось. Сэкономленные ресурсы могут пойти на обход страниц, которые раньше казались недостаточно важными, чтобы тратиться на их индексирование, в результате доступный пользователям через поисковики интернет станет обширнее и богаче.

Сайты-источники контента тоже должны самостоятельно присоединиться к системе, такое желание уже выразили eBay, LinkedIn, MSN, GitHub. Wix и Cloudfare тоже поддержали инициативу. Для отправки ссылок в IndexNow предусмотрен API.

С критикой IndexNow выступил глава стартапа Yoast, который делает SEO-плагин для WordPress. Они не собираются поддерживать IndexNow, потому что "пока не видят ценности". Он считает, что  XML-карты сайта уже решают ту же задачу. Впрочем, позже он написал в Твиттере, что таки видит ценность для больших сайтов.

Ещё один аргумент против выглядел так: частота индексации - маркер качества контента, отношения поисковика к сайту, количества качественных ссылок на сайт и других важных для администраторов ресурса параметров. Поведение поискового робота они анализируют для понимания качества сайта.

Конкурент WordPress и Wix, конструктор сайтов Duda от лица своего директора стратегических интеграций объяснил, в чем ценность нововведения. Оно сокращает разрывы между циклами жизни контента: публикацией на сайте, визитом на страницу поискового робота, индексированием нового и появлением его в поисковых результатах. XML-карты могут тоже решать подобную задачу, но ещё один инструмент явно поможет решать её ещё лучше.

Главная интрига - как отреагирует на инициативу Google.