Relap.io: «коробка с рекомендациями», путь от 1 до 11000 млн рекомендаций в месяц

Год назад мы с командой Surfingbird начали работать над новым проектом Relap.io (relevant pages). Если Surfingbird был b2c-шным продуктом, то здесь мы решили сделать коробочную версию Sirfingbird для СМИ и медиа, так как несколько крупных паблишеров постоянно нас спрашивали, могут ли они использовать наши технологии у себя на сайте. Концепция выглядела как рекомендательный движок из коробки: распаковываешь, настраиваешь и происходит магия — пользователям рекомендуют интересные материалы, исходя из их предпочтений, глубина просмотров растет, волосы становятся мягкими и шелковистыми. Можно больше не насиловать редакцию вопросами, почему она забила на блок “Читать также” и другие функции, которые должны удерживать пользователя и заставлять его читать больше.

Мы пережили два переезда в разные дата-центры из-за экспоненциально выросшей нагрузки (ведь за год мы выросли в 10000 раз с 1 млн до 11 млрд рекомендаций в месяц), построили отделы b2b-продаж и аккаутинга и пережили много других увлекательных приключений. Я расскажу подробнее о проблемах, с которыми мы столкнулись.

Первая проблема была связанна с нашими внутренними страхами. Нас пугало, что мы можем потерять фокус. Surfingbird — b2c проект, а нам предстояло взяться за b2b. Мы боялись, что, занимаясь всем одновременно, не преуспеем нигде, и в итоге окажемся с карамелькой за щекою. Первая рабочая версия Relap.io была сделана за несколько дней. Авторитет Surfingbird в плане обучающего алгоритма помог нам привлечь первых медийных клиентов: ЦП, Lifehaker, Сoub и Adme. С одной стороны, ассоциации с Surfingbird помогали. С другой, мы уже переживали скандалы с отображением контента. Мы боялись, что СМИ не захотят ставить наши виджеты из-за этих ассоциаций. В итоге большинство говорило что-то вроде: “Мы знаем, что вы badass (засранцы), но мы считаем, что вы хороши в своем деле, и мы можем вам доверить работу с рекомендациями, потому что никто лучше вас с этим не справится”. Точку в нашем внутреннем споре поставил Coub: ребята сказали, что если бы мы пришли с улицы и были любой другой компанией, они бы не пустили нас на порог. Я понял, что даже когда ты предлагаешь что-то полезное и бесплатно, надо пройти семь кругов ада, прежде чем тебя пустят на сайт. Никто не любит b2b-стартапы, потому что у них нет опыта, они точно сделают кучу ошибок и сделают они их обязательно с вами с самого первого дня. Мы разрабатывали нашу рекомендательную технологию много лет и поэтому нам не составило труда развернуть ее к клиентам и предсказуемо масштабировать.

Вторая проблема была в том, что мы хотели брать деньги за рекомендации. Нам казалось это логичным: глубина просмотра растет, растут показы и вместе с этим деньги СМИ от рекламы. На деле оказалось так:

• кризис скорректировал заполнение инвентаря баблом;
• 95% СМИ не готовы платить вообще за подобные сервисы;
• те, кто были готовы (а такие были), существенно удлиняли цикл продаж нашей вундер-технологии.

Последний пункт был особенно болезненным: модель Retail Rocket, когда вы пытаетесь продать свою технологию за деньги, и ему подобных сервисов оказалась не очень устойчивой. Клиенты просят потестировать модель месяца три бесплатно, на четвертый появляется ваш конкурент и дает еще бесплатный тест, затем приходят студенты из физтеха и предлагают работать за еду. Клиент может начать резать косты, - и первым будет ваш сервис вместе с милой девочкой-маркетологом, которая вела с вами переговоры. Поэтому мы решили, что единственное решение - давать сервис бесплатно. И немедленно выпили смузи.

Третья проблема: встает вопрос — на чем зарабатывать? Первое, что приходит в голову, — продажа данных, которая до сих пор покрыта налетом маргинальности. Все паблишеры переживают за свои данные, несмотря на то, что по факту они их уже кому-то отдали, и их продала третья сторона и даже несколько раз, это все равно был deal breaker в продаже нашего продукта.

СМИ считают, что их данные представляет собой неимоверную ценность, поэтому ни в коем случае нельзя их кому-либо передавать. Аргументы о том, что они уже передают их Яндекс, Google, Addthis и т.д. и т.п. не принимаются. Этот рынок консервативен и боится меняться, боится нового. Многое построено на заблуждениях, которые мы пытаемся развеять наглядными цифрами и тестами (которые мы описывали в этой статье).

Мы решили, что редакции нужно помочь с решением всех этих проблем и давать нашу технологию бесплатно.

Взамен будем показать рекламу в этих блоках и делиться деньгами cо СМИ. То есть они смогут еще и заработать.В начале 2015 года, когда рекламные доходы сократились, стало понятно, что деньги нужны всем. И значит, что кроме увеличения CTR это будет еще приносить какие-то деньги. Два лучших аргумента, чтобы с нами захотели работать.

Важным доводом стало и то, что мы старались подбирать рекламодателей. Формат так называемой NativeAd, которая не вызывает отторжения ни у редакции, ни у пользователей.

Четвертая проблема с которой мы столкнулись - это нежелание ставить чье-то чужое, сделанное чужими руками, возможно даже без любви к читателю. Очень часто нам говорили: “Нет, мы будем делать это сами. Да, так надо.” Стремление сделать свой велосипед, убиться на нем об стену, сломать ногу и просто бесконечно, бесконечно страдать по причине того, что теперь все это надо, как минимум сапортить, в идеале развивать и что на самом деле ваш бизнес в другом, очень присуще многим компаниям, не только СМИ.

Часто эта неразумная и нерациональная трата ресурсов становится причиной трагедии. Кризис заставил медиа относиться экономнее к ресурсам. Мы нашли компромисс: наш виджет неотличим от того, который есть на сайте, то есть он полностью в дизайне и стилях клиента и даже иногда без нашего брендинга. Более того, если у редакции или продакт-менеджеров были какие-то наработки и планы желаемого дизайна этих виджетов, но что-то пошло не так, и их так и не воплотили жизнь, - мы были готовы решать эту проблему и все становились счастливы.

Пятая проблема: медиа уверены, что все делают правильно, не прибегая даже к самому простому анализу данных. Чаще всего это рекомендации по тэгам, или популярное, или что-то еще составленное редакцией. При этом, конечно же редакция не любит, когда ей говорят, что робот может порекомендовать пользователю более эффективно, чем человек, который “живет этим”, “держит руку на пульсе” и тд. Эта проблема всегда ставила меня в тупик, потому что она абсурдна. Ну то есть, человечество научилось сажать спутник на летящую в космосе комету, еще у нас есть Tesla, суперкомпьютер Watson от IBM и все такое, о чем можно было прочесть в книгах фантастов прошлого века. Айфоны в конце концов! Все это подводит к торжеству технологий вокруг нас. И поэтому нет, алгоритм знает лучше. Алгоритм знает лучше потому, что редактор не может за доли секунд кластеризовать аудиторию сайта на разные сегменты, построить тысячи связей между читателем и контентом, проанализировать десятки тысяч маршрутов пользователя в интернете и вывести нужную рекомендацию, затем переобучиться и повторить все снова и снова.

У меня есть убеждение, которое может показаться консервативным и банальным: все работает хорошо, когда каждый занят своим делом. То есть я лучше вызову сантехника, чем буду сам чинить на кухне потекший смеситель. Со СМИ и рекомендациями то же самое. Это не их бизнес, и мы умеем делать рекомендации лучше, просто потому что они занимают большую нашей ежедневной рутины на протяжении почти 5 лет. И, конечно, надеюсь, что все шикарные истории из жизни b2b стартапа, которые я тут рассказал, станут еще одним поводом нам доверять.