This is Google's cache of http://wiki.yandex-team.ru/serp/experiments. It is a snapshot of the page as it appeared on 3 Mar 2011 18:02:04 GMT. The current page could have changed in the meantime. Learn more

Text-only version
These search terms are highlighted: matrixnet  
SERP: эксперименты @ Вики
Вики Стафф Jira Рассылки Статистика Документация Переговорки Админы
Войти
Помощь
 
/ serp/experiments

SERP: эксперименты
Владелец:
gala
Последние исправления:
3 марта 2011, 18:37

F.A.Q
Описание метрик
порядок проведения
страница результатов
50/50 эксперименты

Инструменты  

A-B testing (графики)
StatFace (статистика)
статистика серпа

Команда  

Менеджер: Дмитрий Спасский
Программинг: Алексей Киричун
Метрики: Вадим Никулин
Директ: Илья Шульман
Фидбек от пользователей: Михаил Березин


Рассылка: experiments@
JIRA: experiments

Текущие эксперименты  

35 Контрольный эксперимент на 4% (25.03.08)
60 Контрольный эксперимент на 2% (17.10.08)


A-B testing: результаты, графики


№АудиторияJiraЗапускЗаказчикКомментарииПримеры
296, 602%EXPERIMENTS-144 In Progress Смешивание выдач (team-draft interleaving) qkrorlqrЭксперимент на 2% пользователей, в котором в выдаче смешиваются результаты от двух источников методом team-draft interleaving с целью сравнения этих двух источников по кликам.

Источники: WEB и WEB_EXPERIMENTAL - в случае, когда оба источника ответили и была запрошена первая страница выдачи, смешиваем их ответы указанным способом.

Описание:
http://wiki.yandex-team.ru/AndrejjStrelkovskijj/Interleaving
Назначить | Комментировать | Редактировать		16.02Андрей Стрелковский
5 50%EXPERIMENTS-164 Analyze Перенос скрипта Находок в футер saniaSERP-3657 выкатить на 50%.
Хотим померить:
1. first_click_time
2. answer_time
3. total_request_count
4. total_click_count

Делаем выборку для пользователей с включенными Находками.
Надеемся, что потери кликов в Находки будут незаметны.
Назначить | Комментировать | Редактировать		16.02Александра ЯмпольскаяМожно выключать
950%EXPERIMENTS-165 Analyze Отключение прокраски интентов в Разнообразии vnikЦели:
1. Сравнить падение кликов с приростом от EXPERIMENTS-134 и оценить-таки вклад в победу переранжирования и прокраски.
2. Честнее оценить абсолютный вклад от дополнительной прокраски на выдаче.

Андрей, напишешь, когда в репорте появится возможность включить такую штуку под параметром?
Назначить | Комментировать | Редактировать		22.02Михаил Лебедев
317, 354%EXPERIMENTS-161 Analyze Ранжирование картиночного колдунщика vnikДобрый день!

Заведите, пожлауйста, эксперимент на 4% для нового ранжирования картиночного колдунщика. Теперь позиция показа будет выбираться не жестко по спискам, а с учетом ctr колдунщика и результатов поиска. Позиция оказа будет роизвольной.

Требуется замерить влияние изменений на первый результат поиска. Ожидается, что его кликабельность не просядет, хорошо, если даже немного вырастет.
Назначить | Комментировать | Редактировать		8.02Лия КареповаПредполагаемая дата отключения - с 24.02
318, 319, 320 354% UA, BY, KZEXPERIMENTS-166 Analyze Эксперименты по отключению разнообразия в КУБе gromakЛеша, заведи, плиз, 3 эксперимента:
-- в Украине
-- в Беларуси.
-- в Казахстана

Каждый на 4% аудитории и все они отличаются от продакшена параметром &rearr=Diversity_off.

Хотим посмотреть на клики при отключенном разнообразии в КУБе.

Спасибо.
Назначить | Комментировать | Редактировать		8.02Светлана ГромакПредполагаемая дата отключения - с 24.02
321, 354%EXPERIMENTS-167 Closed Музисточник по запросам "исполнитель скачать" fayfersПривет!

Нам необходимо запустить эксперимент.
Суть эксперимента:
Мы запускаем ответы музисточником по новом классу запросов: "Исполнитель скачать" (пример: [madonna скачать] или [madonna mp3])
По таким запросом, музисточник планируется ставить на первое место.

Что мы хотим посмотреть:
Кликабельность первого места органической выдачи по этому классу запросов и кликабельность ответов от музисточника, сравнить их и понять "полезность" внедрения.

Размер аудитории: 4% (хотелось бы).
Срок: Неделя.
Назначить | Комментировать | Редактировать		8.02Сергей ФайферПредполагаемая дата отключения - с 24.02Мадонна mp3
309, 31010%EXPERIMENTS-162 Analyze Центрированный серп vnik10% аудитории. Эксперимент будет идти не менее 2х недель, чтобы оценить результаты в динамике.
Измеряем:
  • основные пользовательские метрики как при эксперименте с фиксированнием серпа EXPERIMENTS-42
  • влияние на СР и Директ справа

Если возможно, то хочется посмотреть на метрике в разрезах по стандартным разрешениям экранов.
Описание проекта: http://wiki.yandex-team.ru/SERP/projects/centeredserp

Назначить | Комментировать | Редактировать		8.02Евгений ГодовПредполагаемая дата отключения - с 24.02100% во внутренней сети
6 50%EXPERIMENTS-160 Analyze Размеры кеглей тайтлов и сниппетов на мобильном серпе causeloveНужны две выборки на msearch по 10% - основная и контрольная. Регионы все.
Ограничения по phone_detect: В выборки не включать family_id=19 (это опера мини, которая всегда использует свои шрифты)
У одной выборки будет увеличенный кегль в тайтле, у контрольной - останутся равные кегли, как сейчас.
С этим экспериментом посчитаем мобильный серп по всем основным метрикам, заодно получим, наконец, все данные по поведению мобильных пользователей (о чем завели речь в EXPERIMENTS-137) с оговоркой - юзеры оперы мини не будут учитываться в расчетах.

Ожидания:
Общая кликабельность будет чуть выше при увеличенном кегле тайтла
Позиция первого клика будет чуть выше при увеличенном кегле тайтла

Версталось здесь: MOBSEARCH-467
Назначить | Комментировать | Редактировать		8.02Дмитрий КозловПредполагаемая дата отключения - с 24.02(не работает в opera mini)
308, 354%EXPERIMENTS-146 Analyze Прокраска интентов в Директе ishwestВыделяем в рекламе слова связанные с запросом, аналогично тому, как делалось с органической выдачей в EXPERIMENTS-134

Аудитория 4%

Длительность: одна полная нормальная неделя, с возможностью продлить еще на неделю.

Считаем влияние на Директ.

Надеемся увидеть прирост CTR Директа более +1%%
Назначить | Комментировать | Редактировать		20.01Илья ШульманЗакрываем со следующим релизомПостельное белье
307, 354%EXPERIMENTS-159 Closed Новые адреса в сниппетах kaaЭксперимент на 4% аудитории. Срок не регламентирован: если уедете на следующий год - не страшно.
Описание проекта: http://wiki.yandex-team.ru/SERP/projects/address
Рабочая таска: SERP-3602
доступно на зело

Хотим посчитать кликабельность зеленой строчки.
Ожидаем, что клики должны вырасти, поскольку для перехода на карты теперь нужен один клик вместо двух.
Назначить | Комментировать | Редактировать		20.01Евгений ГодовПредполагаемая дата отключения - c 14.02 (обновлен 7.02)Инвитро
297 (4%), 298 (2%), 35, 602% и 4%EXPERIMENTS-147 Analyze Просьба сделать еще два контрольных эксперимента malikovНа текущий момент есть два контольных эксперимента 35(4%) и 60(2%). После перехода в расчетах метрик с получасовых данных на дневные разница между двумя контрольными увеличилась данные за ноябрь. Есть предположение, что это связано с разными размерами выборок.

Просьба сделать еще два контрольных эксперимента на 4% и 2% соответственно. Ожидается, что при сравнении двух контрольных экспериментов с одинаковыми размерами выборок статистически значимых изменений в измеряемых метриках быть не должно.

Метрики - все, как у 35 и 60 экспериментов.

Срок проведения экспериментов - ориентировочно месяц.
Назначить | Комментировать | Редактировать		3.12Артур МаликовИсследование проходит дальше, необходимо еще время. Возможно оставим эти 2 контроля контрольных навсегдаНет
281, 602%EXPERIMENTS-141 Analyze Отключаем ограничение зарубежа по латиническим в России gromakХочется провести эксперимент, обратный EXPERIMENTS-125 -- на той же аудитории мы отключаем ограничение по количеству зарубежных результатов.

Проверяем на кликах, что нам дает это ограничение, ожиданий от метрик нет.
В целом так: Если клики не просядут, то естественное ранжирование новой формулой по латиническим запросам не нуждается в ограничениях по количеству подмешиваемых зарубежных результатов.
Назначить | Комментировать | Редактировать		2.12Светлана ГромакОставляем еще на неопределенное время

Постоянные для ранжирования  

(обновлено: 12.03.10)
212 (213) RU 4%
214 (215) UA 8%
216 (217) BY 8%
218 (219) KZ 8%
Полный список можно посмотреть тут

Планируются (zelo.yandex.ru)  

№АудиторияJiraЗапускЗаказчикПример
Ранжирование
Колдунщики
Сниппеты
7, 84х25%EXPERIMENTS-169 Open Все хиты и разнообразие многофрагментных кандидатов в сниппетах thatguyНужны два пересекающихся эксперимента на SNIPPETS-909
Меняются только сниппеты, не чаще, чем в 30% случаев (на самом деле сильно реже).
&relev=uts=36 - все хиты
&relev=uts=37 - разнообразие многофрагментных
&relev=uts=35 - и то, и другое

Взвесьте, пожалуйста, из каждого по 25%, и ещё 25% контроля.

Базовый с поддержкой этого всего уже в продакшне.
Назначить | Комментировать | Редактировать		?.02Михаил Лебедев1. Надо запустить только половину - с test-bit=7 (на 50%)
2.Чинят порчу кэша для оставшейся части эксперимента
Интерфейсы
Технологические
Мобильное
Другое
..., 602%EXPERIMENTS-180 Open Показ рекламы на серпе со счётчиком thatguyАудитория - 2%
Меряем - деньги Директа
Срок - 2 недели

В рамках подготовки к перезапросам и показам рекламы по опечаткам, мы хотим переделать порядок показа рекламы. Сейчас, когда поиск у нас запрашивает рекламу, мы сразу записываем себе в лог, что все отобранные баннеры были показы (за исключением блока "динамики" директа, показы которого засчитываются по факту загрузки счётчика-пикселя). Чтобы из-за перезапросов у нас не завышались показы (рекламу отдали, но не показали), хочется перестать записывать в лог отданную рекламу и полностью перейти на использование специального счётчика-пикселя.
Я сделал новый вызов: 145, который полностью эквивалентен 2, 98 и пр. за исключением:
- в блоке direct_dynamic ушёл visibility_counter (соответственно, не нужен и серповый код, который его поддерживает - но пока только в эксперименте!)
- в болке stat добавился bs_counter, который содержит длинную ссылку, вида: http://yabs.yandex.ru/count/79DxuIc_vfK40XW0ZhuRuTO4MHAHlyPjOm-JXGsY0di2=oh6P1fK1cm5kGucldZ8magWV5HYTdmOLeA18w06KaxeSfvM6145w1000=rYEhN9K1cm5kGpA9egidAfAf3byKdQgTZW6We5fY0fIGg3Adbhe6GNm4=MyuC6vK1cm5kGpE9eo47C9AgcvqNdQCHPGQWeCe20PIH6HQdb8m3GNm4=vCh9JvK2cm5kGpA9h41s4PAcl846dPM21w2G9FIKclKFfvvm0q5w1000=I8iQffK2cm5kGpE9hmLVC9AhwouOdQV-RGQWa3v9b9le8wUUR0D1UmG0=GnNQsvK2cm5kGpI9hFJi4fAjQuS3dPX13w2G2JsKdmaffvGl145w1000=cpBCOPK2cmHkGpM9f59Y7vAkOw8EdP605g2GQXYKaLqEfvhg0a5w1000
Урл из bs_counter надо безусловно выводить на странице в самом "лучшем" месте - там, где он гарантированно загрузится.

Сначала экспериментом проверяем, что мы не теряем деньги, т.к. при потере таких ссылок (=показов) мы потеряем и клики. Если эксперимент покажет, что всё хорошо, тогда сначала запустим этот вызов на всё, а потом будем проводить второй эксперимент - делать перезапросы.

Лёша, перед выкладкой покажи, на всякий случай бету, а то потерять 2 % экспериментальной выручки тоже не хочется :)
Назначить | Комментировать | Редактировать		?.03Захар Плющ
..., 602%EXPERIMENTS-181 Open Маркет в спецразмещении kaaПривет,
Нужно сделать эксперимент с новым вызовом крутилки (bspage=98) на 2%. Точно также как и раньше.
Бета:
http://zelo.yandex.ru/yandsearch?text=fubag+in+160&lr=213&bspage=98
Назначить | Комментировать | Редактировать		?.03Алексей Авдей

Архив экспериментов  

+ внедрен
- не внедрен
~ исследование проведено
? проведен, ожидается результат

Список завершенных экспериментов
№ Аудитория Описание и задача в Jira Длительность Внедрение
11Q1
3, 44x25%EXPERIMENTS-148 Analyze Новостная врезка vnikСуть: заменяем ранжирование свежих результатов на ранжирование по релевантности из Новостей, группируем новостные результаты и снабжаем их спецсниппетами. .
Нужно сделать четыре эксперимента по 25%:
1) контрольный (как сейчас)
2) выдача Новостей (rearr=news=da)
3) выдача Новостей с группировкой (rearr=news=gr)
4) выдача Новостей с группировкой и спецсниппетами без новостного колдунщика (rearr=news=gr)

Саша Головко допишет, как отключать колдунщик и включать дизайн в 4 пункте

Назначить | Комментировать | Редактировать		20.01-3.02-
3224%EXPERIMENTS-171 Analyze отключение показов параллельных видео и картинок на непервых страницах выдачи nurkaХотим эксперимент, в котором параллельные колдунщики картинок и видео не будут показываться в блоке справа на страницах выдачи, отличных от первой (т.е. на 2-ой, 3-ей и т.д.). Показы только на первой.
Цель: оценить поведение директа при таких непоказах.

Если отклонение CTR директа будет несущественным, то тогда хотим вобще отключить обращение к параллельным источникам на не-первых страницах. Другие колдунщики уже не показываются.

Выборка и сроки стандартные: 4% на неделю.
Назначить | Комментировать | Редактировать		8.02-2.03~
3242%EXPERIMENTS-172 Analyze Отключаем показ второго документа constЦель:
1)Собрать статистику по кликам для последующего переобучения формулы показа второго документа
2)Посмотреть тенденцию: стали ли пользователи больше кликать на второй документ (относительно момента запуска второго документа в продакшен)

Длительность: 2 недели
Доля аудитории: 2%

Суть эксперимента:
Отключаем показ второго документа (добавляем параметр &rearr=no2docs).

Спасибо!

Назначить | Комментировать | Редактировать		16.02-2.03~
3232%EXPERIMENTS-170 Analyze Второй документ с сайта - сбор статистики constЦель: Собрать статистику по кликам для последующего переобучения формулы показа второго документа.

Длительность: 2 недели
Доля аудитории: 2%

Суть эксперимента:
Показываем второй документ всегда, когда он есть (добавляем параметр &rearr=all2doc).

Доп. информация:
Второй документ будет показываться по принципу [2x2] - не более 2х документов с сайта, не более двух таких сайтов в выдаче. Пример: http://yandex.ru/yandsearch?text=rbc+%D1%83%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D0%B0&lr=213&rearr=all2doc

Назначить | Комментировать | Редактировать		8.02-2.03~
29010% UAEXPERIMENTS-135 Closed Перевод запросов с украинского svtgrigХотим провести эксперимент по переводу украинских запросов на русский, с подмешиванием русских результатов к оригинальной выдаче. Выкатить нужно только на украинскую аудиторию, на 10%. Для запросов в эксперименте нужно добавлять параметр pron=grunwaldom; по нему станет срабатывать колдунщик Grunwald на верхнем и среднем и выбираться специальная формула Паши Карповича.

Бета: SEARCHADMIN-806
Результаты обстрела с визой pg: SEPE-1450

Метрики: abandonment, click_count, first_click_pos, long_dwelltime_rate
Ожидания: на затронутых запросах abandonment падает, click_count растет, first_click_pos не меняется, long_dwelltime_rate увеличивается.


Назначить | Комментировать | Редактировать		3.11-2.03-
3004%EXPERIMENTS-151 Closed Добавляем таб "Музыка" вместо "Блогов" impolitovВ рамках HOME-7105 проводим эксперимент на 4%

Надо на СЕРПе заменить таб [Блоги] на [Музыка] (ведет на music.yandex, так же как и с http://www.yandex.ru/all)
Таб [Блоги] убираем, т.к. под [еще] его не засовываем (там итак много чего), а на http://www.yandex.ru/all он итак присутствует

+ нужен счетчик на таб [Музыка]
Назначить | Комментировать | Редактировать		14.12-08.02-
301, 302, 3032%EXPERIMENTS-150 Closed Политики мусорного шарда osolХотим эксперимент на 6% пользователей с тремя политиками использования мусорного шарда:

2% - если на основном найдено менее 40k документов (оценка), дозапрашиваем мусорный
rearr=tierthreshold%3D10;tierlimit%3D40000

2% - всегда ходим на мусорный шард
rearr=tiermask%3D3

2% - никогда не ходим на мусорный шард
rearr=tiermask%3D1
Назначить | Комментировать | Редактировать		14.12-28.01~
299, 354%EXPERIMENTS-149 Analyze Увеличиваем расстояние между сниппетами ishwestЭксперимент на 4%, если возможно, то на 10%.
Увеличиваем расстояние между сниппетами. Вероятно поплывут метрики кликабельности (меньше результатов будет умещаться на первом экране)
Цель эксперимента: хотим сделать красивее и понять, что ухудшим.
Назначить | Комментировать | Редактировать		14.12-28.01~
3064%EXPERIMENTS-158 Closed Сниппеты с нелинейной формулой по 4+словным запросам mlebedevПодготовили новую формулу ранжирования сниппетов для 4+словных запросов.

Формула пока на woogie3, срабатывает по &relev=uts=31 только для 4+словных запросов.
Нужен эксперимент на 4%.

TWIMC: Сегментаторные факторы, MatrixNet, классифицирующий пары кандидатов, выбор лучшего происходит в один проход.
Блайнд: SNIPPETS-914
Приемка: BETATEST-1213
Назначить | Комментировать | Редактировать		17.01-28.01-
2948%EXPERIMENTS-142 Closed Дополнительный эксперимент для тестовой формулы thatguyНам на пару недель нужен еще один эксперимент для тестового ранжирования в Беларуси.
Аудиотория -- 8%
Назначить | Комментировать | Редактировать		2.12-20.01-
35+297, 2958%EXPERIMENTS-145 Closed Новое ранжирование колдунщиков rlipovskyХочется выкатить часть функциональности "спектра" на 4%(исправлено на 8%).
в эксперименте:
- колдунщики будут ранжироваться на разных местах: 1, 2(после витального), 4,7,последнее;
- иногда колдунщиков будет больше: 3-4 на запрос;
- новости смогут показываться выше практически любых колдунщиков (трагедия с Невским экспрессом, когда показывали расписания на 1м месте)
- по ряду запросов колдунщики уйдут совсем
Назначить | Комментировать | Редактировать		8.12-20.01+
304, 602%EXPERIMENTS-153 Closed Обратный эксперимент Маркет+Директ vnikХотим запустить обратный эксперимент Маркет+Директ на 2%.
Тестовый bspage=98. Регионы - Россия. Напишу позже как будет готов тестовый вызов.
Назначить | Комментировать | Редактировать		14.12-20.01-
305, 354%EXPERIMENTS-154 Closed Сниппеты с 4-критериальной формулой по 4+словным запросам mlebedevПодготовили новую формулу ранжирования сниппетов для 4+словных запросов.

Формула в продакшне, срабатывает по &relev=uts=26 только для 4+словных запросов.
Нужен эксперимент на 4%.

TWIMC: Сегментаторные факторы, 4й критерий качества (позиция, предсказанная по 1vs70), раздельный режим обучения (--separated).
Блайнд: SNIPPETS-903
Приемка: BETATEST-1213
Назначить | Комментировать | Редактировать		14.12-20.01-
10Q4
245, 354%EXPERIMENTS-67 Closed 245: Латиническая формула vnikХотим посмотреть на новую формулу по латиническим запросам.
Формула работает с параметром pron=latinexp:
http://yandex.ru/yandsearch?text=fluid+dynamics
http://yandex.ru/yandsearch?text=fluid+dynamics&pron=latinexp

Приемка показала +4.7% по зарубежному pFound, хотим изучить клики.
Ожидаем прирост :)

Аудитория - стандартно.
Назначить | Комментировать | Редактировать		15.04-14.12~
150%EXPERIMENTS-100 Closed Подпись директа с кнопкой vnikВыборка:
10% РФ + контрольная

Делаем статичный заголовок, добавляем кнопку вместо подписи
Статика: http://serp.gfranco.user.graymantle.yandex.ru/pages/search/?b-adv=2

Оцениваем:
CTR кнопки
конверсию "перешел - разместил объявление"
кликабельность всех объявлений


Назначить | Комментировать | Редактировать		2.10-14.12-
250%EXPERIMENTS-138 Closed Число всех объявлений в СР thatguyЭксперимент на 50%.
Отрываем у ссылки "Все объявления" в спецразмещении число объявлений.
Считаем CTR ссылки. Проверяем гипотезу о том, что эти цифры - визуальный мусор и они не влияют на принятие пользователем решения о том, надо ли кликать или нет.
Назначить | Комментировать | Редактировать		26.11-14.12+
287, 28810%EXPERIMENTS-130 Closed Поисковая строка внизу страницы (мобильный серп) thatguyНужны две выборки по 10% - основная и контрольная. Регионы все.
У одной выборки будет поисковая строка продублирована снизу страницы, у контрольной - останется одна, как сейчас.
Будем сравнивать CTR кнопки "Найти" вверху и внизу, и отдельно - вариант когда их две с вариантом, когда она только вверху.
Вместо счетчиков - hidden-поле в форме.
Ожидания:
CTR кнопки "Найти", когда она одна - порядка 20%
CTR, когда их две - примерно поровну, по 10%

Версталось здесь: MOBSEARCH-504
Назначить | Комментировать | Редактировать		12.11-2.12+
291, 602%EXPERIMENTS-136 Closed Персонализация styskinЭксперимент на 2% в котором пользователям поднимают или пессимизируют зарубежные результаты в зависимости от их знаний английского

Контрольный 60-ый

Для включения эксперимента нужно: rearr=person
Назначить | Комментировать | Редактировать		12.11-2.12-
289, 354%EXPERIMENTS-134 Closed Разнообразие + подсветка интентов vnikЭксперимент на 4%

Тестируем правило переранжирования Diversity, по части запросов добавляет в десятку результаты, максимизирующие wide pfound, и подсвечивает в найденных результатах пользовательские интенты.

Метрики: abandonment, click_count, first_click_pos, long_dwelltime_rate
Ожидания: на затронутых запросах abandonment падает, click_count растет, first_click_pos становится немного больше (чуть чаще кликают в середину и конец десятки), long_dwelltime_rate увеличивается
Назначить | Комментировать | Редактировать		3.11-2.12+
281, 602%EXPERIMENTS-125 Closed Отключение зарубежа rsvХотим выкатить эксперимент на 2%, в котором полностью убираем зарубеж с 1й страницы.
Зачем:
Женя и Игорь Кураленок исследовали поведение пользователей которые знают и не знают английский (= не кликают на зарубеж вообще / кликают), хорошего сигнала там нет (см. письма на @foreign).

Хотим более чистый эксперимент по выделению пользователей, которые "не хотят зарубеж".

Что ожидаем:
- Клики по пользователям, которые "не хотят зарубеж" вырастут
- по остальным пользователям - просядут.

Если это так, то занимаемся персонализацией дальше.
Кроме этого по этим данным можно будет построить отдельный классификатор таких пользователей.

Назначить | Комментировать | Редактировать		22.10-1.12~
277, 354%EXPERIMENTS-114 Closed Новые параллельные поиски thatguyВыборка 4%, контрольный №35.
Оцениваем изменение интерфейса, логика не меняется.
Считаем
а) Общая трафикогенерация блоков картинок из видео.
Сейчас на всех ссылках и тамбнейлах стоят ссылки. Нужно рассматривать их как ящик, в котором для эксперимента сократится число точек входа. Так для видео вместо 4 ссылок остаенется только 2. И оценить нужно будет изменение в общей кликабельности ссылок всего ящика для видео и картинок.

б) Влияние на выдачу.
Вадику нужно будет сказать об изменении, чтобы завел метрики.

Прогноз:
общая кликабельность "ящиков" может снизиться во время запуска, потом выправиться.

Заведенную выборку нужно будет добавить в таску на верстку SERP-3722


Назначить | Комментировать | Редактировать		14.10-26.11+
283, 602%EXPERIMENTS-126 Closed финальный эксперимент Маркет+Директ vnikВсем привет,
Готовим финальный эксперимент.
Что он будет включать:
1. Показ совместно Маркета с Директом в одном блоке.
- максимальное количество объявлений 9
- Маркет может попадать в динамику
2. Колдунщик предложений на 3 месте.
Делаем на 2%, pageid вызова равно 98.
Эксперимент запускаем, когда будут готовы все сопутствующие таски.
Я отдельно напишу.
Назначить | Комментировать | Редактировать		2.10-26.11+
284, 602%EXPERIMENTS-129 Closed Зеленые кликабельные урлы godovДелаем эксперимент на 2%
Суть эксперимента: делаем зеленые урлы под сниппетами кликабельными (не распространяется на колдунщики). У нас есть 3 типа урлов:
1) www.hotel-okt.ru - делаем кликабельным
2) www.mobile-review.com > Nokia N82 - сейчас у нас такие урлы кликабельные начиная со второй (и далее) части урла (aka меню в урлах). делаем первыю часть тоже кликабельной
3) imwerden.de/pdf/chudaki_vladimirov.pdf - делаем кликабельным только первую часть урла, чтоб можно было перейти на морду домена(типа imwerden.de)

Хотим посмотреть, как перераспределяться клики, сколько уйдет с тайтла и сайтлинков

P.S.: наверно надо не забыть и убрать ранее внедренное SERP-3668, потому как это частный случай

Назначить | Комментировать | Редактировать		2.11-26.11+
285, 354%EXPERIMENTS-131 Closed Короткие (190 символов) сниппеты по коротким (1,2,3-х словным) запросам vnikПодготовили еще одну формулу по коротким. Нужно запустить эксперимент.
Нужный базовый уже в production.
Включать формулу так: &relev=uts=25

Помимо стандартных кликовых данных хотим сравнивать скроллы.
Назначить | Комментировать | Редактировать		12.11-26.11+
286, 354%EXPERIMENTS-132 Closed Оторвать favicon у Zaycev.net fayfersПривет.

Мы заметили интересный момент в поведении пользователей:
В музисточнике есть определенные хосты, у которых favicon совпадает с favicon'ом Zaycev.net (в виде старого логотипа winamp'а - молнии).
CTR ответов с таких хостов порядка 40%, что заметно выше, чем у всех остальных.

Есть предположение, что пользователи узнают Zaycev.net по favicon'ке.

Хочется оторвать у Zaycev иконку, и посмотреть как будут реагировать пользователи.
Ожидаем рост CTR муз.источника.
Возможно, рост доли длинных кликов у муз.источника.

Аудитория эксперимента - 4%. (Updated)
Назначить | Комментировать | Редактировать		12.11-26.11~
292, 602%EXPERIMENTS-139 Closed Колдунщик предложений на выдаче thatguyПривет!
Хочется провести отдельный эксперимент с колдунщиком предложений Маркета на 3м месте выдачи.
Сейчас в эксперименте 283 на 2% пользователей у колдунщика ~ 20 тыс показов и CTR ~ 15%.
В результате отдельного эксперимента, нужно убедиться, что кликабельность у него не снизится.
Хотим запустить колдунщик, не дожидаясь выкладки общего блока Маркет+Директ.

Про колдунщик предложений здесь: WIZARD-3281

Назначить | Комментировать | Редактировать		19.11-26.11+
2824%EXPERIMENTS-110 Closed Оценка спецсниппетов laimaИнверсный эксперимент, аудитория: 4%
Изменение: отключаем спецсниппеты
Сравниваем с контрольным №35, где эти сниппеты нормально показываются.

***
Привет!

Решили еще раз попробовать оценить вред наносимый спецсниппетами :)

Нужно посчитать:

Время до 1-го клика (first_click_time)
Доля «хороших» кликов (long_dwelltime_rate)
Доля запросов, в которых была инверсия очередности клика (inversion_rate)
Среднее арифметическое позиции первого клика (first_click_pos)
Средняя кликабельность серпа
Кликабельность отдельного ресурса

Тем самым можно будет увидеть как "распределилась лояльность" пользователей по отношению к сайтам со спецсниппетами.

Леша, поставь, пожалуйста, флажок у запроса в любую из переменных relev/rearr/search_props.

Спасибо!
Назначить | Комментировать | Редактировать		22.10-11.11~
27810%EXPERIMENTS-116 Closed "другие поисковые системы" на мобильной выдаче thatguyНужен следующий эксперимент:
Пробуем добавить на мобильном серпе блок "в других поисковых системах".
Нужна выборка 10% и контрольная. Регионы все.
Посмотрим на CTR, сравним с CTR аналогичного блока на большом серпе. Если будет сильно выше - значит (наверное) наш моб.поиск - трешовый и это будет повод серьезно задуматься...
Для сравнения - сейчас CTR всего блока на большом серпе - порядка 0,6%
Назначить | Комментировать | Редактировать		14.10-1.11+
26910%EXPERIMENTS-115 Closed Поиска похожих картинок thatguyПросим выделить 10% аудитории для того, чтобы потестировать на них поиск похожих изображений (http://wiki.yandex-team.ru/JandeksKartinki/simular).

Метрика - число некликнутых серпов с похожими. В идеале их должно быть не больше 20ти%. Если идеала не получится - будем смотреть сессии и понимать по ним, насколько все хорошо/плохо/приемлемо.

Еще одна цель эксперимента - немного понять о том, по каким запросам чаще всего нужны похожие и какие именно похожие интересуют пользователей.

Спасибо!
Назначить | Комментировать | Редактировать		21.09-18.10+
279, 602%EXPERIMENTS-118 Closed Другое переранжирование зарубежа на среднем thatguyПросьба завести эксперимент, объем не критичен.
Тестируем новое переранжирование зарубежа в среднем.
Приемка дает добро - https://jira.yandex-team.ru/browse/BETATEST-1112

Чтобы переранжирование подцепилось, надо в средний передать параметр rearr=beta5.
В продакшн средний с этим параметром выехал
Назначить | Комментировать | Редактировать		24.09-18.10-
280, 354%EXPERIMENTS-124 Closed Новый дизайн музисточника thatguyХочется вывести в эксперимент новый вариант дизайн сниппета музисточника https://jira.yandex-team.ru/browse/SERP-3719

Аудитория: 4%.
Сроки: 1 неделя.

Хотелось бы посчитать:

    • ctr музисточника (должна вырасти);
    • доля некликнутых запросов (должна упасть);
    • долю длинных кликов (должна вырасти);
    • долю запросов с инверсиями (должна упасть);
    • позиция первого клика;
    • Директ



Назначить | Комментировать | Редактировать		5.10-13.10+
10Q3
250, 602%EXPERIMENTS-6 Closed Второй документ с сайта и отрыв нумерации vnikЦель:
1) Понять предпочтительный для пользователя дизайн выдачи со вторым документом с сайта.
2) Оценить влияние выдачи без нумерации на пользовательские метрики.

Эксперимент 1.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Подтягиваем второй документ к первому в пределах одной страницы.
  • Второй документ с сайта показываем с отступом.
  • Если для сайта показываем два документа, у первого документа отрываем "еще с сайта", у второго документа отрываем favicon.
  • Нумерация сохраняется, но отображается серым цветом и без ".", нумерация и favicon-ы меняются местами.

Прогноз результатов:
  • По сравнению с контрольным экспериментом позиция первого клика может сместиться вниз (за счет клика на второй документ с сайта)
  • Доля длинных кликов по сравнению с контрольным экспериментом может уменьшиться (иногда пользователи будут кликать по обоим документам с сайта, а полезен для пользователя только один из документов), по сравнению с экспериментами 133,135 доля длинных кликов вырастет(иногда пользователь будет ориентироваться, что документы с одного сайта и будет кликать только по одному из документов)
  • CTR по сравнению с с контрольным экспериментом для первых позиций упадет (за счет кликов на второй документ), для 3-4 позиции вырастет.
  • Количество кликов по сравнению с контрольным экспериментом увеличится (иногда пользователь будет кликать на два документа), но по сравнению с экспериментами 133,135 уменьшится (иногда пользователь будет кликать только на один документ с сайта)

Эксперимент 2.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Подтягиваем второй документ к первому в пределах одной страницы.
  • Второй документ с сайта показываем с отступом.
  • Если для сайта показываем два документа, у первого документа отрываем "еще с сайта", у второго документа отрываем favicon.
  • Нумерация отрывается, favicon смещается на позицию нумерации (единственное отличие от эксперимента 1).
Прогноз результатов:
  • По сравнению с контрольным экспериментом позиция первого клика может сместиться вниз (за счет клика на второй документ с сайта)
  • Доля длинных кликов по сравнению с контрольным экспериментом может уменьшиться (иногда пользователи будут кликать по обоим документам с сайта, а полезен для пользователя только один из документов), по сравнению с экспериментами 133,135 доля длинных кликов вырастет(иногда пользователь будет ориентироваться, что документы с одного сайта и будет кликать только по одному из документов)
  • CTR по сравнению с с контрольным экспериментом для первых позиций упадет (за счет кликов на второй документ), для 3-4 позиции вырастет.
  • Количество кликов по сравнению с контрольным экспериментом увеличится (иногда пользователь будет кликать на два документа), но по сравнению с экспериментами 133,135 уменьшится (иногда пользователь будет кликать только на один документ с сайта)

Эксперимент 3.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Нумерация отрывается, favicon смещается на позицию нумерации (единственное отличие от эксперимента 1).
  • Второго документа в выдаче нет.
Прогноз результатов:
  • доля некликнутых уменьшится (будут кликать на более низкие результаты, сейчас цифра подсказывает пользователю о нерелевантности результата)
  • ctr спецразмещения вырастет (за счет меньших различий с выдачей)
  • позиция первого клика может сместиться вниз (за счет низких кликов)
  • доля длинных кликов может уменьшиться (не все клики по низким результатам будут хорошими)

Назначить | Комментировать | Редактировать		13.05-14.10~
271, 272, 32, 602% и 4%EXPERIMENTS-112 Closed Оценка влияния источника QUICK malikov В наших экспериментах очень часто наблюдается отличие в количестве серпов с квиками. Хочется понять, как это влияет на поведение пользователей. Для этого предлагаю завести два "контрольных" эксперимента: на 2 и на 4 процента, посмотреть на поведение пользователей неделю, потом отключить квики и посмотреть еще неделю. Если разница в поведении пользователей уменьшится, значит, нужно копать в сторону повышения надежности квиков (?).
Назначить | Комментировать | Редактировать		15.09-8.10~
273, 274, 275, 2762%EXPERIMENTS-102 Closed Серия экспериментов про замедление ответа malikov В рамках улучшения точности AB-тестинга мы хотим проверить все, что может влиять на поведение пользователей. В частности, одним из стабильно ухудшающихся показателей является время ответа. Это связано с разным кешированием эксперимента и контроля. В связи с этим хочется проверить, как будут себя вести пользователи, если им искусственно замедлить выдачу. Хочется замедлить на небольшие значения: 20мс, 40мс, 60мс. В прошлом году похожий эксперимент показал, что различия начинаются после 500мс. На 100мс мы разницы не увидели. Хочется проверить, как поменялась ситуация.
Т. к. эксперимент достаточно деструктивный, длительность стоит ограничить тремя днями (например, вторник-четверг на следующей неделе).

Назначить | Комментировать | Редактировать		21.09-8.10~
266, 26710% РФEXPERIMENTS-100 Closed Подпись директа с кнопкой vnikВыборка:
10% РФ + контрольная

Делаем статичный заголовок, добавляем кнопку вместо подписи
Статика: http://serp.gfranco.user.graymantle.yandex.ru/pages/search/?b-adv=2

Оцениваем:
CTR кнопки
конверсию "перешел - разместил объявление"
кликабельность всех объявлений


Назначить | Комментировать | Редактировать		19.08-29.09?
257, 2582x4% РФEXPERIMENTS-87 Closed Новый колдунщик авто romenskyНужно 2 эксперимента по 4% РФ

Сравниваем с текущим колдунщиком и смотрим:
  • как измениться кликабельность колдунщика
  • как распределиться трафикогенерация внутри блока
  • общая кликабельность выдачи по авто-запросам.

Подробнее тут: http://wiki.yandex-team.ru/Auto/KoldunshikHTML
И тут: SERPDESIGN-73
Назначить | Комментировать | Редактировать		7.09-29.09+
2704%EXPERIMENTS-109 Closed Сниппеты с сегментаторной формулой для 4+словных vnikХотим выкатить эксперимент с новой сниппетной формулой для 4+словных запросов.
Базовый не меняется, в репорт нужно добавить uts=26 .

Эксперимент нужен на 4%.
Назначить | Комментировать | Редактировать		7.09-20.09-
263, 264, 602%EXPERIMENTS-97 Closed Маркет+Директ avdeyПривет,
Нужно сделать эксперимент на 2% пользователей.
Суть: показываем Маркет+Директ единым блоком.
Технически ничего менять нужно: Маркет будет приходить как часть объявлений Директа.
Да и на время эксперимента пропадут колдунщики Маркета.

Захар, сделай, пожалуйста, вызов, чтобы данные приходили в JSON для поиска. Максимальное количество объявлений в сумме равно 9.

Что измеряем:
кликабельность объявление в общем блоке справа
кликабельность выдачи
Назначить | Комментировать | Редактировать		25.08-20.09+
26810%EXPERIMENTS-108 Closed Меняем местами "полную" и "мобильную" версии на мобильном серпе kaaНужен следующий эксперимент:
Пробуем поменять местами ссылки на полную версию сайта (в результатах поиска) и на мобильную версию (из каталога).
На скриншотах показано "как щас" и "как будет".
Нужна выборка 10% (это порядка 80 тысяч юзеров в день) и контрольная. Регионы все.

Сравнивать будем CTR ссылки "Мобильная версия" в текущей реализации и CTR ссылки "полная версия" в экспериментальной.
CTR "мобильной" сейчас порядка 15%. Если CTR "полной" будет заметно ниже (хотя бы в полтора раза) - можно будет уверенно говорить о том, что мобильная версия предпочтительнее.

Соответственно, если мобильной версии у нас в каталоге нет - отдаем все как раньше.

Также, кстати, понадобятся счетчики на экспериментальной версии - если сейчас счетчик считает показы/переходы мобильной версии, то нужно будет считать показы/переходы полной, там где по умолчанию отдали мобильную.
Назначить | Комментировать | Редактировать		7.09-16.09-
2654%EXPERIMENTS-98 Closed Короткие сниппеты по 1,2,3-словным запросам vnikСобираемся выкатить базовый, в котором есть возможность включать короткие сниппеты для коротких запросов.

Помимо стандартных кликовых данных хотим сравнивать скроллы с продакшном.

После того, как примут формулу для коротких и выкатим базовый, расскажем, как включать.

Эксперимент нужен будет на 4 процента, потому как меняется довольно малая часть потока.
Назначить | Комментировать | Редактировать		06.08?
2614%EXPERIMENTS-76 Closed Группировка видеоснипетов на выдаче kaaДля ответа на вопрос «как пользователи реагируют на группировку видео на выдаче» необходимо провести эксперименты.
На запросах где от 2 до 4 видеоснипетов (это примерно 40% от всех запросов с видеоснипетами или 4% случайных веб-запросов).
Будем смотреть на пользовательские метрики.

Эксперимент 1: собираем видеоснипеты рядом.
Т.е. вместо 1-2-3-x-5-6-x-8-9-10 будет 1-2-3-х-х-5-6-8-9-10

Про разработку тут VIDEOPOISK-809

Бета тут, к запросу необходимо дописывать параметр http://judas2.yandex.ru/yandsearch?text=+%F0%EE%F1%F1%E8%FF+%EA%E0%ED%E0%E4%E0&rearr=wmode=w&lr=213.

Для запуска эксперимента необходима выкладка верхнего метапоиска.
Назначить | Комментировать | Редактировать		12.07?
2604%EXPERIMENTS-93 Closed Инверсный эксперимент - отрыв связанных запросов kaaИзмеряем стало ли что-то лучше с запуском связанных запросов.

стандартно на 4%
Измеряем стандартные показатели,
обращая внимание на кликабельность последнего результата, длину сессий, долю некликнутых серпов.
Назначить | Комментировать | Редактировать		06.07-06.08~
2544%EXPERIMENTS-69 Closed Непоказ видео-сниппетов в случае ответа Музыкального источника mbutilkinaСуть эксперимента: отключение видео-сниппетов на серпе по запросам, по которым есть ответ музисточника в выдаче.
Хочется посмотреть на то, как изменится ctr музыкального результата и поведение пользователей в целом, если все сниппеты будут текстовыми (нет отвлекающих элементов, нет ярко выраженной возможности прослушать трек на серпе).

Аудитория: 4%.

Хочется посчитать:
  • ctr музисточника в целом;
  • стандартные цифры (время до первого клика, первая позиция, количество инверсий и пр.).

Назначить | Комментировать | Редактировать		25.06-23.07~
2594% РФEXPERIMENTS-88 Closed Изменение верстки Спецразмещения (инверсный) kaa4% РФ

Завести инверсный эксперимент с версткой спецразмещения, как в старом варианте дизайна. Ожидаем падение CTR на 4-5%. Хотим проверить правильность эксперимента 242 https://jira.yandex-team.ru/browse/EXPERIMENTS-45

Назначить | Комментировать | Редактировать		06.07-15.07~
2514% РФEXPERIMENTS-64 Closed Отрыв региона от объявлений Директа godovЭксперимент на 4% по РФ.

Необходимо не отображать регион для всех объявлений Директа в СР и в блоке. Прогнозируем снижение CTR. Хотим узнать на сколько.
Назначить | Комментировать | Редактировать		25.06-15.07-
255, 2562x4% РФEXPERIMENTS-66 Closed Новый тайтл колдунщика Картинок kaa2 эксперимента по 4% РФ

Есть проблема - некрасивый тайтл колдунщика, который не дает понять, что на самом деле найдено очень много хороших картинок.
Цель эксперимента - выбрать лучший из новых вариантов. Смотреть будем на ctr колдунщика.

Текущий:
"Москва картинки" в картинках

В экспериментах хочется попробовать:
1. "Москва картинки" -- 12 млн. картинок
2. "Москва картинки" -- миллионы картинок
Назначить | Комментировать | Редактировать		06.07-12.07+
2484%EXPERIMENTS-78 Closed Новый колдунщик новостей kaaСам колдунщик: hhttp://zelo1.yandex.ua/yandsearch?text=%D1%8F%D0%BD%D1%83%D0%BA%D0%BE%D0%B2%D0%B8%D1%87&test-tag=248&ncrnd=5635&lr=187
Отличается числом источников и явно-заметной рамкой.

Выборка на 10% UA. 4%
Смотреть будем на CTR колдунщика и пользовательские метрики.
Назначить | Комментировать | Редактировать		06.07-12.07-
1722%EXPERIMENTS-6 Closed Второй документ с сайта и отрыв нумерации vnikЦель:
1) Понять предпочтительный для пользователя дизайн выдачи со вторым документом с сайта.
2) Оценить влияние выдачи без нумерации на пользовательские метрики.

Эксперимент 1.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Подтягиваем второй документ к первому в пределах одной страницы.
  • Второй документ с сайта показываем с отступом.
  • Если для сайта показываем два документа, у первого документа отрываем "еще с сайта", у второго документа отрываем favicon.
  • Нумерация сохраняется, но отображается серым цветом и без ".", нумерация и favicon-ы меняются местами.

Прогноз результатов:
  • По сравнению с контрольным экспериментом позиция первого клика может сместиться вниз (за счет клика на второй документ с сайта)
  • Доля длинных кликов по сравнению с контрольным экспериментом может уменьшиться (иногда пользователи будут кликать по обоим документам с сайта, а полезен для пользователя только один из документов), по сравнению с экспериментами 133,135 доля длинных кликов вырастет(иногда пользователь будет ориентироваться, что документы с одного сайта и будет кликать только по одному из документов)
  • CTR по сравнению с с контрольным экспериментом для первых позиций упадет (за счет кликов на второй документ), для 3-4 позиции вырастет.
  • Количество кликов по сравнению с контрольным экспериментом увеличится (иногда пользователь будет кликать на два документа), но по сравнению с экспериментами 133,135 уменьшится (иногда пользователь будет кликать только на один документ с сайта)

Эксперимент 2.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Подтягиваем второй документ к первому в пределах одной страницы.
  • Второй документ с сайта показываем с отступом.
  • Если для сайта показываем два документа, у первого документа отрываем "еще с сайта", у второго документа отрываем favicon.
  • Нумерация отрывается, favicon смещается на позицию нумерации (единственное отличие от эксперимента 1).
Прогноз результатов:
  • По сравнению с контрольным экспериментом позиция первого клика может сместиться вниз (за счет клика на второй документ с сайта)
  • Доля длинных кликов по сравнению с контрольным экспериментом может уменьшиться (иногда пользователи будут кликать по обоим документам с сайта, а полезен для пользователя только один из документов), по сравнению с экспериментами 133,135 доля длинных кликов вырастет(иногда пользователь будет ориентироваться, что документы с одного сайта и будет кликать только по одному из документов)
  • CTR по сравнению с с контрольным экспериментом для первых позиций упадет (за счет кликов на второй документ), для 3-4 позиции вырастет.
  • Количество кликов по сравнению с контрольным экспериментом увеличится (иногда пользователь будет кликать на два документа), но по сравнению с экспериментами 133,135 уменьшится (иногда пользователь будет кликать только на один документ с сайта)

Эксперимент 3.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Нумерация отрывается, favicon смещается на позицию нумерации (единственное отличие от эксперимента 1).
  • Второго документа в выдаче нет.
Прогноз результатов:
  • доля некликнутых уменьшится (будут кликать на более низкие результаты, сейчас цифра подсказывает пользователю о нерелевантности результата)
  • ctr спецразмещения вырастет (за счет меньших различий с выдачей)
  • позиция первого клика может сместиться вниз (за счет низких кликов)
  • доля длинных кликов может уменьшиться (не все клики по низким результатам будут хорошими)

Назначить | Комментировать | Редактировать		12.05-06.07+
249, 2528%EXPERIMENTS-71 Closed Показ параллельного поиска на месте нижнего колдунщика ishwestАудитория: 8%
Длительность: 2 полных недели

Цель эксперимента - проверить, как повлияет перенос параллельного поиска вниз на поведение пользователей.

1. Не сделаем ли мы хуже тем, кто привык пользоваться картинкой справа, даже по некартиночным запросам.
2. Насколько картинки снизу менее заметны картинок справа: как изменится посещаемость Картинок и генерация трафика.

Возможно, надо будет встретиться и подумать, что и как еще нужно будет посчитать.
С нашей стороны для эксперимента все будет готово через неделю ориентировочно.
Назначить | Комментировать | Редактировать		01.06-1.07~
10Q2
2294%EXPERIMENTS-59 Closed Зарубеж (очередной) kaaЭксперимент на верхнем, будет работать новый классификатор, определяющий необходимое число зарубежа.

Аудитория 4% (если нет возможности, то хватит и 2%, но так как у нас мало в потоке зарубежа, то лучше 4%)

Очень надеюсь, что bs_test_tag будет выставляться и писаться в лог(!) :)

Подробности эксперимента:
Сейчас для всех латинических запросов показывается ограниченное число результатов на нерусских языках — максимум два. Для части запросов это ограничение будет снято, для части будет вообще исключены латинические ответы. Новая версия колдунщика querylang будет определять необходимое число результатов.

Назначить | Комментировать | Редактировать		29.03-25.06+
2424%EXPERIMENTS-45 Closed Изменение верстки Спецразмещения kaaВнести следующие изменения:
1. Расстояние между объявлениями 25px
2. Расстояние от ссылки «все объявления» до 1'го объявления 27px
3. Расстояние от последнего объявления до 1'го «ящика» выдачи 30px
4. Вертикальная черта слева от СР свисает ниже базовой линии последней строки последнего объявления на 3px

Цель эксперимента: понаблюдать, как изменятся параметры Директа.
Также в ходе эксперимента, будет интересно посмотреть, как изменятся параметры результатов поиска (первый клик, время до первого клика и т.д.)
Эксперимент необходимо провести на 4%.
Назначить | Комментировать | Редактировать		01.06-25.06+
2434%EXPERIMENTS-56 Closed Изменение верстки Спецразмещения часть вторая (с подложкой) kaaПровести эксперимент с такой версткой спецразмещения http://wiki.yandex-team.ru/IljaShulman/SERPExperiments/SpecBkg2009#podkladkapodspecrazmeshheniem
Только в блоке спецразмещение сверху справа слово "Реклама" заменить на слово "Яндекс.Директ".

Цель эксперимента: понаблюдать, как изменятся параметры Директа.
Эксперимент необходимо провести на 4%.

Назначить | Комментировать | Редактировать		01.06-04.06-
246,2472x2%EXPERIMENTS-70 Closed Отображение сниппетов, ч.1 kaaВ рамках проекта по изучению пользовательского поведения необходимо провести 2 эксперимента:
  1. вместо пустых сниппетов подставлять title. Измерить изменение CTR по таким сниппетам по сравнению с пустыми
  2. для всех сниппетов, которые начинаются сначала предложения, необходимо сделать следующее:
    • сделать первую букву строчной (если первое слово целиком состоит из прописных - тогда делать строчной первую букву не надо)
    • дописать троеточие в начало сниппета

Эксперимент 1 нужно на 4% аудитории (изменившихся сниппетов очень мало)
Эксперимент 2 - на 2% аудитории

Какими параметрами включаются эксперименты сообщит Дмитрий Иванков.
Когда выедет соответствующий базовый сообщит Антон Шишкин.

Назначить | Комментировать | Редактировать		04.05-19.05?
2384%EXPERIMENTS-62 Closed Новая/старая формула — новая/старая длина ezhiВ один из ближайших релизов базового поиска войдут:
1. короткие сниппеты в production (для контрольного эксперимента надо будет включить счетчик скроллов)
2. эксперимент старая длина сниппетов (для этого эксперимента надо будет включить счетчик скроллов)
3. эксперимент новая формула сниппетовщика + старая длина сниппетов
4. эксперимент новая формула сниппетовщика + новая длина сниппетов.

Эксперименты надо будет включить когда мы сообщим о выкатке базового поиска.

Подробности какими параметрами включить эксперименты будут чуть позже.

Что хотим измерять:
  • стандартные данные по кликабельности
  • для контрольного эксперимента и эксперимента старая длина сниппетов (п.2) - сравнить количество скроллов, посчитанных соответствующим скроллом



Назначить | Комментировать | Редактировать		09.04-?-
2364%EXPERIMENTS-53 Closed Переранжирование на общие авто-запросы [марка модель] kaaПо результатам предыдущего эксперимента очевидно, что поднимать витальник и клуб -- хорошо.
Давайте запустим эксперимент, в котором будем ставить витальник на первое, а клуб на второе место. При этом срабатывать ранжирование должно только на запросы [марка модель], чтобы избежать омонимии.

В аттаче обновленный список клубов, но в будущем, в случае успешного эксперимента, клубы надо находить автоматически. Текущий поиск яндекса очень хорошо справляется с этим -- добавляя к запросы [марка модель] слово клуб на выдаче всегда показывается авторитетный клуб.

Андрей, спрогнозируй, пожалуйста когда это можно будет разработать и запустить.
Назначить | Комментировать | Редактировать		09.04-17.05-
2442%EXPERIMENTS-68 Closed Жирные заголовки в блоке Директа справа (инверсный) kaaВесь заголовок объявления делаем жирным шрифтом, как сейчас.
На 2% всех пользователей (не зависимо от региона)
Планируем увидеть увеличение CTR.

Назначить | Комментировать | Редактировать		23.04-12.05~
230, 2312x4% РФEXPERIMENTS-39 Closed "Дать объявление" в блоке спецразмещения ablonskiy2x4% по России

1. Разместить ссылку "Разместить здесь объявление" (http://advertising.yandex.ru/welcome/?id=yasearch_topadhere_a) вместо ссылки "Все объявления" над блоком спецразмещения. Ссылку "разместить объявление по запросудать объявление" в блоке справа метим (http://advertising.yandex.ru/welcome/?id=yasearch_topadhere_b).

2. Добавить ссылку "Разместить здесь объявление" (http://advertising.yandex.ru/welcome/?id=yasearch_topadhere_1) к ссылке "Все объявления" над блоком спецразмещения. Ссылку "разместить объявление по запросудать объявление" в блоке справа метим (http://advertising.yandex.ru/welcome/?id=yasearch_topadhere_2).

Дизайн может быть таким, как нарисовал Илья:
Назначить | Комментировать | Редактировать		09.04-23.04?
2404%EXPERIMENTS-60 Closed Меню в урле kaaВариант 1
  • нераспознанные урлы некликабельные,
  • домены некликабельные
  • ссылки на распознанные части подчеркнутые

На 4% пользователей
измеряем стандартные показатели, клики на ссылки в меню
Назначить | Комментировать | Редактировать		09.04-23.-4+
EXPERIMENTS-58 Closed Влияние фиксированной морды на метрики серпа vnikЕсть эксперимент с фиксированно-центрированной версткой морды.
Необходим отследить влияние на пользовательские метрики серпа для сессий, совершенных из экспериментальной морды.

Считаем все стандартные http://wiki.yandex-team.ru/jandekspoisk/kachestvopoiska/abtesting#naborrasschityvaemyxpokazatelejj и влияние на Директ. Ожидается, что все показатели будут в пределах шума.
Назначить | Комментировать | Редактировать		29.03-19.04~
232-2354x4% РФEXPERIMENTS-31 Closed Переименовать заголовок блока "Яндекс.Директ" kaaЗапускаем одновременно эксперименты, каждый на 4%
В качестве контрольного используем №213 "Контрольный 4% РФ"

1. Объявления Яндекс.Директа (http://direct.yandex.ru?id=direct_ad)
2. Реклама в Яндекс.Директе (http://direct.yandex.ru?id=direct_adv)
3. Реклама на Яндексе (http://direct.yandex.ru?id=top_adv)
4. Объявления на Яндексе (http://direct.yandex.ru?id=top_ad)

Считаем: CTR ссылок (statface), конверсия (Директ смотрит со своей стороны)
CTR ссылки «Разместить объявление по запросу »

Цель эксперимента: оценить влияние подобных действий на кликабельность и конверсию заголовка блока Директа.

Назначить | Комментировать | Редактировать		09.04-19.04-
2414%EXPERIMENTS-63 Closed Свежесть 1.0 styskinЭксперимент на 4%

Подмешивание свежих результатов (из QUICK, ULTRA, REALTIME) происходит в несобытийные дни в среднем в 1,5% случаев.

Эксперимент включается: &rearr=freshon
Заведите его пожалуйста в ab_testing: запросы, задействованные в эксперименте search_props: UPPER.fr>0


Назначить | Комментировать | Редактировать		05.04-14.04+
227, 2282x4% РФEXPERIMENTS-57 Closed Сохр. копия и Ещё с сайта kaaДва эксперимента на 4% каждый.
Чтобы не заморачиваться с переводами, проводим только по РФ,

Основная метрика: CTR ссылок.
Ради интереса смотрим на кликабельность результатов.

Изменения

Эксперимент 1.

сохраненная копия -> копия
еще с сайта -> ещё

При наведении нужно показывать подсказки:
копия: Сохранённая копия страницы на сервере Яндекса
ещё: Поискать "поисковой запрос" на сайте www.example.ru

Эксперимент 2.
сохраненная копия
еще с сайта

По умолчанию скрываем, но показываем при наведении на результат. Без градиента, рамочек и т.д.

Назначить | Комментировать | Редактировать		29.03-09.04?
2014%EXPERIMENTS-34 Closed Убираем плохой зарубеж kaaПросьба сделать эксперимент на стандартные 4%, в котором бы мы убирали некликабельный зарубеж по словарику на верхнем.
Конкретнее: был намайнен набор запросов, по которым CTR зарубежа - очень низкий.
Хотим по этим запросам оставлять 1 зарубежный результат максимум.

Метрики стандартные.

Ожидаем, что доля некликнутых выростет, прочие кликовые факторы по этим запросам тоже вырастут.
Назначить | Комментировать | Редактировать		22.01-07.04-
2224%EXPERIMENTS-48 Closed Товарные сниппеты (повторный) kaaЗавести новый эксперимент на 4% пользователей для товарных сниппетов, для контроля результатов эксперимента нужен дублирующий эксперимент, когда показываются те же данные, но без сниппетов (в логах нужно учитывать что сниппет для урла есть, но не был показан).

Как и в прошлый раз будем считать влияние на пользователей (CTR, время первого клика) и Директ.
Предыдущий эксперимент: https://jira.yandex-team.ru/browse/SERP-2033

Как только мы доделаем наши задачи https://jira.yandex-team.ru/browse/SNIPPETS-531 можно будет выкладывать.
Назначить | Комментировать | Редактировать		23.03-07.04?
2254%EXPERIMENTS-54 Closed Отключение кулинарных сниппетов kaaХочется запустить эксперимент с отключением кулинарных спецсниппетов.

Сроки: 1 неделя
Аудитория: 4%

По результатам эксперимента хотелось бы посчитать:
- средний ctr кулинарных спецсниппетов;
- время до первого клика (ожидается уменьшение);
- количество кликов на странице (ожидается уменьшение);
- другие стандартные кликовые метрики

Вот хосты, для которых мы сейчас формируем спецсниппет:
millionmenu.ru
say7.info
gotovim.ru
kedem.ru
good-cook.ru
gotovim-doma.ru
kuking.net
kulina.ru

Назначить | Комментировать | Редактировать		23.03-07.04~
2074%EXPERIMENTS-42 Closed Фиксированный серп kaaЭксперимент проводим на 4%.
Оцениваем базовые и метрики и влияние на Директ.
Назначить | Комментировать | Редактировать		02.03-07.04+
2264%EXPERIMENTS-55 Closed Смена 2-й и 3-й позиций в Спецразмещении kaa Предыстория: CTR 3й позиции Спецразмещения гораздо выше CTR 2й позиции и практически равен CTR 1й позиции. В результате складывается ситуация, когда рекламодатели бьются не за первую, а за третью позицию (и стоимость меньше, и CTR выше), т. е., осознанно занижают ставки.
С другой стороны, высказывались мнения, что на третью позицию попадают наиболее CPM'стые объявления (не знаю, правда это, или нет).

Предлагается понять, что оказывает большее влияние на CTR: интерфейс или релевантность ссылок. Для этого предлагаю поменять местами второе и третье объявление в эксперименте на 4%.

В случае, если картина кликабельности останется такой же, значит, наибольшее влияние оказывает интерфейс (я предполагаю, что именно так и будет). Если же кликабельность сместится на вторую позицию, то содержание объявления играет очень большую роль.

В первом случае есть смысл поменять механизм торгов, чтобы люди понимали, за что они платят ("больше денег - больше CTR" вместо "больше денег - выше позиция"). Если же сработает второй вариант, то надо срочно заниматься релевантностью Спецразмещения.
Назначить | Комментировать | Редактировать		23.03-05.04-
2244%EXPERIMENTS-51 Closed Подмешивание видеорезультатов kaaЭксперимент на 4%

Хотим отдельно запустить подмешивание видеорезультата в выдачу (т.к. эта фича независима от колдунщика видео) -- https://jira.yandex-team.ru/browse/VIDEOPOISK-613

Прогон 18 тыс случайных запросов на бете показал, что подмешивание будет в 6,5% запросов.

Спецразмещение показывается в 1 из 25 случаев подмешивания.

Смотрим на непроседание Директа, и на метрики пользовательского поведения.



Назначить | Комментировать | Редактировать		23.03-05.04+
2234%EXPERIMENTS-50 Closed Колдунщик видео (повторный) kaaЭксперимент на 4%

в ходе последнего https://ml.yandex-team.ru/archive/thread10406225/#message10406225 удалось сдвинуться с мертвой точки и договориться о запуске колдунщика для случаев, когда полностью отсутствуют видеоснипеты. Соответствующую логику доработали -- см. VIDEOPOISK-744.

По результатам прогона 15 тыс. случайных веб-запросов через бету, колдунщик будет показываться в 0,8 % случаев.
Одновременный показ спецразмещения ожидается редко -- примерно в 1 из 60 случаях показа колдунщика.
Смотрим на не-проседание доходов Директа, на метрики пользовательского поведения, а также на CTR колдунщика.
Назначить | Комментировать | Редактировать		23.03-05.04+
2044%EXPERIMENTS-26 Closed Сайтлинки в два столбца kaaНа 4% пользователей запускаем показ сайтлинков в два столбца.
Измеряем:
  • CTR сайтлинков
  • общая кликабельность выдачи
  • пользовательские метрики
  • влияние на рекламу

Назначить | Комментировать | Редактировать		02.03-01.04+
10Q1
2054%EXPERIMENTS-36 Closed Перемещаем колдунщики: минус-слов, опечаток kaaПроверяем идею "колдунщики про запрос должны находиться под поисковой формой".
* они там виднее
* они логически привязаны к запросу, а не к выдаче, поэтому не должны выглядеть как результат
* освобождается место для колдунщиков "про результаты" (маркет, словари,.. пример запроса [motorola e398 -цена])

экспериментировать будем с колдунщиком минус-слов.
цель эксперимента
1. Сравнить кликабельность колдунщиков (проверка гипотезы "он там виднее")
2. Посчитать влияние на Директ. В текущей верстке директ смещается на строчку вниз.
3. Посчитать влияние на остальные элементы выдачи. В частности, эффект от большего количества показов колдунщиков "про результаты"

Эксперимент на 4%.

Назначить | Комментировать | Редактировать		02.03-29.03-
220-2212x2%EXPERIMENTS-49 Closed Перезапуск экспериментов про короткие сниппеты после багофикса kaaНадо перезапустить эксперименты 150 и 151 про длину сниппета на 2%:

Эксперимент 150:
Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70)
Для запросов >=4 слов длина сниппетов остается как в текущем production (title = 70)
Эксперимент включается параметром &relev=uts=4

Эксперимент 151:
Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70)
Для запросов >=4 слов длина уменьшается до 215 символов max (title = 70)
Эксперимент включается параметром &relev=uts=5

Перезапуск нужен в связи с починкой багов, которые были при первом запуске.

Так же просьба для обоих экспериментов и для контрольного эксперимента на 2% включить подсчет скроллов страницы.
Назначить | Комментировать | Редактировать		10.03-29.03+
2104%EXPERIMENTS-43 Closed В блоке Директа подсвечивать только слова из запроса kaaСправа в блоке директа в заголовках объявления подсвечивать жирным шрифтом только слова из поискового запроса, также как это сделанно в спецразмещении.
По результатам эксперимента хотелось бы понять, как меняется CTR спецзармещения и блока Директа.
Назначить | Комментировать | Редактировать		02.03-23.03~
1344%EXPERIMENTS-29 Closed Перевод на SERP kaaНам нужно помимо данных со статфейса получить следующие оценки использования сервиса перевода на СЕРПе
1. CTR ссылки «перевод»
2. Первичный CTR тайтлов, для которых есть ссылка «перевод» (сначала кликнули тайтл, а потом вернулись и кликнули перевод)
3. Вторичный CTR тайтлов, для которых есть ссылка «перевод» (сначала кликнули перевод, а потом вернулись и кликнули тайтл)
4. CTR тайтлов для которых есть ссылка "перевод"

Если надо заводить какие-то счетчики или что-то еще, то говорите.

Назначить | Комментировать | Редактировать		08.12-04.03+
2094%EXPERIMENTS-41 Closed Оторвать сайтлинки kaaВ эксперименте не показываем сайтлинки совсем. Хотим сравнить суммарный CTR «ящиков» (блоков) органической выдачи при наличии и при отсутствии сайтлинков.

В итоге нужна таблица вида:
Позиция CTR в эксперименте суммарный CTR в эталлоне
1.
2.
3.

Суммарный CTR = 100 * (клики на заголовок + клики на сайтлинк 1 + ... + клики на сайтлинк N) / показы

Желательно 4% на полную неделю, но торг уместен.


Результаты:
Ссылка на показатели: https://specto.yandex.ru/ab_testing/ab_testing.py?action=analyze&jobid=./temp/tmprhhoWm&id=29&datestart=20100212&dateend=20100224&granularity=24&showprec=off&showdiff=on

Вывод: использование сайтлинков оправдано, поскольку они положительно влияют на кликабельность всего блока результатов (блок - это тайтл + сайтлинки).


Назначить | Комментировать | Редактировать		10.02-04.03~
2084%EXPERIMENTS-20 Closed Добавление специальных слов в тайтл музисточника vnikХочется посмотреть, изменится ли кликабельность музисточника с добавлением в его тайтл специальнах слов [скачать] и [бесплатно].

Текущая конструкция, соответствено, может меняться в зависимости от длины тайтла (насколько она приближается к границе) следующим образом:

'TPE1' - 'TIT2' (название трека уже само по себе еле укладывается в 80 знаков);
'TPE1' - 'TIT2' mp3;
'TPE1' - 'TIT2' mp3 скачать;
'TPE1' - 'TIT2' mp3 скачать бесплатно.

Из интересующих цифр - достаточно будет посчитать уже ctr самого музисточника.
Назначить | Комментировать | Редактировать		10.02-04.03~
2004%EXPERIMENTS-24 Closed Переранжирование авто-запросов [марка модель] kaaЭксперимент нацелен на разнообразие выдачи согласно поисковым прагматикам, указанных запросов.
Подробнее тут: http://wiki.yandex-team.ru/Auto/Pragmatics#markamodel--vprocesse

Запросов в потоке (по последней оценке Андрея) -- 0.87%. Нужно понять хватит ли нам 4% аудитории для проведения эксперимента.

В эксперименте в первую очередь мы смотрим на пользовательские метрики (клики и т.п.).
Оценку денег, наверное, стоит провести, ведь мы задвинем подальше автосалоны, поэтому может быть на них вырастут клики в директе.
Назначить | Комментировать | Редактировать		22.01-04.03~
161-1677x4% РФEXPERIMENTS-10 Closed Подпись Директа v.2 toshaЗапускаем 5 экспериментов на 4% в новой верстке на неделю.

Дать объявление (?id=yasearch_ad)
Дать объявление по запросу «...» (?id=yasearch_adtext)
Дать контекстное объявление (?id=yasearch_adcontext)
Разместить контекстную рекламу (?id=yasearch_advcontext)
Разместить рекламу (?id=yasearch_adv)

Считаем CTR подписей, Директ считает конверсию.
Ожидается, что вариант Дать объявление по запросу «...» — окажется лучшим по обоим показателям.
(поскольку CTR этой подписи в первом эксперименте был заметно выше остальных).

На текущий момент используется подпись: Разместить объявление по запросу «...»


Назначить | Комментировать | Редактировать		26.01-12.02?
194-1963x2%EXPERIMENTS-32 Closed Серая нумерация vnikДля безопасного внедрения второго документа, нужно провести эксперименты с оценкой влияния серой нумерации на выдачу.

Три эксперимента по 2% запускаем на неделю, сравниваем с эталонным №60.
Смотрим на пользовательские метрики и учитываем влияние на рекламу.

1. Текущую нумерацию меняем местами с favicons.
2. Серая нумерация — без точки (по макету Р. Воронежского) (было в 172-эксперименте)
3. Серая нумерация, но делаем темнее       #999


Назначить | Комментировать | Редактировать		27.01-12.02+
1914%EXPERIMENTS-19 Closed Картинки в середине результатов поиска kaaКолдунщик картинок на 4-й позиции будет показываться по картиночным запросам в том случае, если сверху его невозможно показать (сработал колдунщик какого-то другого сервиса).

Цель эксперимента: убедиться, что нет плохого влияния на Директ и поведение пользователей на серпе. В случае успеха считаем, что лучше по картиночным запросам показывать картинки в середине выдачи, чем внизу.

Считаем метрики, аналогичные EXPERIMENTS-8:

1) CTR колдунщика по 100 контрольным запросам (Вася Ситник). Сравниваем эксперименты 179 (колдунщик внизу), 35 (контрольный, колдунщик сверху) и ** (колдунщик на 4-й позиции).
2) Стандартные метрики заводит Вадим Никулин:

    • доля некликнутых
    • доля инверсий
    • доля длинных кликов
    • время до первого клика
    • позиция первого клика

Назначить | Комментировать | Редактировать		26.01-10.02+
1884% EXPERIMENTS-18 Closed Переранжирование видео и видеоколдунщик на серпе kaaupd.
187 — подмешивание
188 — колдунщик видео на нулевой позиции

--
У нас готова логика определения видео-запросов по маркерам и показа по таким запросам видеоснипета в качестве колдунщика.
Бета находится на http://baggi3.yandex.ru/yandsearch?text=%D0%BA%D0%BB%D0%B8%D0%BF+%D0%B4%D0%B8%D0%BC%D0%B0+%D0%B1%D0%B8%D0%BB%D0%B0%D0%BD+changes

Хотим как можно скорее (до 14 декабря) выкатить всё необходимое, запустить эксперимент и если ничего радикального не случится -- выехать на 100% через 2-3 дня (после начала эксперимента).

По этой группе запросов следим за:
1) CTR первого результата
2) показателями Директа
Назначить | Комментировать | Редактировать		28.01-10.02-
1994%EXPERIMENTS-38 Closed Другое ранжирование класса download kaaПривет всем

Сегодня-завтра выедет новый верхний. В нем будет новый колдунщик - правило Download

Это где-то 10% русского потока. Просьба на 50% случаев, где срабатывает правило запустить
эксперимент в России

pron=dowexp

Назначить | Комментировать | Редактировать		26.01-22.02+
150-1523x2%SERP-2138 Open Эксперименты с длиной сниппетов (3 штуки) kaaС выкладкой базового поиска stable-14-6 выезжают новые эксперименты про длину сниппетов. Каждый эксперимент необходимо запустить на 2%.

Эксперимент 1:
Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70)
Для запросов >=4 слов длина сниппетов остается как в текущем production (title = 70)
Эксперимент включается параметром &relev=uts=4

Эксперимент 2:
Для запросов <4 слов длина сниппетов составляет 170 символов max (title = 70)
Для запросов >=4 слов длина уменьшается до 215 символов max (title = 70)
Эксперимент включается параметром &relev=uts=5

Эксперимент 3:
Сниппеты такой же длины, как в эксперименте 1 (включать так же с помощью &relev=uts=4), но необходимо немного поменять их отображение:
необходимо разделять пассажи сниппетов не разрывом строки, а ... (пробел, жирное троеточие, пробел). При этом, если первый пассаж заканчивается на троеточие, то его необходимо обрезать, также троеточие необходимо отрезать из начала второго пассажа.

Перед тем, как запускать эксперименты, необходимо обеспечить запись следующих данных:
  • в reqans писать:
    • длину сниппета в символах
    • crc или еще какой-нибудь хэш сниппета
    • источник сниппета: пришел сниппет как обычный пассаж, как headline, или был подставлен в репорте
  • добавить в эксперименты и в контрольную выборку на SERP скрипт, определяющий доскроллил ли пользователь страницу до последнего результата (в какой лог это лучше писать - не знаю)

Ожидаемые изменения в кликабельности:
  • сокращение времени до первого клика (хорошо)
  • сокращение длины пользовательской сессии (хорошо)
  • снижение позиции первого клика (непонятно)
  • может быть небольшое повышение кликабельности

Назначить | Комментировать | Редактировать		16.12-22.02-
202,2036%UAEXPERIMENTS-37 Closed Cумма матрикснетов на Украине kaaПривет всем,

Просьба запустить эксперимент на 6% украины. Тестируем новый способ подбора на Украине.

pron=sumukr
Назначить | Комментировать | Редактировать		26.01-22.02-
1924%EXPERIMENTS-28 Closed Сегментатор kaaВключить на 2% эксперимент про сниппеты с учетом сегментатора.
Включается передачей на базовый в relev uts=6

Включить по возможности быстро.
Если не хватает аудитории - можно оторвать эксперимент 186 (отключение викисниппетов) - с Мариной Бутылкиной согласовано.

Будем смотреть:
- доля некликнутых (ждем уменьшения)
- количество инверсий (ждем уменьшения)
- доля длинных кликов (ждем увеличения)
Назначить | Комментировать | Редактировать		22.01-22.02+
1794%EXPERIMENTS-8 Closed Колдунщик картинок под результатами поиска kaaЦель колдунщика - отвечать на запросы, когда картинки уместны и могут служить дополнительным ответом на запрос. В первой версии будет показываться редко (надо посчитать), в будущем планируем ставить туда много запросов.
Вторая важная цель - получить из этого большого числа хорошие картиночные запросы для верхнего колдунщика, которые не определились другими автоматическими методами.

Цели эксперимента:

1. Посчитать влияние нижнего колдунщика на Директ и другие элементы выдачи.

2. Проверить гипотезу о том, что "картиночные" запросы будут иметь Ctr выше "некартиночных". Т.к. колдунщик не попадает в первый экран, поведение пользователей может сильно отличаться от случаев, когда колдунщик над выдачей. Что делаем: отбираем порядка сотни частотных запросов (и картиночных, и некартиночных). Части пользователей показываем их на выдачей (это будет эталон), другой части пользователей - под выдачей. Сравним ctr.
Назначить | Комментировать | Редактировать		14.01-22.02+
1974% EXPERIMENTS-2 Closed Контекстный колдунщик kaaНужно запустить эксперимент с контекстным колдунщиком.
https://wiki.yandex-team.ru/Market/Projects/MarketSearch/MarketWizards/Contextualwizards

Смотреть на zelo, пример запроса [где купить nokia n95] и [отзывы nokia n95]
Ожидается увеличение CTR колдунщика.
Назначить | Комментировать | Редактировать 		14.01-22.02+
1584%EXPERIMENTS-14 Closed Контрольный для Директа (оценка шума) ishwest      #158.. Запущен 02.11.09 с целью оценки погрешности в данных по рекламе.

Назначить | Комментировать | Редактировать 		02.11-26.01~
1984%EXPERIMENTS-33 Closed Оценить влияние на Директ отсутствие подписи региона goreevПросьба сегодня (14.01) при выкатывании подписи региона в продакшен, не выкатывать эту функциональность на 4% пользователей. Нужно удостовериться, что подпись региона не оказывает существенного влияния на Директ.
Длительность эксперимента -- 1 неделя.
Номер эксперимента прошу добавить комментарием в этот таск.
Назначить | Комментировать | Редактировать		14.01-26.01~
1864%EXPERIMENTS-16 Closed Отключение википедийных сниппетов vnikХочется запустить эксперимент с отключением сниппетов Википедии (другие словари не затрагиваются).

Сроки: 1 неделя
Аудитория: 4%

По результатам эксперимента хотелось бы посчитать:
- средний ctr сниппетов Википедии по позициям;
- время до первого клика (ожидается уменьшение);
- количество кликов на странице (ожидается уменьшение);
- количество серпов хотя бы с одним пустым сниппетом (вряд ли будет заметно, но может и уменьшится).
+
получить список запросов, по которым расхождения были max и min.
Назначить | Комментировать | Редактировать 		16.12-26.01~
1934%EXPERIMENTS-27 Closed Старый колдунщик категорий Маркета kaaПоскольку новый колдунщик выехал на 100%, решили запустить в качестве эксперимента старый колдунщик и по нему оценивать эффективность обоих.

Оцениваем:
CTR нового и старого колдунщиков
влияние на рекламу.

Ожидается: CTR нового колдунщика должен быть не ниже старого. СР может немного возрасти в новом колдунщике.

Назначить | Комментировать | Редактировать		18.12-22.01~
1894% EXPERIMENTS-13 Closed Заменить в спецразмещении слово "Реклама" на "Яндекс.Директ". kaaХотелось бы заменить слово "РЕКЛАМА" на написанное тем же шрифтом слово "ЯНДЕКС.ДИРЕКТ". Приблизительно вот так:
http://wiki.yandex-team.ru/IljaShulman/SERPExperiments/DirectYandexDirectInSpec/files?get=yadirsketch.png
Эксперимент необходимо провести на 4% пользователей в течение 2 недель.
По результатам эксперимента постараемся понять повлияет ли это изменение на что-нибудь.
На мой взгляд, заметных изменений не будет.
Назначить | Комментировать | Редактировать		16.12-22.01-
1872% EXPERIMENTS-18 Closed Переранжирование видео и видеоколдунщик на серпе kaaupd.
187 — подмешивание
188 — колдунщик видео на нулевой позиции

--
У нас готова логика определения видео-запросов по маркерам и показа по таким запросам видеоснипета в качестве колдунщика.
Бета находится на http://baggi3.yandex.ru/yandsearch?text=%D0%BA%D0%BB%D0%B8%D0%BF+%D0%B4%D0%B8%D0%BC%D0%B0+%D0%B1%D0%B8%D0%BB%D0%B0%D0%BD+changes

Хотим как можно скорее (до 14 декабря) выкатить всё необходимое, запустить эксперимент и если ничего радикального не случится -- выехать на 100% через 2-3 дня (после начала эксперимента).

По этой группе запросов следим за:
1) CTR первого результата
2) показателями Директа
Назначить | Комментировать | Редактировать		16.12-22.01-
173,1782%EXPERIMENTS-6 Closed Второй документ с сайта и отрыв нумерации vnikЦель:
1) Понять предпочтительный для пользователя дизайн выдачи со вторым документом с сайта.
2) Оценить влияние выдачи без нумерации на пользовательские метрики.

Эксперимент 1.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Подтягиваем второй документ к первому в пределах одной страницы.
  • Второй документ с сайта показываем с отступом.
  • Если для сайта показываем два документа, у первого документа отрываем "еще с сайта", у второго документа отрываем favicon.
  • Нумерация сохраняется, но отображается серым цветом и без ".", нумерация и favicon-ы меняются местами.

Прогноз результатов:
  • По сравнению с контрольным экспериментом позиция первого клика может сместиться вниз (за счет клика на второй документ с сайта)
  • Доля длинных кликов по сравнению с контрольным экспериментом может уменьшиться (иногда пользователи будут кликать по обоим документам с сайта, а полезен для пользователя только один из документов), по сравнению с экспериментами 133,135 доля длинных кликов вырастет(иногда пользователь будет ориентироваться, что документы с одного сайта и будет кликать только по одному из документов)
  • CTR по сравнению с с контрольным экспериментом для первых позиций упадет (за счет кликов на второй документ), для 3-4 позиции вырастет.
  • Количество кликов по сравнению с контрольным экспериментом увеличится (иногда пользователь будет кликать на два документа), но по сравнению с экспериментами 133,135 уменьшится (иногда пользователь будет кликать только на один документ с сайта)

Эксперимент 2.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Подтягиваем второй документ к первому в пределах одной страницы.
  • Второй документ с сайта показываем с отступом.
  • Если для сайта показываем два документа, у первого документа отрываем "еще с сайта", у второго документа отрываем favicon.
  • Нумерация отрывается, favicon смещается на позицию нумерации (единственное отличие от эксперимента 1).
Прогноз результатов:
  • По сравнению с контрольным экспериментом позиция первого клика может сместиться вниз (за счет клика на второй документ с сайта)
  • Доля длинных кликов по сравнению с контрольным экспериментом может уменьшиться (иногда пользователи будут кликать по обоим документам с сайта, а полезен для пользователя только один из документов), по сравнению с экспериментами 133,135 доля длинных кликов вырастет(иногда пользователь будет ориентироваться, что документы с одного сайта и будет кликать только по одному из документов)
  • CTR по сравнению с с контрольным экспериментом для первых позиций упадет (за счет кликов на второй документ), для 3-4 позиции вырастет.
  • Количество кликов по сравнению с контрольным экспериментом увеличится (иногда пользователь будет кликать на два документа), но по сравнению с экспериментами 133,135 уменьшится (иногда пользователь будет кликать только на один документ с сайта)

Эксперимент 3.
Длительность: 1 неделя
Доля аудитории: 2%.

Суть эксперимента:
  • Нумерация отрывается, favicon смещается на позицию нумерации (единственное отличие от эксперимента 1).
  • Второго документа в выдаче нет.
Прогноз результатов:
  • доля некликнутых уменьшится (будут кликать на более низкие результаты, сейчас цифра подсказывает пользователю о нерелевантности результата)
  • ctr спецразмещения вырастет (за счет меньших различий с выдачей)
  • позиция первого клика может сместиться вниз (за счет низких кликов)
  • доля длинных кликов может уменьшиться (не все клики по низким результатам будут хорошими)

Назначить | Комментировать | Редактировать		16.12-14.01.10-
176, 1774% RUEXPERIMENTS-12 Closed Новые формулы на зарубеже kaaПривет всем,

просьба сделать эксперимент на 4% России только латинических запросов.
4% потока, но запросы только латинические.
Мы меняем только зарубеж. Контрольный тоже нужен.

pron=forexp





Назначить | Комментировать | Редактировать		01.12-14.01.10-
09Q4
19020% UAEXPERIMENTS-25 Closed Двуязычная выдача kaaЭксперимент нацелен на улучшение выдачи путем добавления кликабельных урлов на другом языке.
Подробнее тут: http://wiki.yandex-team.ru/poiskovajaplatforma/lingvistika/multilanguageplans/surzhik

Запросов в потоке (по последней оценке Андрея) -- менее 1% из Украины. Поскольку украинских запросов не так много, предлагается запустить эксперимент на 20% аудитории.

В эксперименте в первую очередь мы смотрим на пользовательские метрики (клики и т.п.).
Еще хотим посчитать кликабельность подмешанных документов: можно ли это сделать?
Еще вопрос: можно ли учитывать регион пользователей более точно -- западная и восточная Украина? И учитывать локаль?


Назначить | Комментировать | Редактировать		16.12-23.12?
1854% EXPERIMENTS-1 Closed "Испорченные урлы" kaaСуть эксперимента:
понять, влияет ли урл на кликабельность результата.

У 4% ча