Андрей Травин из Openstat заявил о распознавании более 2000 сигнатур типовых объектов, на выступлении в рамках Internet Business Conference Russia 2013. Запуск проекта 11 декабря. Он позволит узнать, что популярнее на страницах, и в какой степени. Форма оплаты Яндекс.Деньгами или Qiwi? Какие карты популярнее? Производства Яндекс или Google? Какая реклама больше востребована владельцами сайтов? Так рекламные модули Google встречаются на сайтах в 6 раз чаще, чем модули Рекламной сети Яндекса.
Сижу на конфе. Доклад Травина вызвал много вопросов (и не только у меня). Во-первых, скачивали 5.5 миллионов сайтов, а ответили только 3.5. Что, два миллиона от опенстата по роботс.тхт закрылись? Странновато. Во-вторых, сам докладчик несколько раз упоминал, что слайды готовились на коленке, в последнюю ночь, на нечетких данных (поскольку он в опенстат только недавно вернулся). В-третьих, доклад содержал фактические ошибки (так, автор, говоря о лирушной доле яндекса и гугла в Белоруссии, явно перепутал страну с Украиной.). Учитывая жесткие ограничения на вход в РСЯ, нет сомнений в том, что сайтов с адсенсом гораздо больше. Но в 6 раз или не в 6 — неизвестно. Ну и, в любом случае, такая обзорная статистика имеет большой смысл, если мы собираем ее раз в несколько месяцев по одной и той же технологии и следим за динамикой результатов. Тогда абсолютные цифры могут быть неверны, но тренды оно отобразит. В этом докладе не было уверенности, что методика исследования соответствует предыдущим докладам Травина.
Точнее так. Краулер Openstat ежемесячно индексирует весь Рунет (3,5 млн. «живых» сайтов) с августа 2013 по настоящее время. В августе-октябре использовалось 222 сигнатур, которыми мы определяли 140 систем. По результатам такого анализа я и сделал доклад (презентация http://www.slideshare.net/andrey_travin/travin-ibc-201316×9 ). Полученного материала хватило бы и на три доклада. А 11 декабря будет закончено индексирование с расширенным набором сигнатур (более 2200), которой определяет более 700 систем. Но эта внушительная добавка получилась в основном за счет всякой иностранщины, которая может не сильно исказить общую картину по Рунету (но чтобы убедиться в этом, надо попробовать). А так краулинг-направление OpenStat давно работает, хотя пока и пребывает в поисках смыслов…
Не удивительно, у яндекса ограничение на 300 юников в день, у гугла такого нет. У мелочи нет вариантов даже. У меня вот есть оставшийся от закрытых проектов сайтик где 50 юников и стоит adsense.
В Яндекс не в униках дело, и с 3000 фиг попадешь, надо долго договариваться. Не удивительно что так получается
Точнее так. Краулер Openstat ежемесячно индексирует весь Рунет (3,5 млн. «живых» сайтов) с августа 2013 по настоящее время. В августе-октябре использовалось 222 сигнатур, которыми мы определяли 140 систем. По результатам такого анализа я и сделал доклад (презентация http://www.slideshare.net/andrey_travin/travin-ibc-201316×9 ). Полученного материала хватило бы и на три доклада. А 11 декабря будет закончено индексирование с расширенным набором сигнатур (более 2200), которой определяет более 700 систем. Но эта внушительная добавка получилась в основном за счет всякой иностранщины, которая может не сильно исказить общую картину по Рунету (но чтобы убедиться в этом, надо попробовать). А так краулинг-направление OpenStat давно работает, хотя пока и пребывает в поисках смыслов…
Сижу на конфе. Доклад Травина вызвал много вопросов (и не только у меня). Во-первых, скачивали 5.5 миллионов сайтов, а ответили только 3.5. Что, два миллиона от опенстата по роботс.тхт закрылись? Странновато. Во-вторых, сам докладчик несколько раз упоминал, что слайды готовились на коленке, в последнюю ночь, на нечетких данных (поскольку он в опенстат только недавно вернулся). В-третьих, доклад содержал фактические ошибки (так, автор, говоря о лирушной доле яндекса и гугла в Белоруссии, явно перепутал страну с Украиной.). Учитывая жесткие ограничения на вход в РСЯ, нет сомнений в том, что сайтов с адсенсом гораздо больше. Но в 6 раз или не в 6 — неизвестно. Ну и, в любом случае, такая обзорная статистика имеет большой смысл, если мы собираем ее раз в несколько месяцев по одной и той же технологии и следим за динамикой результатов. Тогда абсолютные цифры могут быть неверны, но тренды оно отобразит. В этом докладе не было уверенности, что методика исследования соответствует предыдущим докладам Травина.
прозвонили 5,5 млн. сайтов национальной доменной зоны и также сайты в других доменных зонах, про которые было известно, что они относятся к Рунету, Байнету или Уанету. «Живых» (типа «ответ 200 Ок») оказалось 3,5 млн. С ними дальше и работаем. Редиректы обрабатывались так же, как и другими краулерами. Остальные ответы требуют больше слов, а день рождения Сёрча — на носу :) Приду сюда в другие дни.
Исследования рекламного рынка готовились на материале сентября и октября, то есть делались еще в ноябре. Слайды готовились не на коленке, а в Фотошопе, и тоже были закончены не в последний день. А если бы даже и в последний день, как в докладе Костина, то тогда что? В последний момент (поздно вечером 4 декабря) был закончен единственно вот этот слайд, как и само исследование ссылок Рунета, которое он отражает. Кстати, этот свежак я посчитал бы более интересным. Он показывает, что: — среднее количество внешних ссылок со страницы несильно изменилось со времен шестилетней давности исследования Алексея Тутубалина; — большинство ссылок индексируемые (без nofollow и noindex), то есть предположительно продажные; — идея безанкорного продвижения, которой примерно три года, так и не овладела массами; — доля тематических ссылок (когда, к примеру, женский ресурс ссылается на женский ресурс) весьма велика, то есть Рунет аккуратно построился вслед за трендом поисковых машин.
Ну я, может, предвзято немного отношусь, прошу простить меня за это :) Но это объясняется тем, что общее качество докладов на сео-конференциях остается стабильным, как раньше методология не описывалась, так и сейчас не описывается. Это не лично вам упрек, все такие доклады делают. Вот, например, по ссылочному слайду. Были справедливые вопросы из зала: — а если медиану посчитать, такая же высокая цифра будет по числу исходящих ссылок? Среднее очень легко сместить, взяв в исследование пару каталогов типа бывшего бобрдобр.ру — как вы учитывали «сквозняки»? Ну и вот это очень спорный тезис: > — большинство ссылок индексируемые (без nofollow и noindex), то есть предположительно продажные; Мне кажется, все нормальные люди, не замороченные на seo, ставят ссылки без nofollow и noindex, потому что это вообще никого не парит. Я хочу верить, что ваша цифра говорит о том, что нормальных людей в интернете — превосходящее большинство.
Раз уж меня помянули, не могу не вмешаться по исходному вопросу, РСЯ против Адсенса. В помянутом исследовании шестилетней давности РСЯ тоже было как-то мало (и Яндекс обижался). Поэтому когда я готовил (неопубликованное) исследование пятилетней давности, мы, совместно с коллегами из Яндекса, сумели построить устраивающую все стороны «репрезентативную выборку» и сравнили мои данные (построенные по выкачке 1-3 страниц) с их данными (по данным РСЯ). Получилось, что я РСЯ существенно недосчитывал. Где-то она не на всех разделах сайта, где-то — в ротации, где-то в географическом таргетинге. Возможно, я совершенно так же недосчитывал и другие системы. Насколько я помню (прошло более 5 лет), коллеги из Бегуна и Гугла на предложение проверить мои результаты по устраивающей всех выборке — то ли не откликнулись, то ли мы не сумели найти устраивающий всех вариант выборочной проверки. В результате, мое исследование 2008 года не было опубликовано, а потом я и вовсе занялся другим, к исследованиям рунета — полностью охладел. Я собственно к чему: понятно что у РСЯ — выше барьер и это не может не сказываться (поэтому хорошо бы взвешивать на трафик как-то, тем более имея под рукой OpenStat). Но сторонние замеры распространенности систем контекстной рекламы, даже по выкачке всего сайта могут подвирать (таргетинг, ротация), а если качался не весь рунет, а по несколько страниц с сайта (как оно было у меня), то тем более.
Всё просто и проверил уже на 10ти сайтах точно, а на многих раза 2-3. Доход от яндекса в несколько раз всегда меньше чем от адсенса. Иногда в 2 раза, но обычно от 3 раз. В последний раз очень долго и упорно пытался внедрить яндекс на одном своем сайте, когда временно адсенс забанил его. Ничего не получилось, доходы настолько мизерные, что когда снял его, то испытал глубочайшее моральное удовлетворение)
Раз уж меня помянули, не могу не вмешаться по исходному вопросу, РСЯ против Адсенса. В помянутом исследовании шестилетней давности РСЯ тоже было как-то мало (и Яндекс обижался). Поэтому когда я готовил (неопубликованное) исследование пятилетней давности, мы, совместно с коллегами из Яндекса, сумели построить устраивающую все стороны «репрезентативную выборку» и сравнили мои данные (построенные по выкачке 1-3 страниц) с их данными (по данным РСЯ). Получилось, что я РСЯ существенно недосчитывал. Где-то она не на всех разделах сайта, где-то — в ротации, где-то в географическом таргетинге. Возможно, я совершенно так же недосчитывал и другие системы. Насколько я помню (прошло более 5 лет), коллеги из Бегуна и Гугла на предложение проверить мои результаты по устраивающей всех выборке — то ли не откликнулись, то ли мы не сумели найти устраивающий всех вариант выборочной проверки. В результате, мое исследование 2008 года не было опубликовано, а потом я и вовсе занялся другим, к исследованиям рунета — полностью охладел. Я собственно к чему: понятно что у РСЯ — выше барьер и это не может не сказываться (поэтому хорошо бы взвешивать на трафик как-то, тем более имея под рукой OpenStat). Но сторонние замеры распространенности систем контекстной рекламы, даже по выкачке всего сайта могут подвирать (таргетинг, ротация), а если качался не весь рунет, а по несколько страниц с сайта (как оно было у меня), то тем более.