Google врубил HTTPS на 100% юзеров — рефереры теперь не видны (на самом деле нет: кое-где видны)

Google включил HTTPS для всех юзеров — ни в одной статистике не будет видно поисковый запрос, по которому пришел посетитель (ну остальные данные, входная страница например, будет видна).

В буржунете кипишь, в Рунете пока не очухались. хотя для нас это тоже актуально.

Лучшие комментарии

  • Контекст комментария

    Борис Королев (ушел на сайт, где какая-никакая модерация есть) eCPM.ru

    Google предупредил на этот счет еще 18 октября 2011 года, http://analytics.blogspot.ru/2011/10/making-search-more-secure-accessing.html мотивируя заботой о персональных данных пользователей, что вызвало определенные обсуждения в разных компаниях, торгующих «аудиторными сегментами». Сейчас рефереры еще доступны, но к концу года, станут на 100% скрытыми. С нового года, говорят, на https переведут всех. Пока же есть люди, которые гуглят без https, слова будут видны. На текущий момент по умолчанию на https заруливаются, например, файрфокс старше 14 версии, залогиненные в сервисы гугла и еще несколько категорий пользователей. Технически исчезновение слов происходит не от ssl, конечно, а от обрезания запроса из referrera. Одновременно не значит вследствие. Яндекс также просьба подтянуть этот вопрос до аналогичных высот. Не нужны нам сторонние поведенческие сегменты, пусть сторонние кампании переделывают всё, а СЕОшники… Ну, им не привыкать. :)

  • Контекст комментария

    Максим Зотов LiveInternet

    > Комментарий Roem.ru: на самом деле нет На самом деле да. Во-первых, вы приводите в качестве примера ссылку на данные за 31 августа. Посмотрите актуальный отчет. http://www.liveinternet.ru/stat/roem.ru/queries.html?slice=go 17 переходов с определенными фразами. Во-вторых, нужно смотреть не присутствие фраз вообще, а сравнивать количество переходов с фразами с количеством без них. Перейдите в соседний отчет «с поисковых систем» http://www.liveinternet.ru/stat/roem.ru/searches.html?slice=go 84 перехода с Гугла. Если делается переход с https-версии Гугла, то гугл убирает из адреса поисковый запрос. Реферер при этом остается гугловый, а не совсем удаляется, как при обычном переходе https->http, поэтому можно узнать, что это был переход именно с Гугла. Хотя наверняка при каких-то условиях реферер может совсем не передаваться. Вот глобальные данные по разнице между общим числом переходов с Гугла и переходов с определенными фразами за последние полгода, сейчас около 80% неопределенные: http://support.li.ru/images/undefined-google.png Это данные со страниц http://www.liveinternet.ru/stat/ru/queries.html?slice=Google

  • Контекст комментария

    Максим Зотов LiveInternet

    > Это не сокрытие посиковых запросов. Это принуждение для нормальных сайтов к переходу на https. Вы неправильно поняли проблему. Она не в том, что при переходе https->http не передается реферер, она в том, что Гугл в своей промежуточной странице перехода специально убирает поисковый запрос из адреса. Запрос убирается из реферера во всех случаях. Если вы переведете свой сайт на https, вы всё равно не будете знать, по каким фразам к вам переходят из Гугла.

Добавить 51 комментарий

  • Ответить
    Альтер Эго

    >ни в одной статистике не будет видно поисковый запрос с какой стати? https->https всё видно. реферер теряется при переходе с https на http

  • Ответить
    Альтер Эго

    Абсолютно правильный и здравый шаг со стороны Гугла. Яндекс зря спит и тормозит. Это не сокрытие посиковых запросов. Это принуждение для нормальных сайтов к переходу на https. Покупка сайтом сертификата https — это сто баксов, а значит все помойки сеошного типа станут на выбор либо финансово нецелесообразны, либо потеряют статистику. Самопальный сертификат — фактор-минус, хороший сертификат — зеленый коридор.

  • Ответить

    > Комментарий Roem.ru: на самом деле нет На самом деле да. Во-первых, вы приводите в качестве примера ссылку на данные за 31 августа. Посмотрите актуальный отчет. http://www.liveinternet.ru/stat/roem.ru/queries.html?slice=go 17 переходов с определенными фразами. Во-вторых, нужно смотреть не присутствие фраз вообще, а сравнивать количество переходов с фразами с количеством без них. Перейдите в соседний отчет «с поисковых систем» http://www.liveinternet.ru/stat/roem.ru/searches.html?slice=go 84 перехода с Гугла. Если делается переход с https-версии Гугла, то гугл убирает из адреса поисковый запрос. Реферер при этом остается гугловый, а не совсем удаляется, как при обычном переходе https->http, поэтому можно узнать, что это был переход именно с Гугла. Хотя наверняка при каких-то условиях реферер может совсем не передаваться. Вот глобальные данные по разнице между общим числом переходов с Гугла и переходов с определенными фразами за последние полгода, сейчас около 80% неопределенные: http://support.li.ru/images/undefined-google.png Это данные со страниц http://www.liveinternet.ru/stat/ru/queries.html?slice=Google

  • Ответить

    > Это не сокрытие посиковых запросов. Это принуждение для нормальных сайтов к переходу на https. Вы неправильно поняли проблему. Она не в том, что при переходе https->http не передается реферер, она в том, что Гугл в своей промежуточной странице перехода специально убирает поисковый запрос из адреса. Запрос убирается из реферера во всех случаях. Если вы переведете свой сайт на https, вы всё равно не будете знать, по каким фразам к вам переходят из Гугла.

  • Ответить
    Альтер Эго

    Максим, ЛИ когда станет https-friendly? 2013 год, сайты на http просто не имеют право на существование. Интернет-забегаловки с неясно каким админом точки, сомнительные вай-фаи — всё это зоны риска, и трафик должен передаваться только по https. Про промежуточную страницу — надо псмотреть, по-моему там обычный https → https, без сокрытия реверера.

  • Ответить

    > Александр Панков: > … трафик должен передаваться только по https. Зачем тысячам простых статичных HTML сайтов (какие были на narod.ru) HTTPS? Если с каждого по $100 собрать не маленькая сумма получится. Среднестатистический сайт, на какой-нибудь CMS с посещаемостью ~ 200 уников в день, за год меньшую сумму отдаёт за хостинг и домен!!!

  • Ответить
    Альтер Эго

    для народ.ру существуют wildcard-сертификаты, не надо собирать по 100 $ с каждого, достаточно заплатить один раз кроме того, среднестатистический сайт с посещаемостью 200 уников в день может вообще получить бесплатный сертификат.

  • Ответить

    Я не вижу никакого смысла подтверждать, что сайт пренадлежит какому-то Васи Пупкину, на котором он разместил любимые стихотворения. Кроме того, он мог пожелать остаться неизвестным. Шифровать там тем более нечего. Зачем ему HTTPS, который нагружает сервер лишней работой?

  • Ответить
    Альтер Эго

    Максим, сайт Васи Пупкина в своей массе остался уже в ранних 2000-х. Всё-таки сейчас не модно делать сайты, ну, а тем что есть статистика по запросам нафиг не нужна. Им вообще не особо-то интересна посещаемость — 5 или 15 случайных заходов в день. Ну, а кому нужна — пойдут в инструменты Гугла. Неудобств минимум, зато профит для поисковика огромный в плане удара по тысячам сайтов сеошного толка. Всё течёт, всё изменяется. Сейчас страничка вида vk.com/poupkin — куда понятнее и доступнее чем сайт poupkin.ru на бесплатной CMS, который требует хостинга, дизайнера, программиста и, самое главное, периодического лечения от очередных инъекций.

  • Ответить

    to Александр Панков Я только хочу сказать, что против подобного: > … трафик должен передаваться только по https Есть ещё много задач, где совсем не нужен HTTPS. По поводу vk.com/poupkin согласен, но это не всегда удобно. Иногда хочется разместить какую-нибудь информацию в статических HTML (полученную экспортом откуда-нибудь) и забыть о её поддержки на пару лет. P. S. Очень жаль что narod.ru прикрыли.

  • Ответить

    > Шифровать там тем более нечего. Шифровать предпочтения пользователей: куда ходят, когда ходят. А то провайдеры, вон, уже начали массово внедрять следилки для слива на сторону. И тут надо шифровать всё, даже посещения сайтов Васей Пупкиных.

  • Ответить

    > Иногда хочется разместить какую-нибудь информацию в статических HTML (полученную экспортом откуда-нибудь) и забыть о её поддержки на пару лет. HTTPS не умеет статический HTML? Сертификаты на два года не дают?

  • Ответить

    > Шифровать предпочтения пользователей: куда ходят, когда ходят. > HTTPS не умеет статический HTML? Сертификаты на два года не дают? Это Васи Пупкину не надо. У него есть информация, которой он хочет поделиться с обществом, залив её куда-нибудь в два клика и забыть. Для него важно: минимум усилий, минимум поддержки, минимум нагрузки на сервер. Если пользователь переживает за свою анонимность, пусть шифруется, Вася то тут причём?

  • Ответить
    Альтер Эго

    Да, Максим, тут верно пишут, что ещё слежка государствами весьма весомая причина для принудительного https. В то же время, одно государство за яйца держит тех, кто сертификаты SSL раздает. По идее надо искать такие центры сертификации, которые принимают твой публичный ключ сертификата самопального и делают его трастовым. Надо чтобы приватный ключ таки был в секрете в том числе и от ZOG,

  • Ответить

    > У него есть информация, которой он хочет поделиться с обществом, залив её куда-нибудь в два клика и забыть. В этом случае, Васе и не нужен сертификат. Сертификат нужен тому, куда Вася заливает для всеобщего доступа. Заливает, например, на Acme Drive, а оттуда уже Acme Corp. со своим сертификатом раздаёт. No problem.

  • Ответить

    > искать такие центры сертификации, которые принимают твой публичный ключ сертификата самопального и делают его трастовым, А что, есть такие, кто генерит сам и отдает пользователю готовый секретный ключ, и отказываются делать как положено? Это ж нонсенс, туда ни один вменяемый человек или компания не обратятся.

  • Ответить

    HTTPS на сайте не поможет увидеть запросы пользователей. Гугл обрубает при перенаправлении значение запроса (переменная q). Если сильно озаботиться вопросом: «По каким запросам ходят пользователи?», — то похоже осталась одна лазейка. В адресе запроса остается переменная «usg», которая, похоже, и представляет из себя запрос пользователя в зашифрованном виде. Нужно только по базе открытых запросов, у которых мы знаем q, создать таблицу соответствий q===usg и уже делать с этим что захотим.

  • Ответить

    Дмитрий Подлужный: «В адресе запроса остается переменная usg» В реферере либо вообще нет никаких параметров (в Хроме реферер просто морда: https://www.google.com/), либо нет параметров, кодирующих запрос. Параметр usg зависит от страницы, а не от запроса. Попробуйте два разных запроса, приводящих на одну страницу, параметр usg будет одинаковым.

  • Ответить

    Нужно делать срезы по неопределенным переходам и смотреть на тайтлы страниц, работает разумеется только для внутряков, гадание на кофейной гуще, но хоть что-то…

  • Ответить
    Альтер Эго

    > Да, Максим, тут верно пишут, что ещё слежка государствами весьма весомая причина для принудительного https. Больше всего следит за интернетом — США. Сертификаты выдают компании расположенные в США (root CA). Закладки в механизмы шифрования суют в США. [URL=http://www.cybersecurity.ru/crypto/181665.html]RSA Security заявила о наличии АНБ-бэкдора в своих продуктах[/URL]

  • Ответить

    Google предупредил на этот счет еще 18 октября 2011 года, http://analytics.blogspot.ru/2011/10/making-search-more-secure-accessing.html мотивируя заботой о персональных данных пользователей, что вызвало определенные обсуждения в разных компаниях, торгующих «аудиторными сегментами». Сейчас рефереры еще доступны, но к концу года, станут на 100% скрытыми. С нового года, говорят, на https переведут всех. Пока же есть люди, которые гуглят без https, слова будут видны. На текущий момент по умолчанию на https заруливаются, например, файрфокс старше 14 версии, залогиненные в сервисы гугла и еще несколько категорий пользователей. Технически исчезновение слов происходит не от ssl, конечно, а от обрезания запроса из referrera. Одновременно не значит вследствие. Яндекс также просьба подтянуть этот вопрос до аналогичных высот. Не нужны нам сторонние поведенческие сегменты, пусть сторонние кампании переделывают всё, а СЕОшники… Ну, им не привыкать. :)

  • Ответить

    Александр Панков> сайты на http просто не имеют право на существование Вы забываете еще одну мелкую деталь — на https невозможно запускать виртуальные хосты — другими словами один ip адрес — только один сайт. На фоне возрастающего дефицита ipv4 — Ваш призыв скорее всего реализовать не удасться… Если кого-то действительно беспокоит безопасность, то VPN вполне доступен практически в любом устройстве.

  • Ответить
    Альтер Эго

    На один ip нельзя с несамоподписанным сертификатом? У меня пачки https-сайтов с самопальными сертификатами на одном адресе.

  • Ответить

    RSA Security заявила о наличии АНБ-бэкдора в своих продуктах Обожаю российские переводные «источники». Оригинал заявления RSA https://blogs.rsa.com/news-media-2/nist-guidance-statement/ и NIST http://csrc.nist.gov/publications/nistbul/itlbul201309_supplemental.pdf о возможной уязвимости стандартного эллиптического генератора случайных чисел.

  • Ответить
    Альтер Эго

    >15.2% в рунете пойдут лесом. 100% людей пользуются IE? на деле там будет, конечно, намного меньше, но больше нуля. 25% умножить на долю IE, около 3% (на winxp выше 8 IE не поставить) итого получаем около 0.75% потеря, да если Вася не готов терять этих людей, то есть и другие способы, wildcard-сертификаты, например

  • Ответить

    На XP ни однин IE работать с таким сертификатом не будет. На XP под IE только закоренелые нечегонеделатели сидят, а это почти 100% IE. Ну ладно 80. Так что никак не 0.75%, но я согласен с тем что поторопился — и не 15.2%. Но так примерно 10% будет обламываться (мы настраивали у себя, мы в курсе как работает и ещё варианты ваилдкард сертификатов какие существуют). А ещё существует очень сложный конфиг, когда ты по портам делишь домены и каждый порт отдаёт нужный сертификат от нужного домена. Но это вообще не просто сделать простому Васе. Я всего лишь хочу сказать, что http://wiki.apache.org/httpd/NameBasedSSLVHostsWithSNI — не 100% хорошее решение. Решений есть много, но они все как бы сложные :).

  • Ответить
    Альтер Эго

    >Обожаю российские переводные «источники». ну если вы читаете оригиналы, то в чём вопрос-то? RSA подтвердили, что используют этот PRNG, NIST подтвердили наличие критической уязвимости в нём. Если же вы хотите почитать конкретно про бэкдоры NSA, то вот Вам документы: http://sporaw.livejournal.com/211143.html

  • Ответить
    Альтер Эго

    >На XP ни однин IE работать с таким сертификатом не будет. На XP под IE только закоренелые нечегонеделатели сидят, а это почти 100% IE. Эй-эй, подождите, что это за ерунда про 100%? Вот количество юзеров с IE на winxp, вот общее количество юзеров на winxp какие там 100%? там даже 25% нет, меньше 10% получается. что итоге даёт вообще меньше 0.3%

  • Ответить

    Окей, даже по вашей статистике — 16 сидит на XP, из них 25 на IE — 4%. Но я сейчас посмотрю доку ещё раз. По моему там весь XP не поддерживет такие сертификаты, но я могу ошибаться. Как вы 0,3% получаете, для меня до сих пор загадка.

  • Ответить
    Альтер Эго

    это не моя статистика, а liveinternet. Вы же ссылку на неё дали? 16% на XP, ВСЕ браузеры. доля браузеров IE, которые можно поставить на winxp, составляет 3%(ТРИ ПРОЦЕНТА) умножьте долю xp на долю IE 0.16*0.03=0.0048, т.е. 0.48% весь winxp не поддерживает такие сертификаты, среди тех, кто использует API MS для этого дела. все нормальные браузеры — поддерживают

  • Ответить

    Вы мешаете мухи и котлет. Процент XP берете от всех систем и так же умножаете на процент броузеров от всех систем. Это в корне не правильно ибо как я уже говорил на XP сидят ретрограды и нельзя общий тренд на них. Я снова поправлю свою отметку и покажу таки как я сделал: Берём все IE — http://www.liveinternet.ru/stat/ru/browsers.html?id=51&id=49&id=50&id=55&id=54&id=53&id=48&id=52&show=rebuild+graph&per_page=50&report=browsers.html получаем 8.5% Берём все OS в разрезе на IE — http://www.liveinternet.ru/stat/ru/oses.html?slice=ieall — 25.7% Это XP, на которой IE системно не может работать с НаймБазедССЛ. Итого получаем 2.18%, но не 0,3%.

  • Ответить
    Альтер Эго

    >Процент XP берете от всех систем и так же умножаете на процент броузеров от всех систем. Это в корне не правильно ибо как я уже говорил на XP сидят ретрограды и нельзя общий тренд на них. >Берём все IE — http://www.liveinternet.ru/stat/ru/br…wsers.html получаем 8.5% конечно, поэтому давайте считать от всех версий IE, даже если нам известно, что на XP нельзя поставить IE выше 8? вычеркните оттуда IE10, IE9 и получите 3% >Берём все OS в разрезе на IE — http://www.liveinternet.ru/stat/ru/os…lice=ieall — 25.7% точно. и вот четверть от 3% и даст нам 0.75%, это я и написал в своём самом первом комментарии.

  • Ответить

    >конечно, поэтому давайте считать от всех версий IE, даже если нам известно, что на XP нельзя поставить IE выше 8? вычеркните оттуда IE10, IE9 и получите 3% Почему вы заранее обрезаете базу. Специально что бы уменьшить процент? Вот есть срез по всем IE в разрезе OS. И он говорит — из ВСЕХ IE 25.7% запускаются на WinXP. Вообще всех. Тогда и процент надо смотреть от от всех версий IE, а не только что могут встать на WinXP. Вы просто текущее распределение броузеров пытаетесь привязать на XP — это в корне не правильная методика.

  • Ответить
    Альтер Эго

    Да, действительно получается около 2 с небольшим процентов. Ну вот, итого средний Вася потеряет 2 процента пользователей при переходе на SSL указанным способом.

  • Ответить

    Если же вы хотите почитать конкретно про бэкдоры NSA, то вот Вам документы: http://sporaw.livejournal.com/211143.html Спасибо, про бэкдоры NSA я читал. Но причем здесь RSA? Ваш «источник» сообщает сенсацию — RSA (лидер, если что, на рынке шифросистем) призналась, что закладывала в продукты бэкдоры NSA! На самом деле RSA использовала открытый стандарт, который используют абсолютно все, и в который NSA возможно (только возможно) протолкнула уязвимость. Если почитать оригиналы документов, то авторы специально указывают, что они не утверждают, что уязвимость существует; но она может существовать, поскольку непонятно, как именно выбрана пара использованных в стандарте констант.

  • Ответить
    Альтер Эго

    Точно читали? А то странно сформулировано «Но причём здесь RSA?» 1) NSA разрабатывает бэкдоры для крипто-софта и стандартов. (1) The N.S.A.’s SIGINT Enabling Project is a $250 million-a-year program that works with Internet companies to weaken privacy by inserting back doors into encryption products. This excerpt from a 2013 budget proposal outlines some methods the agency uses to undermine encryption used by the public. (2) The agency works with companies to insert back doors into the commercial products. These back doors allow the agency, and in theory only the agency, to gain access to scrambled information that it would not be able to view otherwise. 2) подозрение на наличие бэкдора в NIST SP800−90 Dual Ec Prng подтвердили в NIST 3) RSA использует этот генератор по умолчанию в своём софт, что они и подтвердили Ссылки все выше есть. Действительно, причём тут RSA? P. S. кстати, насчёт «переводных источников». а «непереводные источники» Вам подходят? http://blog.cryptographyengineering.com/2013/09/on-nsa.html http://www.wired.com/threatlevel/2013/09/rsa-advisory-nsa-algorithm/ http://www.nytimes.com/2013/09/22/opinion/sunday/close-the-nsas-back-doors.html http://bits.blogs.nytimes.com/2013/09/10/government-announces-steps-to-restore-confidence-on-encryption-standards/

  • Ответить
    crt

    Какое принуждение к HTTPS? «Эксперты» :))) Просто гугл раньше убирал поисковый запрос из реферрера только для тех пользователей, которые залогинены в гугл (с конца 2011 года), а теперь для всех. Перевод сайта на https не поможет.