Roem.ru
Похоже, на сайте Мегафона не закрыли от индексации страницу статуса отправки смс через веб-форму. А статус содержит текст самой смски. В результате в выдаче Яндекса
Развитие событий: Поисковики спалили покупателей секс-шопа (25 июля 2011)
Похоже, на сайте Мегафона не закрыли от индексации страницу статуса отправки смс через веб-форму. А статус содержит текст самой смски. В результате в выдаче Яндекса есть и номера, и тексты смс
«Яндекс» свалил все на вебмастеров Мегафона: Яндекс индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете. В разделе отправки SMS на сайте МегаФона (www.sendsms.megafon.ru) в момент индексации по какой-то причине отсутствовал файл robots.txt. Насколько нам известно, сейчас администраторы сайта МегаФона уже установили robots.txt и закрыли этот раздел для индексации. В максимально скором времени все страницы этого раздела будут недоступны в результатах поиска Яндекса. Вебмастеров «Мегафона» жалко
Искренне надеюсь, что кто-нибудь напишет скрипт, чтобы все это осталось для потомков. С лингвистической точки зрения это — золотая жила.
господа, я все понимаю, но давайте не будем оттуда сюда смс копипастить, ладно? :) во-первых, их будет слишком много, во-вторых из Мегафона могут прийти ругаться
Что интересно, внешних ссылок на проиндексированные страницы нигде нет, значит яндекс их вытаскивал прямо с компьютеров пользователей (Яндекс.Бар отправляет яндексу урлы для индексации?)
http://www.sendsms.megafon.ru/robots.txt Disallow: /send/status/ Disallow: /error/ Disallow: /send/
начал пытаться спарсить результаты поиска)скопировал уже 20 страниц с ссылками на сообщения)
Ничего не хочу сказать, но бОльшая часть СМСок — какие-то любовные разборки, признания и прочее. Че-то тут не так…
Конечно, разборки — это же архив смс, отправленных с сайта. Оттуда как раз угрожатели и пишут, чтобы скрыть личность. Ну или для экономии.
Анонимный эксперт ленты.ру предположил что «утечка SMS могла произойти из-за установки инструмента «Яндекс.Метрика» на сайт «Мегафона», в том числе и на страницу, через которую осуществляется отправка SMS.»
Пишут вот под замком, но мысль. Дмитрий Воронов: «Мне кажется это фейк. Нету ни одной смс-ки по типу: «купи хлеба и яиц», или там «забери Вову из садика, я не успеваю». А все-какие то е******ские драмы».
Источник Ленты.ру считает, что смс утекли через Яндекс Метрику http://lenta.ru/news/2011/07/18/megafail/ КАК ЭТО??
ilyin, Добавьте в начале «купи хлеба» к запросу http://yandex.ru/yandsearch?text=%…ru*&lr=213
какую-то вы тут странную конспирологию развели. Ну вот вполне обычные бытовые смски http://gyazo.com/509674a34152cd0c731a4f54541ef29a.png http://gyazo.com/fedf6a56e2a49ae5d054b3cb2443b573.png http://gyazo.com/b1373a3a4ecaf962cac5b2bed81afad5.png http://gyazo.com/2d101b89eca4f446790006a07d9e410f.png вполне нормально, по-моему, что через сайт смски шлет молодежь, которая хочет сэкономить, что через сайт идут смс с «личными разборками» от тех, чей номер получатель заблокировал, потому что разборки ему уже надоели, и т.д.
Onlooker, очень легко! Метрика отслеживает страницу, на которой пользователь находится. Если такой страницы нет в индексе, на неё отправляется робот Яндекса. Всё логично
у меня в ленте один блоггер уже проверку сделал — позвонил по одному из номеров, зачитал женщине смску и она сказала, что действительно ее получала
Пресс-секретарь «Яндекса» Очир Манджиков заявил, что компания «изучает ситуацию». http://lenta.ru/news/2011/07/18/megafail/ Наверное, тоже зачитываются.
достаточно взгянуть на http://www.sendsms.megafon.ru/robots.txt — нет явного запрета для Яндекса
> достаточно взгянуть на http://www.sendsms.megafon.ru/robots.txt — нет явного запрета для Яндекса там есть запрет на директорию /send/
У меня есть страницы не закрытые для индексирования на которые никто не ссылается. Метрика на сайте установлена, но в индекс они не попали. Как так?
Запрет папки /send/ есть. (выше уже сказали) Правда, не факт, что он появился не после этой новости.
> перед запросом введи в формате 000-0000 не получается. Пробую на тех номерах что засветились — не фильтрует
Искренне надеюсь, что кто-нибудь напишет скрипт, чтобы все это осталось для потомков. С лингвистической точки зрения это — золотая жила. яндекс только первые 1000 результатов показывает
Один из подписчиков «Мегафона», с которым удалось связаться, говорит, что в курсе сложившейся ситуации, но опубликованное «Яндексом» SMS он не получал. Читайте далее: http://www.vedomosti.ru/companies/news/1320095/yandeks_proindeksiroval_sms_abonentov_megafona#ixzz1SSVLxhr4
Оттуда же «Корреспонденты «Ведомостей», попытавшиеся отправить SMS с сайта «Мегафона», убедились, что сообщения действительно отображаются на сайте оператора в момент отправки и некоторое время после нее (просмотреть текст может тот, кто знает адрес страницы проверки статуса отправки SMS)»
«Яндекс» свалил все на вебмастеров Мегафона: Яндекс индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете. В разделе отправки SMS на сайте МегаФона (www.sendsms.megafon.ru) в момент индексации по какой-то причине отсутствовал файл robots.txt. Насколько нам известно, сейчас администраторы сайта МегаФона уже установили robots.txt и закрыли этот раздел для индексации. В максимально скором времени все страницы этого раздела будут недоступны в результатах поиска Яндекса. Вебмастеров «Мегафона» жалко
Помните слив Wiki.yandex-team.ru в паблик? Наверное Google должен был написать следующее: Google индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Google не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете. В вики-разделе на сайте «Яндекса» (wiki.yandex-team.ru) в момент индексации по какой-то причине отсутствовал файл robots.txt. Насколько нам известно, сейчас администраторы сайта «Яндекса» уже установили robots.txt, включили доступ только из интранета и закрыли этот раздел для индексации. В максимально скором времени все страницы этого раздела будут недоступны в результатах поиска Google.
Как сказали тут у нас на кухне: если размышляешь, идти ли работать в ФСБ — вот хороший случай примерить на себя эту работу. Нравится тебе читать чужие СМСки или нет — можно понять на сайте Мегафона.
Как и в момент «всплыва» этой информации, как и сейчас страницы ([URL=http://www.sendsms.megafon.ru/send/status/6BAB104B40CE82BC/]пример[/URL]), которые были доступны в выдаче были пустыми. Вопрос: и как в индекс попали данные?
Эти страницы живут недолго. Подозреваю, что сильнее всего пострадали юзеры яндекс.бара, который тут же отдавал «Яндексу» информацию об новом урле
А вот и официальный комментарий Мегафона http://msk.corp.megafon.ru/press/information/20110718-1652.html типа, какой-то внешний администратор всё испортил, а внутренние всё починили. чего хорошего можно ожидать от людей, которые говорят «информация удалена из всех запросов» — непонятно…
Я смотрю у некоторых развился своеобразный «вуаеризм». Читать чужие смски нехорошо. Хотя и многое почерпнул из них.
Ну что… Кто-то еще не понял, что любая информация, проходящая через интернет рано или поздно (скорее рано) становится публичной? Это еще, на самом деле, цветочки. Юр, готовься к гораздо более суровым ягодкам — их есть у меня. Намекну — Google Chrome НЕЛЬЗЯ использовать в корпоративном окружении.
Если профессиональное сообщество не хочет медведевского закона о персональных данных — то можно и пиар-компанию. Через «неизвестного» «внешнего» «администратора» сайта Мегафона.
Если профессиональное сообщество не хочет медведевского закона о персональных данных — то можно и пиар-компанию. Через «неизвестного» «внешнего» «администратора» сайта Мегафона. Не слишком ли дорогая пиар-компания? Скорее всего просто косяк.
Яндекс индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете. Идиотский комментарий от Яндекса. В Гугле рассказывали, что они стараются не индексировать страницы с кредитными картами и социальными номерами (SSN) даже если те в открытом доступе и не закрыты robot.txt. Так как закрытая информация может стать открытой с точки зрения интернет доступа по ошибке или злонамеренно. Было бы неплохо если бы яндекс тоже старался выбирать, что он индексирует. А такой идиотской аргументацией «раз не закрыто, то в выдачу» можно оправдать все, что угодно и смски, и порнуху, и номера кредитных карточек НАЙДЕТСЯ ВСЕ!
Слушайте, а кто у нас обслуживает социальные коммуникации «Мегафона»? Чего Смбатян так мечется в Твиттере?
Альтер, вы случайно не домохозяйка? По вашему бравые ребята из яндекса руками проверяют каждый сайт перед индексацией?
Ха, все бодро отрапортовали об удалении информации, а смс-ки до сих пор доступны в кэше яндекса, надо только запрос чуть-чуть изменить.
мегафон дописал абзац к своему пресс-релизу, они гонят что только яндекс во всем виноват Обращаем внимание, что информация о содержании SMS-сообщений клиентов не хранится на сайте оператора. Таким образом, несанкционированный доступ к текстам сообщений наших клиентов мог возникнуть через некоторые Интернет-сервисы Яндекса. Ни в какие другие поисковые системы данная информация не попадала. http://msk.corp.megafon.ru/press/information/20110718-1652.html но это вранье, утренние сообщения можно было просмотреть на сайте оператора, еще до обнародования информации в новостях
Я знаю док, в котором они все доступны. Но никому не скажу. Ибо нефиг. jet, в Яндексе могли знать. Но в принципе, вины их тут нет в любом случае, ибо сказано: не хотите, чтобы индексировало, закрывайте в роботс. Альтер, так они и говорят: дескать, через Метрику или через Я.Бар утекло — мы как бы и невиноватые. Видимо, Роем почитали, просветились.
Кстати, столь оперативное вмешательство в поисковую выдачу со стороны Яндекса дезавуирует их прошлые и будущие тезисы про «мы не цензурируем интернет» и «мы всего лишь зеркало», и «у нас даже нет инструментов для цензуры». Когда нужно, тогда оказывается вполне себе в состоянии оперативно удалить частичку своей выдачи. Так что суды, которые будут выносить решения об удалении контента из Яндекса, могут спокойно опираться на сей факт и выдавать такие предписания.
Мегафон — после драки кулаками не машут))) А так если что СК будете друг ну друга жаловаться. Кто первый начал))) P. S. Какие все таки лохи в Мегафоне работают. Кто то в блогах заговорил про метрику и бар, а они сразу не разбираясь в свое заявление вставили. А тоже небось ходят все в костюмчиках и ездят на Бентли, стратегии решают. Тьфу. P. P. S. а в двойне лохи что так сразу не написали. Хоть как нибудь. А сразу взяли всю вину на себя. Всех уволить)))
По !моим субъективным наблюдениям — Google !мои сайты индексирует — !дней так на 7-15 раньше Яндекса. Потому с создавшегося фиаско по sms’кам, во славу новым медведовым законам о персональных — хоть по скорости индексации — надо отдать честь Яндексу. Соответствующий рекламный ролик, что ли запустить: «мы индексируем палево ещё до нажатия отправить!», прям не знаю.
Будет гут, если ситуация учтется на будущее — МегаФон и т.п. сайты-компании проведут аудит (чтобы не давать для индексации конф инфу), Яндекс — подумает как не давать в выдачу конф инфу.
Написать распознаватель для таких текстовых коллекций не проблема, ложные срабатывания не страшны, так как даже если это не коллекции смсок, такие тексты представляют малую ценность Такие случаи уже случались. И в яндексе могли предохраниться. Но зачем? Это же такая сальная тема, а народ полюбит поискать сальное.
Это типа такой перекрёстный маркетинг про хороший поиск и бесплатные смс? http://www.google.ru/search?q=sitesendsms.megafon.ru
мегафон всем абонентам заявляет что его «взломали» http://www.vesti.ru/videos?vid=349436
Ребят давно все утекло, вот сайт: http://www.smszoom.ru/ Платят на лапу админам и операторам, даж объява есть что набирают на работу, так что все под колпаком давно. Проверяла лично, на самом деле высылают 100% распечатку смс.
Игорь, Вы были правы. http://www.lifenews.ru/news/64117 Такого бреда не читал давно. Не правдоподобно и очень смахивает на медвежью услугу и отведение внимания на третьи лица.
Нет, серьезно, почему коротких сообщений вообще нет? Как будто намеренно отсеяли скриптом самую клюкву (по количеству символов в сообщении), а потом уже проиндексировали.
Яндекс может не индексировать совсем уж короткие страницы (?) Зачем в индексе: «Я дома» — если это равно запросу «Я дома», но никаких дополнительных сведений, кроме «Я дома» — не содержит вообще.
Думаю, Ильин прав — страницы с очень короткими сообщениями могли не включаться в индекс, поскольку количество «служебной» информации (навигация, копирайты в футере и так далее) на них превышало количество «уникальных данных». Таким образом, страницы воспринимались как дубли.
Там было много страниц, где в сниппете был текст с сайта, а не содержимое смс. Вполне может быть, что Яндекс не брал в сниппет короткие сообщения, а брал вместо этого «околосмсочный» текст с сайта. Те, кто парсил выдачу брали сообщения из сниппетов, соответственно все короткие сообщения могли потеряться. Более того, в сниппетах не всегда сообщения отображались целиком, если зайти в сохраненную копию, можно было увидеть больше.
Публикация в Лайфе — она о планах лубянских мудрецов. Типа того, что уголовное дело про Яндекс даст возможность боевикам зайти в компанию и спустя пару дней вообще сесть на Яндекс «крышей». «Мы будем оборонять вас от недобродетельной индексации» — ну то есть — не алгоритмы и соглашения об интернет стандартах «будут решать», что нужно индексировать. А специально обученные люди, в партикулярном платье, но с погонами.
https://spreadsheets.google.com/spreadsheet/lv?hl=ru&hl=ru&key=0AiJblV_XdOdAdC1XTTh1Z1dxMTlwa1lxd1pNZHUzQ0E&type=view&gid=0&f=true&sortcolid=-1&sortasc=true&page=-1&rowsperpage=250 Тут и короткие есть, и латиница. Не, конечно, можно сейчас придумать что сюда пишут уже не то, что было в яндексе, и это несомненно заговор.
Ну как дети малые. Давайте говорить, типа «мощность текста недостаточна для включения в основной индекс», так правильней и круче. еще не повод для Яндекса перехватывать урлы, в которых есть данные форм, отправленных юзером. Вот вам страшная тайна — Яндекс перехватывает даже ссылки со своего Директа и плодит на неумёхах тыщщщи дублей страниц в индексе, чем опускает сайты своих же клиентов в своём же поиске за их же деньги, но даёт бонусы на рекламные урлы за счёт пользовательских факторов, которые недавно притопил, т.е. и бабло отжимают и индексацию портят (что в отчётах на счётчиках твориться — отдельная тема). Вот это тема, а вы про кривые формы какие-то. А ещё они не лезут во фреймы, не подклеивают код кривых флешек к контенту и не воруют урлы.
А что имелось ввиду под сообщением? Где Хром успел отметиться? Ну что… Кто-то еще не понял, что любая информация, проходящая через интернет рано или поздно (скорее рано) становится публичной? Это еще, на самом деле, цветочки. Юр, готовься к гораздо более суровым ягодкам — их есть у меня. Намекну — Google Chrome НЕЛЬЗЯ использовать в корпоративном окружении.
> Вот это тема, а вы про кривые формы какие-то В том то и дело, что там форма не кривая, просто данные отправляются GET запросом, а не POST, это все в рамках стандарта Прежде чем собирать урлы из баров и от метрики, Яндексу следовало озаботиться, как отделить урлы, в которых есть персональные данные пользователя, когда данные вбиваются в различных формах и отправляются GET запросом. Это все из той же оперы, когда Гугл снифил открытый WiFi трафик с паролями итп.
> а почему этим Яндекс-то должен озабачиваться, а не Мегафон? 1. Речь шла про sms.prm.ru 2. Закрытие страницы от индексации и индексация данных форм, это не связанные вещи, если страница открыта в robots.txt это говорит только о том, что можно индексировать саму страницу, это не говорит что вебмастер разрешает индексировать данные пользовательских форм, они вообще никогда не должны индексироваться. Понятно, что Яндексу сложно отделить какие параметры в урле это навигация, а какие пользовательские данные, но это проблема Яндекса, не надо снифать урлы из баров и не будет такой проблемы.
> А что имелось ввиду под сообщением? Где Хром успел отметиться? Пусть немного пыль осядет. А то про Гугль в том же разрезе писать сейчас не очень хорошо получится. Но пост за мной.
сейчас яндекс все проиндексирует, и смски в ваших телефонах, готовьтесь к запуску нового продукта)))
> Понятно, что Яндексу сложно отделить какие параметры в урле это навигация, а какие пользовательские данные, но это проблема Яндекса, не надо снифать урлы из баров и не будет такой проблемы. Разделить урлы можно, достаточно не помещать в индекс те страницы, на которые никогда не было ссылок. Странно, что до сих пор это не так делается.
В том то и дело, что там форма не кривая, просто данные отправляются GET запросом, а не POST, это все в рамках стандарта А в рамках ДНК стандарт — не использовать get-формы если урл потом не должен передаваться (для поиска — хорошо, для авторизации — неприемлемо), да и хранить чужие письма и раздавать их без фильтра по кукам или айпишнику — тот ещё детсад. Технически результаты отработки get-формы и просто набор параметров скрипта не разрешимы по написанию адреса страницы. Разделить урлы можно, достаточно не помещать в индекс те страницы, на которые никогда не было ссылок. Странно, что до сих пор это не так делается. Знали б вы что творят периодически всякие эти вебдвамастера :)
> А в рамках ДНК стандарт — не использовать get-формы если урл потом не должен передаваться Мы же обсуждаем не качество и юзабилити интерфейса. Если форма соотвествует стандарту, то Яндекс должен корректно отрабатывать работу с ней и не тащить в индекс данные форм. Если не могут так сделать (технически это возможно — могли бы например парсить страницу и смотреть какие там есть элементы форм и обрезать их значения из урла), то надо ограничиваться только урлами, которые существуют в виде ссылок. > да и хранить чужие письма и раздавать их без фильтра по кукам или айпишнику — тот ещё детсад а это причем? на sms.prm.ru ничего не хранится, утекшие данные существуют только в параметрах урла
Интересно вот что: Вот например у меня кредитная карта, на ней написана последовательность символов. Эта последовательность — секрет. И вопросов это не вызывает. А вот урл. Тоже последовательность символов, моя последовательность, скажем это урл документа в гуглдокс или урл моей смс-ки. На мой вкус все это один хрен, и если ты с помощью бара, браузера или какого там аналитикса подсмотрел мой секрет, да еще и слил его, то ты казел. И неважно бинг ты, гугол, или как там еще. Вообще куда смотрят Касперкие? Почему нет продукта, который бы отслеживал мутантов, которые сливают данные? Недосмотр я щетаю.
Что касается разницы между постом и гетом. Понятно, что данные отпраленные гетом перехватить проще, и типа формы надо отправлять постом. Но это — рекомендация, призванная помочь обеспечить безопасность передачи данных. И она не означает, что данные отправленные гетом разрешается перехватывать. Это как рекомендация не оставлять свои вещи на пляже без присмотра. Нихрена она не означает, что их разрешается брать без спросу.
Это как рекомендация не оставлять свои вещи на пляже без присмотра. Нихрена она не означает, что их разрешается брать без спросу. То, что вещи лежат на пляже — так же не означает, что к вещам должен прилагаться охранник при их покупке, что вы специально не оставляли их для кого-то, что сосед по этажу не может их забрать и вернуть пьяному голому товарищу, спящему в коридоре. Но мы ж не про трусы. Значение имеет только знание «через get контент не гнать», потому что урлы раздаются браузерами и барами куда не попадя, они ловятся внешними счётчиками, они могут быть в открытой серверной статистике, в логах провайдерских проксей всех уровней и т.п. С точки зрения оптимизаторской практики — использовать параметры в урлах вообще плохо, потому их тяжело контролировать, перепроверять, блюсти корректность значений и обработки, если изначально такая задача не ставилась. И robots.txt, мета-теги, линк-каноникалы, саймапы и прочее в определённым момент перестают спасать, но 99% проблем решают. Если герои смсочного дня нанимают глупых людей — это проблемы нанимателей, а не Яндекса. У данных есть простое свойство — если их не прячут, значит они открыты.
А это уже как сложилось в праве той или иной страны. Если кто-то когда-то пробьет через все ветви законодательной власти закон о том, что нельзя без письменного разрешения владельца копировать в поисковую систему данные с сайта, как это запрещено делать с музыкой, то так тому и быть. Всем поисковикам придется взять под козырек. Гуглу к особым режимам функционирования и обращения с информацией в разных странах уже не привыкать, а вот Яндексу пора это блюдо отведать, чтобы быть готовым к различному в своей экспансии на международный рынок. После выхода на ипо, ох, сколько юристов поставили себе на заметку эту компанию. Надо делится, думают они и строчат свои запросы в прокураторы, суды и прочие инстанции. Велком ту хелл!
нет тут судебной перспективы, даже в в отношении Мегафона. Может будет наезд государства, может нет. СК в роботс.txt копаться не будет, сразу всем выговор с занесением. Но я думаю дело затухнет — нет никому выгоды. СК и ФАС еще в первый день свой пиар «защитников народа» отработали. Ну то есть если конечно если очередного ооротня в погонах сажать не будут могут от нечего делать мегафон с яндексом и поставить в угол.
> У данных есть простое свойство — если их не прячут, значит они открыты. Это не так. В гуглдокс, например, есть две такие на первый взгляд идентичные опции для документов. Это «общедоступно» и «открыто для пользователей у которых есть ссылка». Документы, сохраненные с первой опцией, — попадают в индекс, вторые — нет, нет до тех пор пока ссылка не появится где-нибудь. > они могут быть в открытой серверной статистике, в логах провайдерских проксей всех уровней Если ссылки были взяты из открытых источников, например из выдачи гугла или бинга, то вопросов нет. Если из бара, браузера или метрики, то это ничем не отличается от использования трояна для получения приватной информации, и это — уголовщина. > То, что вещи лежат на пляже — так же не означает, что к вещам должен прилагаться охранник Вот вам еще пример пораскинуть мозгами: Вы хозяин злой и глупой собаки. Что правильней, купить намордник, или убедить людей прятаться по углам?
вторые — нет, нет до тех пор пока ссылка не появится где-нибудь Если ссылки были взяты из открытых источников, например из выдачи гугла или бинга, то вопросов нет. Если из бара, браузера или метрики, то это ничем не отличается от использования трояна для получения приватной информации, и это — уголовщина. Ну вот такие методы получения данных у поисковиков, видать не просто так. Я не очень понимаю зачем вы пытаетесь продвинуть идеальную картину мира, которая невозможна чисто из-за генетической природы этой самой картины. Вот вам еще пример пораскинуть мозгами: Вы хозяин злой и глупой собаки. Что правильней, купить намордник, или убедить людей прятаться по углам? Почему только два варианта? И с неправильной постановкой вопроса? Своя за месяц станет шелковой, от чужой сделаю собачью оптимизацию.
> У данных есть простое свойство — если их не прячут, значит они открыты. [URL=http://en.wikipedia.org/wiki/Security_through_obscurity]Security through obscurity[/URL] Интересно, что в этом треде еще не обсудили тему влияния поведенческих факторов на Я. Сообщение появится на сайте в течение 40 секунд. Отменить публикацию можно с помощью ссылки UNDO
> Я не очень понимаю зачем вы пытаетесь продвинуть идеальную картину мира, которая невозможна чисто из-за генетической природы этой самой картины. Я тоже этого иногда не понимаю. Здесь наверное мне неприятно, что большие обижают маленьких. Что-то из этой серии. Но я могу потерпеть эту несправделивость. И просто забить тоже могу. И даже уже забил. :)
>Разделить урлы можно, достаточно не помещать в индекс те страницы, на которые никогда не было ссылок. >Странно, что до сих пор это не так делается. Если так делать, сильно упадет качество по запросам с интентом «свежести», QDF (query deserves freshness), т.к. отследить появление ссылки в навигации сайта в реальном времени невозможно, в отличие от..
Если так делать, сильно упадет качество по запросам с интентом «свежести», QDF (query deserves freshness), т.к. отследить появление ссылки в навигации сайта в реальном времени невозможно, в отличие от.. Улучшать свое качество, игнорируя нарушение чужой приватности конечно можно, только оно как-то плохо пахнет.
Если так делать, сильно упадет качество по запросам с интентом «свежести», QDF (query deserves freshness), т.к. отследить появление ссылки в навигации сайта в реальном времени невозможно, в отличие от.. Кстати можно такую фичу сделать в Я.Вебмастере — показывать страницы в индексе на которых нет внешних/внутренних ссылок. Если таких страниц много — это явные проблемы на сайте.
У Яндекса, как и у Гугла, наверняка есть ограничения, накладываемые на формат урлов, попадающих в real-time поиск. Я не помню, чтобы возникали проблемы с индексацией ссылок, подтверждающих отписку от рассылки, подтверждение регистрации, и.т.д. По формату урлов мегафоновских смс нереально понять что там содержится приватная информация. Но сейчас уже наверняка добавили этот случай в исключения. Такие проблемы будут подниматься в будущем все чаще и чаще, т.к. ПС обзаводятся своими браузерами и операционными системами (ну или операционки обзаводятся поисковиками -) ), дающими возможность частично индексировать так называемый deep web.
Если таких страниц много — это явные проблемы на сайте. Упаси Господь узнать, что Вы из Сортировочной :) Я не помню, чтобы возникали проблемы с индексацией ссылок, подтверждающих отписку от рассылки, подтверждение регистрации, и.т.д. Чиста экспромт: http://yandex.ru/yandsearch?text=inurlunsubscribe+inurlmail.ru&clid=46510&lr=213
@dima5ty Тогда уж [URL=http://yandex.ru/yandsearch?text=inurlunsubscribe++++&clid=46510&lr=213]как-то так[/URL], или [URL=http://yandex.ru/yandsearch?text=++++mail.ru&clid=46510&lr=213]так[/URL]. В вашем примере страницы со ссылками на отписку, в моем страницы с информацией о том что юзер успешно отписан. Если бы Яндекс свободно индексировал такие ссылки, то результатов было бы гораздо больше. К тому же, для того чтобы поисковик зашел на такую страницу, предварительно на нее должен зайти пользователь и отправить урл поисковику. Т.е. в крайнем случае поисковик отпишет пользователя еще раз — ничего страшного.
Если бы Яндекс свободно индексировал такие ссылки, то результатов было бы гораздо больше. К тому же, для того чтобы поисковик зашел на такую страницу, предварительно на нее должен зайти пользователь и отправить урл поисковику. Т.е. в крайнем случае поисковик отпишет пользователя еще раз — ничего страшного. Всё так. У меня тогда уточняющий вопрос: какие такие проблемы с индексацией и ограничения имелись ввиду в предыдущем Вашем посте? Ограничений и проблем как Вы сами выяснили нет. Так ведь? У Яндекса, как и у Гугла, наверняка есть ограничения, накладываемые на формат урлов, попадающих в real-time поиск. Я не помню, чтобы возникали проблемы с индексацией ссылок, подтверждающих отписку от рассылки, подтверждение регистрации, и.т.д.
>Ограничений и проблем как Вы сами выяснили нет. Так ведь? Нет, не так. Я выяснил только что «проблемных» документов, сгенеренных сервером после клика на ссылку «отписаться от рассылки», в индексе очень мало. Это как раз говорит о том, что ограничения скорее всего есть.
Нет, не так. Я выяснил только что «проблемных» документов, сгенеренных сервером после клика на ссылку «отписаться от рассылки», в индексе очень мало. Можно подкорректирую? В пользовательском индексе. Про правильность корректировки Вы и без меня знаете, наверняка. Это как раз говорит о том, что ограничения скорее всего есть. Ну вот не представляю, как при наличии ограничений в индекс (даже просто в краулер) может попасть хоть одна подобная страница. Вот если снизу прям начинать — то одно из самых первых ручных правил для отработки таких урлов — это слово «unsubscribe» и символ собаки. И где оно это правило заплутало тогда?
Вот я не понял, чего все парятся. Это же смски! Ну разве вы не знали, что они передаются в эфире без шифрования трафика и доступны любому любознательному школьнику, который не пожалел денег на китайскую радиоплату. Прям как дети, ей богу.
Если бы только мегафон. http://yandex.ru/yandsearch?text=&site=sms.prm.ru&lr=213