UPDATED: «Яндекс» раздал трафик Гуглу и Мейлу

С 17 часов 19 августа сервисы «Яндекса» недоступны для пользователей Интернета, проблемы с доступом возникли не только к проектам самого «Яндекса», но и к тем сайтам, которые размещают у себя внешние коды проектов «Яндекса» — карты, Яндекс.Директ, Метрика и другие. В московском офисе компании также пропал доступ к интернету.

Аудитория поиска почти равномерно распределилась между поисковыми системами Google и Mail.ru — по данным Liveinternet.ru, Google стал раздавать на 11000 больше переходов на сайты Рунета в минуту по сравнению с обычными значениями, а Mail.ru на 9000 больше переходов.

На момент публикации материала было частично восстановлено функционирование главной страницы сайта и ряда других сервисов.

UPD: В корпоративном блоге Яндекса появилась информация о причинах сбоя:

Проблема вызвана ошибкой программного обеспечения на маршрутизаторе, расположенном в нашем новом дата-центре в Амстердаме. В Яндексе используются протоколы маршрутизации — внутренний протокол OSPF и внешний протокол BGP. Из-за ошибки информация обо всех внешних маршрутах оказалась во внутренних таблицах маршрутизации. Это примерно на три порядка больше маршрутов, чем обычно. Протокол OSPF не рассчитан на такое количество. В результате у всех маршрутизаторов кончилась память, и они перестали работать. Нарушилась работа сети, и через несколько минут Яндекс стал полностью недоступен.
Внутренняя сеть тоже не работала. Поэтому нашим специалистам потребовалось потратить много времени для того, чтобы по цепочке добраться до источника проблемы.
Администраторы исправили ошибку на маршрутизаторе. После этого, чтобы снять лишнюю нагрузку с остальных маршрутизаторов, которых у нас больше сотни, нашим специалистам пришлось разделить сеть на несколько частей. Количество трафика снизилось, у маршрутизаторов появилось больше свободной памяти, и они смогли самостоятельно восстановить связность сети.
Сеть начала постепенно подниматься. Через некоторое время сервисы Яндекса стали доступны большей части пользователей.

Лучшие комментарии

  • Контекст комментария

    Деомид Рябков

    sinodov> Просто иногда, относительно редко, юзеру показывали «ничего не найдено». имхо, реакция пользователей ПС на «сайт не грузится» и «ничего не найдено» будет сильно отличаться. пользователи, на самом деле, весьма терпимы к падениями сайтов, а вот «ничего не найдено» — это, фактически, признание поражения ПС (даже если на самом деле это означает лежащий бэкенд, о чём пользователь не догадывается). после этого пользователь идёт в другую ПС, находит там что нужно и фиксирует, что ПС1 ничего не нашла, в то время как ПС2 нашла => ПС2 лучше ПС1. всего пара таких примеров и пользователь будет начинать сразу с ПС2, минуя ПС1. в общем, я не думаю что двухчасовое падение отобьёт у яндекса сколь-нибудь значительное число пользователей.

  • Контекст комментария

    Юрий Синодов Основатель Roem.ru, sinodov.com

    Маршрутизация: http://www.facebook.com/ochirman/posts/2317682107151 Очир Манджиков: У нас возникла внутренняя проблема, связанная с маршрутизацией в сети. Хочу опровергнуть все домыслы: не было никакой DDoS-атаки или пожара. Все наша дата-центры работают в штатном режиме. Наши специалисты работают над устранением последствий проблемы.

  • Контекст комментария

    streampp

    Причем интересно наблюдать, как пытаются починить. Маршрут идёт то через RETN, то через Голден, то через Питер, то через Европу. Но так и не доходит до конца. Видимо обходные маршруты не выдерживают нагрузку и так по кругу.

Добавить 97 комментариев

  • Ответить
    Альтер Эго

    Сайты с РСЯ грузятся через раз. А Рамблеру надо было [URL=http://www.liveinternet.ru/stat/ru/mins.html?slice=Google]Гугл[/URL] ставить.

  • Ответить

    Действительно, последние полчаса лежит всё, что связанно с Яндексом, включая даже jabber.ru. Иногда также не грузятся счётчики с bs.yandex.ru, что привело к подвисанию половины сайтов, на которых стоит счётчик, и которые поставили его синхронную загрузку где-то в начале страницы. Похоже на какую-то глобальную проблему. Хотелось бы услышать комментарии от компании.

  • Ответить

    Кстати, полагаю, именно по этой причине (падения Яндекса) лежала и морда Рамблера в соседней новости (http://roem.ru/2011/08/19/addednews34246). Но ребята что-то там быстренько подкрутили, и теперь у Рамблера морда работает, правда на любой поисковый запрос отвечает «Искомая комбинация нигде не встречается.» Как-то не вовремя они поиск сменили… :)

  • Ответить
    Альтер Эго

    А я-то думаю че с народа файл скачать немогу. Думал опять у меня инет упал, перегрузил модем и тоже самое. А тут, вон-оно чё?!

  • Ответить
    Альтер Эго

    Позвонил в яндекс, причину сказать отказались, но сказали что специалисты вовсю ведут технические работы, и в ближайшее время все заработает

  • Ответить
    Альтер Эго

    > А как посмотреть курс акций яндекса? Уже есть движения? -) [URL=http://www.google.com/finance?client=ob&q=NASDAQ:YNDX]Растет[/URL]

  • Ответить

    Причем интересно наблюдать, как пытаются починить. Маршрут идёт то через RETN, то через Голден, то через Питер, то через Европу. Но так и не доходит до конца. Видимо обходные маршруты не выдерживают нагрузку и так по кругу.

  • Ответить
    Альтер Эго

    проблема появилась раньше 17, где-то в 16:40 уже не было (провайдер — акадо) при этом traceroute работал

  • Ответить

    Матрикс.нет все осознал, решил наложить на себя руки и забрать с собой «папу» :) Надеюсь теперь высокомерия у Яндекса поубавится и рассуждать о том каким дОлжно быть Рунету они будут спокойнее.

  • Ответить
    Альтер Эго

    по заверениям Яндекса все инженеры «Яндекса» работают над проблемой, информацию о возможной DDOS атаке прокомментировать не смогли

  • Ответить
    Руслан Левиев Фонд борьбы с коррупцией

    «Говорят, что Яндекс забыл выложить robots.txt и начал сам себя индексировать… Тут то все и началось» via [URL=http://twitter.com/#!/chebanovs/status/104546728350449664]@chebanovs[/URL]

  • Ответить
    ak

    Так, а что показывает tracert? кто-то может более подробно объяснить? типа «вот такой-то маршрут значит то-то». Скажем, у меня сейчас маршрут проходит через яндексовские подключения к MSK-IX (m9/m10)и дохнет. А трейс из франкфурта через telia успешно приводит в яндекс через подключение к telia/m9. Т.е. какбы получается, что сдохло что-то в Moscow Internet Exchange (MSK-IX). Кто-то же должен понимать, как все эти эксчейнджи физически устроены и почему из телии яндекс есть, а из какой-нибудь евразии-телеком через MSK-IX — нет?

  • Ответить
    Юрий Синодов Основатель Roem.ru, sinodov.com

    Маршрутизация: http://www.facebook.com/ochirman/posts/2317682107151 Очир Манджиков: У нас возникла внутренняя проблема, связанная с маршрутизацией в сети. Хочу опровергнуть все домыслы: не было никакой DDoS-атаки или пожара. Все наша дата-центры работают в штатном режиме. Наши специалисты работают над устранением последствий проблемы.

  • Ответить
    Альтер Эго

    это ж фейсбук, права доступа посложнее чем в линухе, сам зукерберк не знает как чо настраивать

  • Ответить
    Дмитрий Щипунов ООО "Веб-формат"

    У меня в результатах поиска по сайту, стоит Директ поисковый, в который встроена метрика. Тока что от метрики СМС прилетело, типа мой сайт недоступен, проверяю, все работает, Директа в результатах поиска нет, видимо чинят…

  • Ответить

    Да ладно вам, Google иногда тоже падает. Это типичная проблема. Интересно, что Поиск@Mail.ru в Пике вырос аж до 2 раза (+10 000 просмотров) до 20 000 просмотров в минунуту. В абсолютных числах он с гуглом вырос почти одинаково, а в относительных заментно больше. Интересно, что всего Яндекс потерял 70000 в минуту, из них 10 пошли на Мэйл, чуть больше на Гугл, остальные 50 000 либо не знают о существовании других, либо предпочли подождать.

  • Ответить

    > типичная проблема Тем не менее, это самое продолжительное падение за всю историю Яндекса. Будем надеяться, что они не станут пытаться бить рекорды. ;) umkalive, угу. Почему не работает Яндекс.

  • Ответить

    По моим данным тоже выходит, что половина трафика пошла в обход, а половина тупо пропала. А вообще интересно будет убедиться в том, что кратковременные падения никак не влияют на предпочтения пользователей. Ну, упало и хрен с ним, подымется. А то развелось тут умников, раздувающих из мухи слона.

  • Ответить
    Юрий Синодов Основатель Roem.ru, sinodov.com

    Есть пример «Рамблера», у которого постоянные отказы от обслуживания кончились известно чем. При этом там многочасовых аварий не было (по-моему в «Рамблере» последний значимый простой пришёлся на период московского блэкаута). Просто иногда, относительно редко, юзеру показывали «ничего не найдено». Ну он шёл и искал другим поиском. Понятно, что единичная авария не будет иметь столь фатальных последствий, но, вообще-то, у «Яндекса» сейчас доля рынка странно выглядит — http://www.liveinternet.ru/stat/ru/searches.html?slice=ru;id=13;period=month — они получат (и получили бы и без аварии, кстати) антирекорд по доле за последние полтора года.

  • Ответить
    Альтер Эго

    А вообще интересно будет убедиться в том, что кратковременные падения никак не влияют на предпочтения пользователей. Ну, упало и хрен с ним, подымется. А то развелось тут умников, раздувающих из мухи слона. Ну…вот, например, у гугла доля как вчера выросла, так и держится сегодня. mail.ru откатился к прошлому значению, а гугл нет. А яндекс ведь поднялся еще до конца суток вчера… http://www.liveinternet.ru/stat/ru/searches.html?slice=rus

  • Ответить

    Интересно, что всего Яндекс потерял 70000 в минуту, из них 10 пошли на Мэйл, чуть больше на Гугл, остальные 50 000 либо не знают о существовании других, либо предпочли подождать. то есть только 2/7 осознанно пользуются Яндексом. 5/7 пользуются окошками в браузере и если окошки не работают, то переключаться не умеют — типа смерть интернета

  • Ответить

    sinodov> Просто иногда, относительно редко, юзеру показывали «ничего не найдено». имхо, реакция пользователей ПС на «сайт не грузится» и «ничего не найдено» будет сильно отличаться. пользователи, на самом деле, весьма терпимы к падениями сайтов, а вот «ничего не найдено» — это, фактически, признание поражения ПС (даже если на самом деле это означает лежащий бэкенд, о чём пользователь не догадывается). после этого пользователь идёт в другую ПС, находит там что нужно и фиксирует, что ПС1 ничего не нашла, в то время как ПС2 нашла => ПС2 лучше ПС1. всего пара таких примеров и пользователь будет начинать сразу с ПС2, минуя ПС1. в общем, я не думаю что двухчасовое падение отобьёт у яндекса сколь-нибудь значительное число пользователей.

  • Ответить

    > в общем, я не думаю что двухчасовое падение отобьёт у яндекса сколь-нибудь значительное число пользователей. Падение было 5часовое. То, что через 2 часа стало на каких-то айпиiниках пробиваться — не в счет. У меня, к примеру, родители добавили гугл на панель закладок. До этого они даже не знали, что это такое.

  • Ответить

    > у гугла доля как вчера выросла, так и держится сегодня Доля гугла в выходные и ночью всегда выше. Смотрите почасовой график Яндекса: http://www.liveinternet.ru/stat/ru/hours.html?slice=yandex;date=2011−08−20 Какой был «в среднем в субботу», такой и есть в эту субботу, с небольшим увеличением. Такая же стабильность у Гугла: http://www.liveinternet.ru/stat/ru/hours.html?slice=Google;date=2011−08−20

  • Ответить

    > Есть пример «Рамблера», у которого постоянные отказы от обслуживания кончились известно чем. Этот факт придумали в поисках причины кончины. На самом деле чтобы спугнуть юзера частота отказов сервиса должна быть сравнима с частотой отказов среднего провайдера. Проще говоря, если у вас интернет в офисе падает раз в неделю, а любимый сервис глючит пару/тройку раз в год — не сцыте за любимого, он конечно не ангел, но жить будет.

  • Ответить

    2artemkv > На сайте MSK-MX написано, что они предоставляют «provides peering services [. и] >distributed switching infrastructure», а не каналы. Всё правильно. Яндекс пирится со всеми ведущими российски провайдерами. И на m9 и на m10 > Аплинки Яндекса, судя по всему, перечислены тут: https://apps.db.ripe.net/whois/lookup/…13238.html Какие-такие аплинки? Нет у Яндекса никаких аплинков и быть не может! Яндекс не подключен к интернету никакими провайдерами. Яндекс — это часть интернета, доступная с тех или иных концов света благодаря пирингу с другими сетями при помощи динамической маршрутизации, которая и полегла.

  • Ответить
    Альтер Эго

    Скорее всего сейчас они прилагают очень много усилий, чтобы это история не попала в англоязычные новости и блоги.

  • Ответить
    Альтер Эго

    > Есть пример «Рамблера», у которого постоянные отказы от обслуживания кончились известно чем. > Этот факт придумали в поисках причины кончины. На самом деле чтобы спугнуть юзера частота отказов сервиса должна быть сравнима с частотой отказов среднего провайдера. Факт нельзя придумать. Это так, для сведения. Падал Рамблер каждый день по несколько раз. Это тоже так, для сведения.

  • Ответить

    > Факт нельзя придумать. В современной философии науки распространены две основных концепции факта: фактуализм и теоретизм. Первая утверждает автономность фактов по отношению к теории, подчеркивая независимость формулировки фактов от теоретических построений. Согласно второй, факты полностью зависят от теории, в зависимости от выбора теоретической позиции, факты могут изменяться. Распространены и подходы суммирующие в себе две указанные концепции и признающие одновременно теоретическую нагруженность фактов и их автономный по отношению к теории характер. Для сведения: http://ru.wikipedia.org/wiki/ ЗЫ Я узнал Вас в гриме.

  • Ответить
    Альтер Эго

    Вы свою задницу не узнаете в гриме. С другой стороны, сотрите же уже грим, зачем вы пытаетесь узнавать кого-то в гриме?

  • Ответить

    Сударь, Вы невежа. :) UPD: Синонимы грубиян, мужлан; книжн.: плебей; частичн., шутл.: шариков, обормот, охламон; бран.: скотина, хам, хамло; частичн.: лапоть, простец, троглодит, невоспитанный, некультурный, неотёсанный; разг., сниж., устар.: вахлак

  • Ответить
    Альтер Эго

    >> Есть пример «Рамблера», у которого постоянные отказы от обслуживания кончились известно чем. >Этот факт придумали в поисках причины кончины. Причём придумал человек, не имевши никакого отношения к рамблеру, а очень даже к мейлу.

  • Ответить
    Альтер Эго

    О, началось мифостроительство. Задним числом. А что, рамблер не падал каждый день и не отвечал «ничего не найдено»?

  • Ответить
    Альтер Эго

    По-моему, мы имеем дело с глупым упертым программером. Дифайн ему. Щаз. Это известная история. каждый день, несколько раз, в течение нескольких минут, поисковик рамблера отвечал на любой запрос люьбому пользователю «ничего не найдено».

  • Ответить

    @Alter Ego, вас там много, что ли? Под падением можно понимать что угодно: падение головы рамблера, недоступность сети как было у яндекса, недоступность отдельных проектов, некорректная работа отдельных проектов и т. д. Теперь понятно, что речь про поиск, который был доступен, но результаты отдавал кривые.

  • Ответить
    Альтер Эго

    Имя нам — легион. да, поиск был доступен, то есть строку поисковую показывал. Только не работал ни хера.

  • Ответить
    Альтер Эго

    >Только не работал ни хера. Дак что отвечал-то? «Я не работаю»? «Поиск недоступен»? «Ничего не найдено»? Почему вы мне не отвечаете? :-(Я разговариваю с поиском Рамблера? :-(

  • Ответить
    Альтер Эго

    Уважаю яндексовские маршрутизаторы. Падают в то время как на бирже прекратились торги и все трейдеры уехали отдыхать. Иначе падали бы не только маршрутизаторы, а и стоимость акций Яндекс. Какая сознательность! Искусственный интеллект! Надеюсь маршрутизаторы в награду получат благословенный Опцион.

  • Ответить
    Альтер Эго

    Это может быть связано с вчерашним падением курса Яндекса? Яндекс упал на три процента, в то время как в целом рынок рос.

  • Ответить
    Альтер Эго

    альтер, не пишите глупостей Oracle, Microsoft, Google, Apple, Nokia, Lenovo, Intel выросли. Dow Jones, NASDAQ вчера росли. Илья с Аркадием, это опять вы под именем альтер-эго на роеме шалите?

  • Ответить
    Альтер Эго

    Илья с Аркадием, это опять вы под именем альтер-эго на роеме шалите? Нет, это Ларри с Сергеем Курс Яндекс по-прежнему падает, сегодня за час на три процента скатился и уже 28.14.

  • Ответить

    Сегодня впервые получил на электронку письмо от Яндекса. Раньше такого не было. Вот текст: Добрый день! Мы приносим вам свои извинения за сбой, который произошёл на Яндексе в пятницу 19 августа, и привёл к проблемам с загрузкой сайтов некоторых партнёров. Проблема была связана с маршрутизацией в сети Яндекса, технические подробности произошедшего мы описали в нашем блоге. На возобновление работы всех сервисов нашим специалистам потребовалось несколько часов, и нам очень жаль, что в течение этого времени код Рекламной сети Яндекса препятствовал загрузке партнёрских сайтов. Сейчас проблема полностью устранена, никакие данные не потеряны. Все сервисы, в том числе Рекламная сеть, работают исправно, и вы можете вернуть рекламный код на свой сайт. Для всей компании «Яндекс» это неординарная ситуация, но благодаря ей мы выявили уязвимость и предприняли необходимые действия — чтобы подобного уже никогда не повторилось. Мы благодарны вам за понимание и еще раз приносим вам свои извинения. — С уважением, Рекламная сеть Яндекса

  • Ответить
    Юрий Синодов Основатель Roem.ru, sinodov.com

    Ну очевидно — компаниям, многим, работоспособность своих сайтов часто важнее, чем доход от Яндекс.Директа Соответственно, партнеров надо успокоить и показать, что такого больше не будет.