Qrator Labs рассказали, как крупнейший российский интернет-провайдер Ростелеком 1 апреля 2020 года, ошибкой в конфигурациях сети, развалил маршруты между Akamai, Cloudflare, Hetzner, Digital Ocean, Amazon AWS — крупнейшими облачными провайдерами мира.
"Ошибка, которую допустил Ростелеком, отлично иллюстрирует насколько хрупкой сущностью является стандартизированная IETF BGP-маршрутизация и, особенно — в такие стрессовые с точки зрения роста объема трафика времена, как сейчас".
"[Она] была настолько серьезной, что почти все Tier-1 операторы были задеты аномалией. […] Интернет моргнул".
Telegram канал ЗаТелеком сообщил:
1 апреля 2020 года, примерно в 19:28 UTC, Ростелеком (AS12389) - анонсировал префиксы, принадлежащие известным интернет-игрокам: Akamai, Cloudflare, Hetzner, Digital Ocean, Amazon AWS и еще кого-то.
В итоге, операторы, которые имеют связность с автономной системой AS12389 (а их оказалось аж 8870 сетевых префиксов, принадлежащих почти 200 автономным системам), стали пропускать трафик не прямо к искомым Akamai, а завернули маршруты на Ростелеком. Но не все... Большинство быстро сообразили, что происходит что-то не так, но некоторые не успели.
Это не привело к перегрузке каналов потому что инженеров РТК быстро оповестили об ошибке и все быстро-быстро исправили. На скринкасте (оригинал тут (https://stat.ripe.net/widget/bgplay#w.resource=2.17.123.0/24)) видно, что бардак творился меньше часа, но сеть немного лихорадило. Где-то рвались сессии, где-то плакали маленькие дети без мультиков.
Почему так произошло — должен писать Ростелеком.
Добавить 3 комментария
На счёт того, что «бардак творился меньше часа» — сказочка для детей. Два дня ничего не работало, при пинге 60% пакетов терялось на Hetzner. В итоге, все свои сайты перенёс в другой датацентр. Теперь, знаю кого благодарить.
Ну, может быть там было несколько бардаков
Да, многие последние дни жаловались на тяжелую доступность германских датацентров из России.