Габриелян (Mail.ru Group): требования ФСБ-Минкомсвязи по контролю за трафиком невыполнимы

Странно слышать такое от Габриеляна, в mail.ru ведь горизонтальная масштабируемость вдоль и поперек.

Нда… Торрент-трафик на защите конституции РФ :)

«Существование оборудования, которое способно записывать данные со скоростями, подходящими для таких объемов трафика, сомнительно, так как ни сетевое оборудование, ни текущие системы хранения данных не позволяют отписывать трафик со скоростью 0,4-0,5 терабита», 1) http://www.cybersecurity.ru/crypto/182581.html 2) http://tasstelecom.ru/news/one/21655 3)http://tasstelecom.ru/articles/one/3448

если фсб настоят им весь этот трафик придется рандомно генерить ) все равно фсб не способно там что-то найти будет )))

>все равно фсб не способно там что-то найти будет ))) о, да. там ведь одни идиоты работают, которые не способны даже дампы открыть

касательно невозможности записи, несколько готовых примеров http://www.norsi-trans.ru/pdetail/yahont-sorm3/ http://www.mfisoft.ru/products/sorm/sorm3/yanvar

Альтеры, хватит ссылочками кидаться. Вы сможете построить комплекс не из СОРМа, который ставят региональные операторы, а из хорошего ПО и железа, который будет писать 50 млн. пользователей Интернета ежедневно и сохранять это?!

Ну вот давайте прикинем. 1) Вот есть английские данные (двухлетние уже), что средний broadband user потребляет 17GB в месяц, а средний юзер со 100-мегабитным соединением — 130Gb в месяц. Или 4Gb в день, возмем это как оценку сверху. Мобильные потребляют сильно меньше. 2) Да, есть peak hours (с 20 до 24), давайте считать что все свои 4Gb этот пользователь потребляет за эти 4 часа. Гигабайт в час. 3) Лимитирующий фактор — скорость записи на один дисковый шпиндель. Оценим как 100Mb/sec (близко к правде) или 360 гигабайт в час. Т.е. на один шпиндель поедет 360 пользователей. 4) За интересные нам 4 часа (хранить надо всего 12 часов, если суточное потребление размажется на них — задача только упростится) мы запишем 1.5TB. 5) 2-Tb ‘raid edition’ стоит ~$180 (чуть меньше, но для удобства подсчета пусть будет так). 50 центов с юзера на дисковый сторадж. Это с того юзера, который на сотке сидит т.е. платит ~$40 в месяц провайдеру (а 50 центов — не в месяц, а вообще) Результирующее решении (горизонтально масштабируемое, заметим) будет, естественно, состоять не только из дисков и будет, прикидывая хрен к носу, в 20 раз дороже, чем содержащиеся там внутри диски. $10 с юзера. Плюс, конечно, эксплуатация. Но в расчете на юзера получается не бог весть что. Это я еще дедупликацию не учел. Потому что и торрент-блоки и ролики с youtube и прочее онлайн-кино (основные источники толстого трафика) — они у всех получателей одинаковые и писать их нужно только один раз. С дедупликацией будет сильно сложнее, но на все решение — дешевле. Да, поиск в этих данных я никоим образом не рассматривал, задача — «писать» P.S. Если вы оцените объемы голосового трафика (9килобит/sec, да?), то поймете, что писать и хранить больше 12 часов — никакая не проблема.

Да, вдогонку про торренты. Эта хрень, конечно же, должна быть торрент-клиентом (пиром). И удовлетворять запросы ближних к ней пользователей (которых она пишет) на запрошенные блоки (если они там внутри есть). А если нет — скачивать их с пользователя. Как сайд-эффект, торренты будут качаться на wire speed и юзеры будут абсолютно счастливы. Аналогично и с видео. Хреновина должна работать как CDN для youtube и прочих онлайн-видео.

Это с того юзера, который на сотке сидит т.е. платит ~$40 в месяц провайдеру (а 50 центов — не в месяц, а вообще) … прикидывая хрен к носу, в 20 раз дороже, чем содержащиеся там внутри диски. $10 с юзера. Плюс, конечно, эксплуатация. Но в расчете на юзера получается не бог весть что. ну, как бы, даже однократные 300р на юзера это заметно портят экономику оператору. но, «Плюс, конечно, эксплуатация», выпала из расчетов :-) а там будут «электричество, площади ДЦ, замены железа и админы с инженерами» я боюсь,, что это совсем не копейки.

> Вы сможете построить комплекс не из СОРМа, который ставят региональные операторы, а из хорошего ПО и железа, который будет писать 50 млн. пользователей Интернета ежедневно и сохранять это?! А зачем эти отчаянные знаки пунктуации в конце? Да, это не очень трудно и не очень дорого. Вот Лёха, например, может построить. И получится это в 10 долларов на одно рыло пользователя в год. Ну или 20. При сборах с него на порядок или полтора больше. И это ведь Лёха для простоты принял, что мы храним ВЕСЬ трафик пользователя. Что, конечно, угар и жесть. Хранить картинки и видео — необязательно, достаточно адреса. Запись всех разговоров с мобильников (голоса) обойдётся ещё на порядок дешевле. Вы вообще, похоже, не очень чувствуете размеры и глубины Интернета. Вот вам не приходило в голову, например, что Гугл хранит минимум четыре полных копии всего Интернета? А Яндекс — минимум 4 копи всего Рунета? Ну и естественно, поисковик сохраняет всю активность десятков миллионов пользователей за сутки, но не забывает через 12 часов, а хранит архив всего этого на годы назад.

@lexa, а тепер посчитаем стоимость обслуживания, каналов, ПО, инженеров для постоянного масштабирования и увеличения размеров и мощности этого ДЦ. А также как всю эту информацию от разных провайдеров отслеживать единовременно и синхронно? Трафик у пользователя ниже чем вы указали. Но он действительно растет на 30-50% в год. По ряду категорий пользователей в 300-500% в год (HD, а теперь еще и появляющийся 4K).

Кирилл, нет же никаких требований всё это централизовывать и синхронизовывать.

> По ряду категорий пользователей в 300-500% в год (HD, а теперь еще и появляющийся 4K). и сколько в этом HD, а теперь и 4k уникального трафика? в 4k домашнее видео часто передают?

@Игорь, я общаюсь с двумя провайдерами. По их мнению вся эта затея выльется в их затраты в указанные вами $20 с человека в год, а может и $40. Также все сомневаются что хранение будет на 12 часов. Оно не имеет смысла. 4-6 месяцев минимум. И есть сомнения что этим побором ограничится все. Появится новая версия СОРМ за которую нужно платить вновь, обеспечение подключения ФСБ регионального, а то и центрального к данным нового СОРМ на космических скоростях и т.д. Что такое 600 рублей для провайдера? Это очень значительная часть дохода с пользователя в годовом разрезе.

> и сколько в этом HD, а теперь и 4k уникального трафика? в 4k домашнее видео часто передают? В HD уже подавляющее большинство того что тащится из США (сериалы, кино), а это сейчас доминанта видеотрафика.

не понял. если сериалы и кино, то они одинаковые для всех абонентов. значит подавляющее большинство трафика писать не надо?

Каналы — не нужны, ставиться то будет у операторов, весь канал — проводок от свитча (зеркального порта) до прибора. Видеотрафик, включая HD, — не слишком уникален. Эксплуатация — да нужна. Но если хранить надо 12 часов (как в обсуждаемом предложении), а вся выборка — дамп для конкретного IP, — то задача не выглядит нереализуемой.

задача не выглядит нереализуемой. Реализовать, конечно, можно что угодно. Где деньги, Зин? Мироеды-операторы нынче на сухом пайке. Повышать тарифы — рискнут не многие, еще порезать косты — большинство. А потом мы будем удивляться, ничего не работает, а в саппорте не берут трубку.

Во, заметили, сотрудники Ашманова уже и проект разработали под дальнейшее финансирование.

Я — не сотрудник Ашманова уже три года и 24 дня.

Мы такими проектами не занимаемся. Мы по уму-разуму, а не по трафику и каналам. Если кто и будет такое делать централизованно, то, наверно, это будут те, кто в 2012 за два с половиной месяца поставил 200 000 камер в избирательные участки и связал их с центральными серверами. Трафик там в пике был, кстати, говоря сравнимый по порядку величин с тем, что мы обсуждаем.

по поводу камер и трафика вспомнились «эксперты» Навального Для хранения видео в ЦОДах установлены сервера общим объемом 22 петобайта. Эта информация будет храниться в течение года. За один день будет записано 500 лет видео. Для сравнения, на UTube в день отправляется 4 года видео. Исходя из вышеизложенного, многие считают, что предложение Путина направлено не на пресечение нарушений, а на коллапс Интернета в России. Я тоже думаю, что Путин не хочет, чтобы в день выборов Президента в России работал Интернет. http://ipasserby.livejournal.com/19599.html и ведь до сих пор что-то считают, недавно вот про тендер с поставками пистолетов этот же чувак опять сделал «расчёты».

и ведь до сих пор что-то считают, недавно вот про тендер с поставками пистолетов этот же чувак опять сделал «расчёты». так с пистолетами, вроде, разобрались http://www.gazeta.ru/social/news/2013/10/23/n_3273613.shtml

> Трафик там в пике был, кстати, говоря сравнимый по порядку величин с тем, что мы обсуждаем. Да вроде нет. Оно, на самом деле, оказалось относительно мало востребованным. Я слышал цифры в районе 50 гигабит/с (отдельный вопрос, что эта цифра означает). А готовились к сильно большему. Могу уточнить, хотя скорее всего участники событий точных цифр уже не помнят, через полтора года то.

здесь еще интересно, куда эти стойки ставить операторам: на узлах — там нет столько электричества в цод-ы — на каналах вылетишь в трубу

Такое ощущение, что никто не читал приказ. http://minsvyaz.ru/common/upload/Proekt_prikaza_o_pravilakh_ot_29.03.13.pdf Там нет ничего про тотальную запись всех пользователей. Смотрим внимательно на п.4

вы имеете ввиду тот, что после п.3 или тот, что перед п.5? А то их там два.

как нет? а это что? 4.10 Запись и остановку записи по команде с ПУ всех пакетов данных, поступающих на интерфейсы подключения к сети передачи данных , на внутреннее устройство записи в режиме кольцевого буфера размером, обеспечивающим хранение данных за период не менее 12 — ти часов

Имеются ввиду контролируемые соединения. В протоколе описаны команды постановки задачи на сбор данных, но комманды «пишем все» нет. Учитывая 4.12 можно предположить что интересен 1-5% от потока в пике. Здравый смысл никто не отменял.

А где про контролируемые соединения уточнение? Указано что надо записывать все пакеты данных, поступающие на интерфейсы. А туда зеркалируется _весь трафик_ Если попробовать поиграть со здравым смыслом, то можно предположить, что за 12 часов список интересующих абонентов может измениться и понадобится выборка за прошедшее время, именно по этой причине и кэшируется _весь_ трафик.

Объяснить не специалисту. Я правильно понимаю, что это фактически снифер с дампом и можно, имея доступ к хранилищу получить, например, все пароли к сервисам не использующим https?

«пишем все» нет. Учитывая 4.12 можно предположить что интересен 1-5% от потока в пике. Здравый смысл никто не отменял. 5%, или сколько угодно, можно и сейчас прекрасно снимать. ну, там где работает (сорм или сорм2), конечно, а не просто «сдан в эксплуатацию» а про «здравый смысл» — насмешили :-)