Глава IT-департамента компании Lamoda и бывший зам руководителя отдела эксплуатации "Яндекса" Владимир Иванов рассказал в своем блоге, как вся система анализа данных некой компании из списка Fortune 100 оказалась скомпрометирована из-за ошибки data-аналитиков. Неназванная компания, которой Иванов в свое время оказывал консалтинговые услуги, еженедельно собирала логи из своей системы безопасности. Эти данные импортировались в Excel, после чего изучались аналитиками. На основе этого анализа делались выводы и прогнозы относительно слабых мест системы безопасности компании и потенциальных угрозах.
Иванов написал специальный скрипт, чтобы автоматизировать работу с данными и обнаружил, что результаты работы его программы кардинально отличаются от результатов аналитиков. В результате проведенного расследования выяснилось, что при экспорте данных не учитывались особенности таблиц Excel, вмещающих не больше определенного количества строк. В результате в данные для анализа попадал лог первых нескольких минут ночи понедельника. На этих данных строился недельный отчёт о работе системы.
Добавить 7 комментариев
Старая версия Excel-я была
А аналитики не замечали даты?
Нифига себе логи. У Экселя лимит в миллион строк. Даже у старой версии — 65 тысяч. Если это несколько минут, то размер лога за неделю не мог остаться незамеченным.
Вывод — творческое преувеличение, также известное как трындеж.
«крупные» аналитики для прогнозов используют excel ?
Вы, по-моему, недооцениваете Excel.
Как его можно недооценить, если он умудряется глючить везде, даже там, где этого меньше всего ждешь со своим никому не годным 14-летним опытом? А так-то да, передовые самые жирные буржуины сидят на сапе и экселе, знаем-знаем.
Вы недооцениваете «аналитиков» :)