Outpost ударил бюллетенем по Касперскому

За неделю информация о том, что антивирусы Dr.Web и «Лаборатории Касперского» не смогли справиться с тестом Virus Bulletin обошла все специализированные и деловые СМИ.

Если верить поиску по новостям «Яндекса», началось все со статьи в издании F1CD.ru от 4-го декабря о том, что Outpost Security Suite Pro 2008 в тесте Virus Bulletin получил право на размещение логотипа VB100 Award. Коротко там же упоминалось о том, что Kaspersky Internet Security и Dr.Web тест не прошли.

Второе дыхание в эту новость вдохнул Cnews.ru, 7-го декабря, который сделал самостоятельную новость о неутешительных результатах антивирусов в тесте.

После этого о событии написали более мелкие околоотраслевые издания и деловые издания Dp.ru, «Ведомости», Rb.ru.

Наиболее интересным во всей этой истории является то, что уровень доверия к тестам VB со стороны профессионалов рынка, занятых разработкой средств для защиты от вредоносного ПО, является достаточно низким. Сам Евгений Касперский на пресс-мероприятиях неоднократно заявлял о том, что может сделать такой антивирус, который будет проходить тест Virus Bulletin, при этом в реальных условиях он работать не будет. Тем не менее, тесты VB и их результаты имеют высокую цитируемость в СМИ, поэтому пренебрежение им может выходить боком если не с точки зрения реальной защищенности пользователя, то с точки зрения пиара.

Комментарий представителя компании

  • Контекст комментария

    v-yanko

    Здесь мог бы быть (память ему вечная) длинный комментарий-ответ Михаилу из Agava на тему, как ваш Firewall в действительности «защищает», если он «автотесты» (ликтесты, т.е. тест на защиту от утечки данных) не проходит. Образно: если мальчишка может ручкой (тест) открыть замок, то от сверла в дрели (реального вредоносного ПО) этому замку точно не сдобровать. А техника действия у них может быть одна и та же. Так вот, Outpost благодаря своей архитектуре и вправду защищает пользователя в общем случае, а не для одних ликтестов — будто бы в приступе маркетинговой блажи, которой хочется изобразить эти серьезные тестирования. И куда продукт нужно выкинуть, если он систематически валит этот своеобразный «ЕГЭ» — что 77 ликтестов Матушека (www.matousec.com), что тысячу-три «in-the-wild» вирусов VirusBulletin, не надо пояснять?

  • Контекст комментария

    v-yanko

    Михаил, спасибо, «а парни-то не знали…» Разработчики Agnitum более чем уверены в том, что победы над «какими-то автотестами», разработанными несколькими десятками независимых специалистов security-отрасли на протяжении последних 3-4 лет по всему миру — это следствие качества их кода. Посвятите 2 года ПОЛНОЙ переработке архитектуры, сделайте продукт совместимым ее с сырейшей ОС Vista, быстро реагируйте на новые способы обхода сделанной защиты — и будут вам победы. И спасибо Вам за ориентир на правильные показатели — идеалами наших тестеров нужно сделать 1ую строчку Яндекса, я так и записал. А такие теплые отзывы в блогах нам ввек не научиться получать: http://blogs.mail.ru/community/rr-rus/3B23621E7A9516.html Приличные разработчики делают качественный продукт и раз за разом выходят с ним на ведущие общеотраслевые (общемировые) тесты. Не наивно ли верить, что продукт без умения защитить ДАЖЕ от тестов, на которые вся отрасль молится как на единственное мерило качества, но зато Top 1 в Yandex по запросу «firewall» — это мощно?! Но оказалось — кое-где принято стыдиться прохождения тестов и вообще проверки. Разработчики компании AGAVA проповедуют воздержание от проверки, насколько чудесно творение рук своих? Итак: нет самозащиты — «Бронебойность»? Ок! Нет ряда must have функций — «Мощность»? Согласен. «Совместимость с Vista: неизвестно» — это вообще победа! Я умолкаю в предвкушении того, какие же СВОИ секретные инструменты измерения качества фаервола предлагает отдел тестирования Agava. PS: Приветы передал, все очень порадовались. ;)

Лучшие комментарии

  • Контекст комментария

    klepik

    мнение ЛК на тему тестов VB100% было всегда одинаковым и когда выигрывались все тесты и сейчас вот статья — http://www.viruslist.com/ru/analysis?pubid=174261388 дата осень 2005 года, тесты VB100% ЛК успешно проходит, но тем не менее: «Отдельно хотелось бы поговорить по поводу тестов авторитетного специализированного журнала VirusBulletin, предчувствуя возможный вопрос читателей — а где же информация про тесты VirusBulletin и награду «VB100%», которая в них присуждается? Увы, и эти тесты далеки от совершенства. Стандарт тестирования VirusBulletin был разработан где-то в середине 90-х годов прошлого века и с тех пор практически не изменялся. Антивирусные продукты тестируются на неком наборе зараженных файлов (так называемый ITW-набор, ITW = «In The Wild», т.е. вирусы, обнаруженные в «дикой природе»), по результатам прогонов затем делается вывод: заслуживает продукт 100% сертификата безопасности или нет. Количество файлов же в этом ITW-наборе мизерное — около двух или трех тысяч, т.е. меньше, чем появляется новых ITW-вирусов и троянцев всего за один месяц! Таким образом, увы, результат VB100% никак не говорит о том, что данный продукт действительно защищает от вирусных угроз. Данная награда свидетельствует только о том, что данный продукт прекрасно справляется с ITW-коллекцией VirusBulletin — и ничего более.» а по поводу размещения значка VB100% на коробках: если мы его получаем — мы его на коробки ставим, глупо делать по другому, если этот тест настолько раскручен и распиарен, что вызывают такую шумиху в СМИ:) Но при этом мнение о качестве этого теста у нас от того получаем мы значек или нет не особо меняется. Вбстошники прводят тесты специфически — проверяют сканер антивиря сканируя коллекцию зловредов и проверяя монитор антивиря копируя коллекцию зловредов из папки в папку, если какие файлы скопировались — значит пропущены. Мы сканером взяли 100% их коллекции, а при копировании из папки в папку 1 файл пропустили — у настройки монитора от сканер отличаются. Плохо ли это — ну да не очень хорошо, мы этот недочет поправили. Но тока вот в реальной жизни когда пользователь ентого зловреда запустил бы (а не просто бы копировал из папки в папку) — мы бы его поймали. Так что не получение этого значка VB100% означает только одно: в синтетическом тесте мало отражающем реальное поведение пользователя и с мизерной коллекцией зловредов мы пропустили 1 зловред. Реального отношения к качеству антивируса это не имеет никакого — коллекция VB100% не может репрезентативно представлять многообразия распространенных в сети зловредов. Огорчает одно, броские заголовки: Касперский не прошел тест на прочность и прочее. Понятно, что журналисту нужен броский слоган…но так на минуточку значек VB100% на этот раз не получили: Trend Micro, Sophos, Доктор Веб. Впрочем и это не беда, Trend Micro и Sophos не первый раз не получают фетюльку VB100%, однако это не мешает им быть номером 3 и 4 в мире по доходу от антивирусных продуктов. И нам думаю, даже учитываю раздутость этой темы в СМИ, это не помешает в наших планах :)

Добавить 34 комментария

  • Ответить

    Наши граждане, несмотря на усилия коллег из-за рубежа, еще долго будут пользоваться 1С, Яндексом и антирусным ПО Касперского. Британские бюллетени в перечатке они прочтут, но и не так уж в них поверят. Небольшой опыт жизни при капитализме нас уже научил острожнее относится к различным наградам от «независимых исследователей».

  • Ответить

    Я в отношении всех автотестов согласен с Евгением. Сделать продукт, проходящий все тесты на 100 баллов, не так-то сложно. Однако в реальной жизни он вполне вероятно вообще ни на что способен не будет. Нас многие упрекают, что наш AGAVA Filrewall не проходит кучу тестов. В журналах даже писали об этом. Но при этом он продолжает оставаться одним из самых мощных и бронебойных файрволов на рынке. Почему так происходит? Всё просто. Файрвол или крупный антивирус — это большой продукт с очень сложной архитектурой. Он разрабатывается для решения настоящих, реальных задач. Причём ещё до появления того или иного автотеста. А потом появляется автотест, для прохождения которого необходимо менять саму архитектуру продукта. Гораздо рентабельнее забить на те полпроцента потенциальных клиентов, которые верят автотестам, чем на вкладываться в сильное изменение продукта. Ребята из Агнитума молодцы — смогли сделать такую архитектуру, которую можно менять под новые тесты. Видимо Миша Пеньковский изначально настроил разработчиков именно на это. Мы не стали.

  • Ответить
    Юрий Синодов Основатель Roem.ru, sinodov.com

    Мм, а можно «во как!» убрать из описания вакансии? Я не то что бы против, но это плохо смотрится рядом со всем официозом. Мы потом сделаем возможность официальных подписей и неофициальных (хотя, в общем, оно уже есть)

  • Ответить
    Альтер Эго

    Между прочим, сам Касперский входит в совет экспертов VB. И говорит, что он нерепрезентативен. Двуликий Янус, прямо.

  • Ответить
    Альтер Эго

    ВБ — не беснвоатая компания. Обычная. Независимый тест, со всеми ограничениями. ЛК, когда выигрывает тесты, всегда ставит значки на коробки, а когда проигрывает — старается дезавуировать. Проблема в том, что за последний год ЛК проиграла тест ВБ уже два раза из четырех. В прошлый раз это было давно. Мое мнение, что это результат руления всей разработкой со стороны лично Каспера, до которой он дорвался в этом году. Раньше разработкой и подготовкой к тестам занимались другие люди, а Каспер рулил небольшим отделом.

  • Ответить
    Альтер Эго

    «Я в отношении всех автотестов согласен с Евгением. Сделать продукт, проходящий все тесты на 100 баллов, не так-то сложно.» так что ж не делают, а? Ведь неприятно проигрывать тесты, потом отмазываться надо. Если так просто, то надо сделать и все, нет?

  • Ответить

    мнение ЛК на тему тестов VB100% было всегда одинаковым и когда выигрывались все тесты и сейчас вот статья — http://www.viruslist.com/ru/analysis?pubid=174261388 дата осень 2005 года, тесты VB100% ЛК успешно проходит, но тем не менее: «Отдельно хотелось бы поговорить по поводу тестов авторитетного специализированного журнала VirusBulletin, предчувствуя возможный вопрос читателей — а где же информация про тесты VirusBulletin и награду «VB100%», которая в них присуждается? Увы, и эти тесты далеки от совершенства. Стандарт тестирования VirusBulletin был разработан где-то в середине 90-х годов прошлого века и с тех пор практически не изменялся. Антивирусные продукты тестируются на неком наборе зараженных файлов (так называемый ITW-набор, ITW = «In The Wild», т.е. вирусы, обнаруженные в «дикой природе»), по результатам прогонов затем делается вывод: заслуживает продукт 100% сертификата безопасности или нет. Количество файлов же в этом ITW-наборе мизерное — около двух или трех тысяч, т.е. меньше, чем появляется новых ITW-вирусов и троянцев всего за один месяц! Таким образом, увы, результат VB100% никак не говорит о том, что данный продукт действительно защищает от вирусных угроз. Данная награда свидетельствует только о том, что данный продукт прекрасно справляется с ITW-коллекцией VirusBulletin — и ничего более.» а по поводу размещения значка VB100% на коробках: если мы его получаем — мы его на коробки ставим, глупо делать по другому, если этот тест настолько раскручен и распиарен, что вызывают такую шумиху в СМИ:) Но при этом мнение о качестве этого теста у нас от того получаем мы значек или нет не особо меняется. Вбстошники прводят тесты специфически — проверяют сканер антивиря сканируя коллекцию зловредов и проверяя монитор антивиря копируя коллекцию зловредов из папки в папку, если какие файлы скопировались — значит пропущены. Мы сканером взяли 100% их коллекции, а при копировании из папки в папку 1 файл пропустили — у настройки монитора от сканер отличаются. Плохо ли это — ну да не очень хорошо, мы этот недочет поправили. Но тока вот в реальной жизни когда пользователь ентого зловреда запустил бы (а не просто бы копировал из папки в папку) — мы бы его поймали. Так что не получение этого значка VB100% означает только одно: в синтетическом тесте мало отражающем реальное поведение пользователя и с мизерной коллекцией зловредов мы пропустили 1 зловред. Реального отношения к качеству антивируса это не имеет никакого — коллекция VB100% не может репрезентативно представлять многообразия распространенных в сети зловредов. Огорчает одно, броские заголовки: Касперский не прошел тест на прочность и прочее. Понятно, что журналисту нужен броский слоган…но так на минуточку значек VB100% на этот раз не получили: Trend Micro, Sophos, Доктор Веб. Впрочем и это не беда, Trend Micro и Sophos не первый раз не получают фетюльку VB100%, однако это не мешает им быть номером 3 и 4 в мире по доходу от антивирусных продуктов. И нам думаю, даже учитываю раздутость этой темы в СМИ, это не помешает в наших планах :)

  • Ответить
    Альтер Эго

    А есть ведь рейтинг ВБ за все годы. У Симантека результат все равно лучший. Но речь шла про то, что от пиара ЛК не отказывается, ставит ВБ100 на все коробки и все материалы. Если он такой синтетический, зачем же его лепить себе на лоб?

  • Ответить

    «Если он такой синтетический, зачем же его лепить себе на лоб?» Интересно, если бы Ваш продукт получил бы премию, которой доверяют массы, но у Вас лично есть некоторые предубеждения — Вы бы не стали об этом никому сообщать? Если такая фишка на коробке увеличивает Ваши продажи, Вашу прибыль, Вашу долю на рынке?

  • Ответить
    Альтер Эго

    Я бы его конечно везде налепил бы. Но я не стал бы его же поливать грязью, как только я проиграл очередное соревнование. Тут или-или.

  • Ответить
    Альтер Эго

    Его критиковали и до недавних событий. Но журналисты про тесты VB не спрашивали. В ЖЖ у меня происходит обсуждение, в котором предлагается обратить внимание на след Eset, с чьего наускивания, возможно, эта буча и заварилась.

  • Ответить

    след Есет можно не искать, он есть:) что же касается самого теста VB100%, то они наконец сами признали, что в реальных условиях мы бы взяли этот пропущеный сампл. Однако значек давать не хотят, говорят вот такой вот у нас тест, ничего поделать не можем:) http://www.virusbtn.com/news/2007/1212.xml Kaspersky’s product missed a single item from the WildList, in on-access tests only. This was due to a setting in the on-access mode avoiding scanning a particular file type, for performance reasons. According to Kaspersky Labs this setting has been adjusted to ensure this file type will be fully covered by the on-access scanner in future, but VB acknowledges that were the sample to be fully executed its malicious actions would have been blocked by other layers of protection included in the product.

  • Ответить

    «Файрволл Outpost в тесте Virus Bulletin получил право на размещение логотипа VB100 Award.» А это — нонсенс от автора новости. Как «файрволл» может получить право на награду антивирусного тестирования? Право получил комплексный антивирусный продукт на основе фаервола — Outpost Security Suite.

  • Ответить

    Здесь мог бы быть (память ему вечная) длинный комментарий-ответ Михаилу из Agava на тему, как ваш Firewall в действительности «защищает», если он «автотесты» (ликтесты, т.е. тест на защиту от утечки данных) не проходит. Образно: если мальчишка может ручкой (тест) открыть замок, то от сверла в дрели (реального вредоносного ПО) этому замку точно не сдобровать. А техника действия у них может быть одна и та же. Так вот, Outpost благодаря своей архитектуре и вправду защищает пользователя в общем случае, а не для одних ликтестов — будто бы в приступе маркетинговой блажи, которой хочется изобразить эти серьезные тестирования. И куда продукт нужно выкинуть, если он систематически валит этот своеобразный «ЕГЭ» — что 77 ликтестов Матушека (www.matousec.com), что тысячу-три «in-the-wild» вирусов VirusBulletin, не надо пояснять?

  • Ответить

    Виталий, всё это только догадки. Как с нашей стороны, так и с Вашей. Вы прекрасно знаете, что ни один автотест не является показательным — ни в случае его прохождения, ни в случае завала. Доказать, что Outpost проходит тесты потому что он весь из себя такой крутой, а не потому, что все тесты отслеживаются и вовремя ставятся заплатки — я не смогу. Да и не надо мне это. Правда, с Вашей стороны тоже ничего кроме слов нет — провал каких-то автотестов не ставит диагноз о «дырявости» файрвола. Это только показатель, что данный файрвол провалил_эти_тесты. Сравнение с ручкой и сверлом очень красивое, но исключительно популистское. Кстати, вся наша Software-команда и лично я как её руководитель, с огромным уважением относимся к детищу Agnitum. И признаём бесспорное лидерство — как технологическое, так и имиджевое! Передавайте привет Михаилу! :)

  • Ответить

    Михаил, спасибо, «а парни-то не знали…» Разработчики Agnitum более чем уверены в том, что победы над «какими-то автотестами», разработанными несколькими десятками независимых специалистов security-отрасли на протяжении последних 3-4 лет по всему миру — это следствие качества их кода. Посвятите 2 года ПОЛНОЙ переработке архитектуры, сделайте продукт совместимым ее с сырейшей ОС Vista, быстро реагируйте на новые способы обхода сделанной защиты — и будут вам победы. И спасибо Вам за ориентир на правильные показатели — идеалами наших тестеров нужно сделать 1ую строчку Яндекса, я так и записал. А такие теплые отзывы в блогах нам ввек не научиться получать: http://blogs.mail.ru/community/rr-rus/3B23621E7A9516.html Приличные разработчики делают качественный продукт и раз за разом выходят с ним на ведущие общеотраслевые (общемировые) тесты. Не наивно ли верить, что продукт без умения защитить ДАЖЕ от тестов, на которые вся отрасль молится как на единственное мерило качества, но зато Top 1 в Yandex по запросу «firewall» — это мощно?! Но оказалось — кое-где принято стыдиться прохождения тестов и вообще проверки. Разработчики компании AGAVA проповедуют воздержание от проверки, насколько чудесно творение рук своих? Итак: нет самозащиты — «Бронебойность»? Ок! Нет ряда must have функций — «Мощность»? Согласен. «Совместимость с Vista: неизвестно» — это вообще победа! Я умолкаю в предвкушении того, какие же СВОИ секретные инструменты измерения качества фаервола предлагает отдел тестирования Agava. PS: Приветы передал, все очень порадовались. ;)

  • Ответить

    Виталий, как-то странно читать Ваши сообщения. Зачем вы с пеной у рта доказываете что ваш продукт круче нашего? Это и так всем ясно. И мы никогда это не опровергали. Потому у нас неограниченная по времени лицензия стоит почти втрое дешевле вашей годовой. Мы стабильно занимаем второе-третье места среди файрволов российского производства. Первое — конечно же у Агнитума, кто бы спорил? Вообще было бы глупо пытаться с вами тягаться — выкидывать огромные бюджеты на переработку, тестирование и, в первую очередь, маркетинг при том, что софт для нас — ни разу не приоритетое направление. Мы, вообще-то, в первую очередь интернет-компания — хостинг, интернет-реклама, сайты, стартапы — это наш конёк, здесь мы в числе лучших. Так что я искренне желаю компании Агнитум и лично Вам, Виталий (и Михаилу тоже! :)) продолжать победное шествие по миру. Вы этого заслуживаете на все 100% - говорю это совершенно без иронии. И не нервничайте. Мало ли какое там у нас место в Яндексе. Это привычка у нас такая — если есть проект, он должен быть хотя бы в топ3. Недостойно как-то, Виталий. Некрасиво очень. Давно я столько желчи не получал в свой адрес. Тем более от представителей очень уважаемой мной всемирно известной компании.

  • Ответить
    Альтер Эго

    Прошу прощения, Михаил, за резкость. Красоты в отрицании профессиональных тестов как показателя надежности инструментов ИБ не более, чем в неприятии «серого» SEO. И если бы все ваши заявления не были только маркетинговой шумихой, а делались бы с оглядкой на профессионалов в ИБ, Вы бы не получили такого жесткого и по делу отпора. Вы входите в Top 3 персональных фаерволов made in Russia? Outpost, Agava, VipNet — а когда было больше? (Анти-Хакер ушел с рынка, он не в счет). Это и есть голый маркетинг, когда это и даже ваш ценник в 350 рублей подается как «почти втрое меньше» нашего в 700. Опять эта «плавающая точка», я так понимаю, пора бы менять парк ПК. PS: Прошу прощения у читателей за мои вынужденно резкие публичные выступления. Эту тему для себя закрываю. PPS: Юрий, совсем куки у вас помирают быстро, невозможно нормально «поститься». :(