Outpost ударил бюллетенем по Касперскому

Наши граждане, несмотря на усилия коллег из-за рубежа, еще долго будут пользоваться 1С, Яндексом и антирусным ПО Касперского. Британские бюллетени в перечатке они прочтут, но и не так уж в них поверят. Небольшой опыт жизни при капитализме нас уже научил острожнее относится к различным наградам от «независимых исследователей».

Я в отношении всех автотестов согласен с Евгением. Сделать продукт, проходящий все тесты на 100 баллов, не так-то сложно. Однако в реальной жизни он вполне вероятно вообще ни на что способен не будет. Нас многие упрекают, что наш AGAVA Filrewall не проходит кучу тестов. В журналах даже писали об этом. Но при этом он продолжает оставаться одним из самых мощных и бронебойных файрволов на рынке. Почему так происходит? Всё просто. Файрвол или крупный антивирус — это большой продукт с очень сложной архитектурой. Он разрабатывается для решения настоящих, реальных задач. Причём ещё до появления того или иного автотеста. А потом появляется автотест, для прохождения которого необходимо менять саму архитектуру продукта. Гораздо рентабельнее забить на те полпроцента потенциальных клиентов, которые верят автотестам, чем на вкладываться в сильное изменение продукта. Ребята из Агнитума молодцы — смогли сделать такую архитектуру, которую можно менять под новые тесты. Видимо Миша Пеньковский изначально настроил разработчиков именно на это. Мы не стали.

Мм, а можно «во как!» убрать из описания вакансии? Я не то что бы против, но это плохо смотрится рядом со всем официозом. Мы потом сделаем возможность официальных подписей и неофициальных (хотя, в общем, оно уже есть)

Убрал. Хотя и с «вокак» смотрелось прикольно! :)

Между прочим, сам Касперский входит в совет экспертов VB. И говорит, что он нерепрезентативен. Двуликий Янус, прямо.

Ну слушайте, всегда лучше контролировать какую-то бесноватую компанию, чем давать ей волю, правда?

Юр, это ты про VB или НК??

Я про тестировщиков из VB. Про НК ничего плохого не хочу сказать.

Ход ваших мыслей мне нравится, коллега!

Ошибочка в каменте, должно быть «двуликий @рифма на слово «янус»@».

ВБ — не беснвоатая компания. Обычная. Независимый тест, со всеми ограничениями. ЛК, когда выигрывает тесты, всегда ставит значки на коробки, а когда проигрывает — старается дезавуировать. Проблема в том, что за последний год ЛК проиграла тест ВБ уже два раза из четырех. В прошлый раз это было давно. Мое мнение, что это результат руления всей разработкой со стороны лично Каспера, до которой он дорвался в этом году. Раньше разработкой и подготовкой к тестам занимались другие люди, а Каспер рулил небольшим отделом.

Вот уже и МНК подключился к дискуссии :)

Аллё! Кто здесь?! Кто меня звал?

Хватит меня здесь склонять, ты!

для полного цимеса недостает БуМНК

Хотелось бы посмотреть.

Хорошо, старик, не буду склонять. Буду спрягать.

«Я в отношении всех автотестов согласен с Евгением. Сделать продукт, проходящий все тесты на 100 баллов, не так-то сложно.» так что ж не делают, а? Ведь неприятно проигрывать тесты, потом отмазываться надо. Если так просто, то надо сделать и все, нет?

мнение ЛК на тему тестов VB100% было всегда одинаковым и когда выигрывались все тесты и сейчас вот статья — http://www.viruslist.com/ru/analysis?pubid=174261388 дата осень 2005 года, тесты VB100% ЛК успешно проходит, но тем не менее: «Отдельно хотелось бы поговорить по поводу тестов авторитетного специализированного журнала VirusBulletin, предчувствуя возможный вопрос читателей — а где же информация про тесты VirusBulletin и награду «VB100%», которая в них присуждается? Увы, и эти тесты далеки от совершенства. Стандарт тестирования VirusBulletin был разработан где-то в середине 90-х годов прошлого века и с тех пор практически не изменялся. Антивирусные продукты тестируются на неком наборе зараженных файлов (так называемый ITW-набор, ITW = «In The Wild», т.е. вирусы, обнаруженные в «дикой природе»), по результатам прогонов затем делается вывод: заслуживает продукт 100% сертификата безопасности или нет. Количество файлов же в этом ITW-наборе мизерное — около двух или трех тысяч, т.е. меньше, чем появляется новых ITW-вирусов и троянцев всего за один месяц! Таким образом, увы, результат VB100% никак не говорит о том, что данный продукт действительно защищает от вирусных угроз. Данная награда свидетельствует только о том, что данный продукт прекрасно справляется с ITW-коллекцией VirusBulletin — и ничего более.» а по поводу размещения значка VB100% на коробках: если мы его получаем — мы его на коробки ставим, глупо делать по другому, если этот тест настолько раскручен и распиарен, что вызывают такую шумиху в СМИ:) Но при этом мнение о качестве этого теста у нас от того получаем мы значек или нет не особо меняется. Вбстошники прводят тесты специфически — проверяют сканер антивиря сканируя коллекцию зловредов и проверяя монитор антивиря копируя коллекцию зловредов из папки в папку, если какие файлы скопировались — значит пропущены. Мы сканером взяли 100% их коллекции, а при копировании из папки в папку 1 файл пропустили — у настройки монитора от сканер отличаются. Плохо ли это — ну да не очень хорошо, мы этот недочет поправили. Но тока вот в реальной жизни когда пользователь ентого зловреда запустил бы (а не просто бы копировал из папки в папку) — мы бы его поймали. Так что не получение этого значка VB100% означает только одно: в синтетическом тесте мало отражающем реальное поведение пользователя и с мизерной коллекцией зловредов мы пропустили 1 зловред. Реального отношения к качеству антивируса это не имеет никакого — коллекция VB100% не может репрезентативно представлять многообразия распространенных в сети зловредов. Огорчает одно, броские заголовки: Касперский не прошел тест на прочность и прочее. Понятно, что журналисту нужен броский слоган…но так на минуточку значек VB100% на этот раз не получили: Trend Micro, Sophos, Доктор Веб. Впрочем и это не беда, Trend Micro и Sophos не первый раз не получают фетюльку VB100%, однако это не мешает им быть номером 3 и 4 в мире по доходу от антивирусных продуктов. И нам думаю, даже учитываю раздутость этой темы в СМИ, это не помешает в наших планах :)

А есть ведь рейтинг ВБ за все годы. У Симантека результат все равно лучший. Но речь шла про то, что от пиара ЛК не отказывается, ставит ВБ100 на все коробки и все материалы. Если он такой синтетический, зачем же его лепить себе на лоб?

«Если он такой синтетический, зачем же его лепить себе на лоб?» Интересно, если бы Ваш продукт получил бы премию, которой доверяют массы, но у Вас лично есть некоторые предубеждения — Вы бы не стали об этом никому сообщать? Если такая фишка на коробке увеличивает Ваши продажи, Вашу прибыль, Вашу долю на рынке?

Я бы его конечно везде налепил бы. Но я не стал бы его же поливать грязью, как только я проиграл очередное соревнование. Тут или-или.

Его критиковали и до недавних событий. Но журналисты про тесты VB не спрашивали. В ЖЖ у меня происходит обсуждение, в котором предлагается обратить внимание на след Eset, с чьего наускивания, возможно, эта буча и заварилась.

Блин, что ж глючит-то… Это все я флужу.

след Есет можно не искать, он есть:) что же касается самого теста VB100%, то они наконец сами признали, что в реальных условиях мы бы взяли этот пропущеный сампл. Однако значек давать не хотят, говорят вот такой вот у нас тест, ничего поделать не можем:) http://www.virusbtn.com/news/2007/12_12.xml Kaspersky’s product missed a single item from the WildList, in on-access tests only. This was due to a setting in the on-access mode avoiding scanning a particular file type, for performance reasons. According to Kaspersky Labs this setting has been adjusted to ensure this file type will be fully covered by the on-access scanner in future, but VB acknowledges that were the sample to be fully executed its malicious actions would have been blocked by other layers of protection included in the product.

«Файрволл Outpost в тесте Virus Bulletin получил право на размещение логотипа VB100 Award.» А это — нонсенс от автора новости. Как «файрволл» может получить право на награду антивирусного тестирования? Право получил комплексный антивирусный продукт на основе фаервола — Outpost Security Suite.

Я был неточен, я поправлю.

Здесь мог бы быть (память ему вечная) длинный комментарий-ответ Михаилу из Agava на тему, как ваш Firewall в действительности «защищает», если он «автотесты» (ликтесты, т.е. тест на защиту от утечки данных) не проходит. Образно: если мальчишка может ручкой (тест) открыть замок, то от сверла в дрели (реального вредоносного ПО) этому замку точно не сдобровать. А техника действия у них может быть одна и та же. Так вот, Outpost благодаря своей архитектуре и вправду защищает пользователя в общем случае, а не для одних ликтестов — будто бы в приступе маркетинговой блажи, которой хочется изобразить эти серьезные тестирования. И куда продукт нужно выкинуть, если он систематически валит этот своеобразный «ЕГЭ» — что 77 ликтестов Матушека (www.matousec.com), что тысячу-три «in-the-wild» вирусов VirusBulletin, не надо пояснять?

Виталий, всё это только догадки. Как с нашей стороны, так и с Вашей. Вы прекрасно знаете, что ни один автотест не является показательным — ни в случае его прохождения, ни в случае завала. Доказать, что Outpost проходит тесты потому что он весь из себя такой крутой, а не потому, что все тесты отслеживаются и вовремя ставятся заплатки — я не смогу. Да и не надо мне это. Правда, с Вашей стороны тоже ничего кроме слов нет — провал каких-то автотестов не ставит диагноз о «дырявости» файрвола. Это только показатель, что данный файрвол провалил_эти_тесты. Сравнение с ручкой и сверлом очень красивое, но исключительно популистское. Кстати, вся наша Software-команда и лично я как её руководитель, с огромным уважением относимся к детищу Agnitum. И признаём бесспорное лидерство — как технологическое, так и имиджевое! Передавайте привет Михаилу! :)

Михаил, спасибо, «а парни-то не знали…» Разработчики Agnitum более чем уверены в том, что победы над «какими-то автотестами», разработанными несколькими десятками независимых специалистов security-отрасли на протяжении последних 3-4 лет по всему миру — это следствие качества их кода. Посвятите 2 года ПОЛНОЙ переработке архитектуры, сделайте продукт совместимым ее с сырейшей ОС Vista, быстро реагируйте на новые способы обхода сделанной защиты — и будут вам победы. И спасибо Вам за ориентир на правильные показатели — идеалами наших тестеров нужно сделать 1ую строчку Яндекса, я так и записал. А такие теплые отзывы в блогах нам ввек не научиться получать: http://blogs.mail.ru/community/rr-rus/3B23621E7A9516.html Приличные разработчики делают качественный продукт и раз за разом выходят с ним на ведущие общеотраслевые (общемировые) тесты. Не наивно ли верить, что продукт без умения защитить ДАЖЕ от тестов, на которые вся отрасль молится как на единственное мерило качества, но зато Top 1 в Yandex по запросу «firewall» — это мощно?! Но оказалось — кое-где принято стыдиться прохождения тестов и вообще проверки. Разработчики компании AGAVA проповедуют воздержание от проверки, насколько чудесно творение рук своих? Итак: нет самозащиты — «Бронебойность»? Ок! Нет ряда must have функций — «Мощность»? Согласен. «Совместимость с Vista: неизвестно» — это вообще победа! Я умолкаю в предвкушении того, какие же СВОИ секретные инструменты измерения качества фаервола предлагает отдел тестирования Agava. PS: Приветы передал, все очень порадовались. ;)

Виталий, как-то странно читать Ваши сообщения. Зачем вы с пеной у рта доказываете что ваш продукт круче нашего? Это и так всем ясно. И мы никогда это не опровергали. Потому у нас неограниченная по времени лицензия стоит почти втрое дешевле вашей годовой. Мы стабильно занимаем второе-третье места среди файрволов российского производства. Первое — конечно же у Агнитума, кто бы спорил? Вообще было бы глупо пытаться с вами тягаться — выкидывать огромные бюджеты на переработку, тестирование и, в первую очередь, маркетинг при том, что софт для нас — ни разу не приоритетое направление. Мы, вообще-то, в первую очередь интернет-компания — хостинг, интернет-реклама, сайты, стартапы — это наш конёк, здесь мы в числе лучших. Так что я искренне желаю компании Агнитум и лично Вам, Виталий (и Михаилу тоже! :)) продолжать победное шествие по миру. Вы этого заслуживаете на все 100% — говорю это совершенно без иронии. И не нервничайте. Мало ли какое там у нас место в Яндексе. Это привычка у нас такая — если есть проект, он должен быть хотя бы в топ3. Недостойно как-то, Виталий. Некрасиво очень. Давно я столько желчи не получал в свой адрес. Тем более от представителей очень уважаемой мной всемирно известной компании.

Прошу прощения, Михаил, за резкость. Красоты в отрицании профессиональных тестов как показателя надежности инструментов ИБ не более, чем в неприятии «серого» SEO. И если бы все ваши заявления не были только маркетинговой шумихой, а делались бы с оглядкой на профессионалов в ИБ, Вы бы не получили такого жесткого и по делу отпора. Вы входите в Top 3 персональных фаерволов made in Russia? Outpost, Agava, VipNet — а когда было больше? (Анти-Хакер ушел с рынка, он не в счет). Это и есть голый маркетинг, когда это и даже ваш ценник в 350 рублей подается как «почти втрое меньше» нашего в 700. Опять эта «плавающая точка», я так понимаю, пора бы менять парк ПК. PS: Прошу прощения у читателей за мои вынужденно резкие публичные выступления. Эту тему для себя закрываю. PPS: Юрий, совсем куки у вас помирают быстро, невозможно нормально «поститься». :(

http://i27.tinypic.com/ih5i8l.jpg — а это правда «Одноклассники» нас сканирует, или ваш сканер слишком бдительный?

а откуда такой смешной Аутпост? первая версия наверное под 98 винду еще работает? =)