А в попугаях я гораааздо длиннее!

Всем привет,

Я тут при помощи коллег потихоньку начал публиковать материалы (тут и тут) по ключевым технологиям – чтобы «обкатать» их на публике, посмотреть на реакцию и собрать идеи. Помимо «технологических хвалилок» будут здесь и результаты сравнительных тестов и аналитических сравнений. Буду эти тесты/сравнения критиковать или наоборот – рекомендовать.

Для “разогрева” и вообще понимания происхождения “попугаев” в тестах вот такой фрагмент:

А сейчас о тестах PassMark.

Это тесты на производительность, вернее – на «уровень торможения» эталонной системы разными антивирусными продуктами. В свежеобнародованном тесте участвовали продукты пяти компаний, успевших выпустить “версии-2012” – это мы, Симантек, Аваст, Панда, G-Data.

По результатам первый – Симантек, потом Аваст, потом мы. Ну, не будем судить об объективности и независимости, поскольку Passmark и так ничего не скрывает: дисклеймер документа честно сообщает, что тест субсидировался и проводился по методологии одного из участников:

Symantec Corporation funded the production of this report and supplied some of the test scripts used for the tests

Любопытно, что этот дисклеймер присутствует и в предыдущих тестах антивирусного софта (2010, 2009, 2008). Догадайтесь, кто в них занимал первое место?

Но факт теста налицо, победитель апеллирует к мнению уважаемой организации (а Passmark действительно таковой является), размахивает флагом, публика аплодирует и восторгается. Посему уж очень интересно узнать каким образом некоторые “supplied scripts” повернули тест таким образом, чтобы возвести на престол спонсора?

На самом деле просто надо посмотреть на эти тесты внимательнее. И самое интересное в них то…  что результаты всех «замеров» имеют один и тот же вес!

То есть. Тест проводится следующим образом. Каждый продукт «замеряется» по 17-ти параметрам (скорость загрузки системы, скорость запуска Эксплорера, скорость открытия и копирования файлов, и т.п.). Затем продукты ранжируются по местам, занятым на каждом этапе – результаты ранжирования суммируются, и кто набрал больше очков – тот и победил.

Так вот, в этом тесте «мухи и котлеты» имеют абсолютно равные, одинаковые веса! В данных тестах предполагается, что для пользователя абсолютно одинаковую важность имеют такие параметры как «время инсталляции продукта»(!), «скорость упаковки/распаковки архивов», «количество ключей системного реестра» и «пропускная способность сети». А вот мне эти параметры абсолютно не одинаковы! Не сомневаюсь, что для читателя тоже!

Посему и возникла идея расставить веса у каждого «замера» – и посмотреть на скорректированный результат.

Веса расставляем следующим образом:

  • 0 – я считаю, что «замер» вообще нерелевантен для реальной жизни.
  • 1 – данное действие совершается крайне редко, не чаще нескольких раз в год.
  • 2 – раз в неделю или две, не чаще.
  • 5 – раз в день, или пару-тройку раз в лучшем случае.
  • 10 – частенько.
  • 20 – постоянно, много, это и есть самое главное!

Для сценария моей повседневной работы получилось вот что:

  • Тест 1. Скорость первоначальной загрузки системы. Нечасто. Вес – 2.
  • Тест 2. Время сканирования диска по запросу. Редко. Вес – 2.
  • Тест 3. Потребление памяти на “idle”. А вот тут я готов поспорить – поскольку некоторые действия мы как раз на idle и откладываем, чтобы не грузить компьютер в «боевое время». Посему вес – 0.
  • Тест 4. Запуск Эксплорера. Вес – 5.
  • Тест 5. Скорость работы Эксплорера. Если кто-то кликает постоянно, не читая скачиваемое – т.е. вообще без пауз, то, конечно, надо вес 20. Для меня – 10.

И так далее (см. таблицу внизу). За исключением вот этих тестов, которые требуют пояснения:

  • Тест 8. Размер дистрибутива. Ээээ??? Это вообще как влияет на «скорострельность» продуктов? Да и сравнивать тогда это надо в одном комплекте с «размер данных, докачиваемых из сети во время инсталляции». Ну пусть будет. Вес – 1.
  • Тест 9. Число добавленных ключей реестра. А вот это вообще смешно. Они бы еще подсчитали число файлов на диске и количество букв в названиях файлов :) Вес – 1.
  • Тест 12. Скорость копирования файлов по сети. Почему-то наш результат они не смогли замерить. Потом разобрались, но поезд ушёл. В итоге «замер» получился нерелевантным, вес – 0.
  • Тест 15/16. Открытие-чтение-запись файла, сканирование PE-файлов. Вот это и есть самое главное! На это и надо «точить» скорость продуктов! Вес – 20.
  • Тест 17. Копирование файлов с диска на диск. Поскольку тестировались домашние продукты – то смысла в “копировании файлов с одного локального диска на другой” не вижу вообще. Ну да ладно, пусть будет вес – 3.

Вот и всё. А теперь, если подсчитать общий результат с учётом объявленных весов – то результат получается совсем не в пользу Симантека :)

Ну это, конечно, мои личные преференции. У каждого они свои – смотрите сами. Главное – нельзя слепо верить результатам тестов. Особенно с недвусмысленными дисклеймерами :)

Кстати, была бы, наверное, неплохая идея – написать апплет, где каждый желающий мог бы поставить веса каждому «замеру», исходя из своего сценария работы и получить личный, самый что ни на есть индивидуальный результат.

Справедливости ради замечу, что не только этот тест страдает таким изъяном. Увы, практически все бенчмаркинги (ага, те самые «попугаи») пренебрегают весами, сваливая «мух и котлеты» в одну кучу.

Спросите, а как же тогда ориентироваться? Кто может авторитетно замерить качество антивируса? Ответ прост – реально НЕТ такого теста, который я бы мог однозначно рекомендовать как лучший показатель. У одних недостатки методологии, другие сильно специфичны. Мой совет – как и в личных финансах ориентируйтесь на «корзину» – смотрите сразу на несколько тестов. Например, AV-Test Андреаса Маркса, AV-Comparatives Андреаса Клементи, Anti-Malware.Ru, Virus Bulletin, Matousec.

Будет время – расскажу про все эти тесты тоже. Про их вкусности и недостатки.

Вот, на этом всё, всем пока!

13 Responses to “А в попугаях я гораааздо длиннее!”

  1. Я уже предложил Илье Шабанову такой апплет, но с более расширенными возможностями. Вот думаю, имеет ли смысл закинуть подробное описание такого приложения в воронку идей? Для того, чтобы каждый пользователь и непользователь мог запустить exe, расставить веса и получить подборку антивирусов, которые ему рекомендуются.
    Конечно, идея не такая простая, как написал тут. :)

  2. Моё мнение, тестировать за 2 часа антивирусы неправильно. Надо в течении длительного времени. Да, скажем прямо, некоторые антивирусы загружают систему меньше, но и защиты от них на 10% по сравнению с KIS. Я всем этим тестам не верю уже давно.

    • Пасмарк уж точно не 2 часа тестировал – там скорость по проходам замерялась.. Но факт, что получилось совсем неубедительно

  3. Блог становится все интереснее!

    Кстати без самих тестов и интерпретации их результатов, есть еще такая важная тема, как использование результатов тестов в продвижении продуктов самими антивирусными компаниями. Типичный пример – удаление из преподносимых результатов тестов конкурентов, которые “портят” картину. Или использование подборки результатов только тех подтестов, в которых хороший результат или результат лучше конкурента. Вот пример из мною очень нелюбимой компании Eset, так как у меня сложилось впечатление, что по мнению маркетологов этой компании все пользователи дураки: http://www.eset.com/tools/product_compare_v2/index.php?iframe=1&lang=ru&prod=ess&comp=kaspersky#
    В разделе Распознавание Вирусов Eset преподносит результат только проактивного теста, “позабыв”, что для полной картины этого явно маловато. Скорость Работы – пару второстепенных “выгодных” показателей. Призы – ну конечно VB100 …

  4. Дико извиняюсь за возможную некомпетентность, ибо я всего лишь пользователь, рядовой провинциальный сисадмин и, наверняка, многого не знаю, но…
    1. А разве аваст ловит вирусы? Один из самых тупых (на мой взгляд) антивирусников, чья база обновляется раз в пятилетку. Висит себе в трее, вертит свой шарик. А после него даже доктор вебер вирусы находит
    2. Нортон антивирус еще жив? Я удивлен…

  5. Дико извиняюсь за возможную некомпетентность, ибо я всего лишь пользователь, рядовой провинциальный сисадмин и, наверняка, многого не знаю, но…
    1. А разве аваст ловит вирусы? Один из самых тупых (на мой взгляд) антивирусников, чья база обновляется раз в пятилетку. Висит себе в трее, вертит свой шарик. А после него даже доктор вебер вирусы находит
    2. Нортон антивирус еще жив? Я удивлен…
    Извините, если что не то сказал.

Trackbacks/Pingbacks

  1. Тестировать нельзя помиловать | Nota Bene - October 14, 2011

    […] и ожидалось, недавний пост про тест производительности Passmark наделал некоторого […]

  2. Блог компании «Лаборатория Касперского» / Тестировать нельзя помиловать | What You See Is What You Get - October 25, 2011

    […] и ожидалось, недавний пост про тест производительности Passmark наделал некоторого […]

  3. AV-Comparatives, мы – продукт года! | Nota Bene - January 23, 2012

    […] средства”, чтобы отвечали за базар! Отделять надо крикливый маркетинг от технических реалий. И, кстати, чтобы можно было следить за изменением […]

  4. Каша из топора. | Nota Bene - January 24, 2013

    […] на реальном боевом дежурстве. Другой пример – субъективная оценка весов значимости тестируемых […]

Оставить комментарий

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: