Зависимая «независимость» или как делаются заказные тесты антивирусов

Другими словами, статья — об абсурдности ситуации с тестами антивирусов, заполонившими интернет. Приложенный тест предоставлен для демонстрации абсурдности, его целью не является реклама или антиреклама каких-либо антивирусов.

Кто тестирует антивирусы?

Мировой рынок антивирусного ПО составляет около 16 млрд. долларов. Стремительный рост данного рынка порождает большое количество желающих получить свою выгоду, свой маленький кусочек большого пирога в виде трафика, денег или славы крутого тестера.

Благодаря этому, в интернете очень популярным стало такое занятие, как сравнительное тестирование антивирусов. Все мы слышали об именитые тестовых центрах, таких как VirusBulletin, AVComparatives, AVTEST.org. которые из года в год публикуют свои отчеты о том, какой антивирус лучше. Это западные тесты с хорошей репутацией, историей успеха и круглой суммой в чеке, если антивирусный вендор захочет увидеть свой продукт в списке тестируемых.

Обычным людям подобные тесты кажутся слишком далекими, не совсем понятными и, по широко распространённому мнению, заказными (бытует мнение, что у крупных тестовых центров есть спонсоры, которые и побеждают во всех тестах).

Поэтому, каждый, кто не боится копировать вирусы на свой компьютер и видит себя мало—мальски «хакером», считает долгом провести собственное НЕЗАВИСИМОЕ тестовое сравнение антивирусных программ. Мол: «Вот он я, простой человек, как и Вы, мне никто ничего не платит, и сейчас я Вам всем расскажу какой антивирус на самом деле самый лучший».

Результаты тестов публикуются в персональных блогах, на популярных форумах, выкладываются на YouTube и очень хорошо индексируются, быстро попадая на глаза максимальному количеству пользователей сети.

«Что плохого в таких тестах?» — спросите Вы. Давайте посмотрим вместе!

Проблема 1: Вендоро-зависимая подборка вирусов

Формально, тестеры-энтузиасты и многие тестовые центры действуют независимо, им никто не платит, и даже никто не просит показать тот или иной антивирус лучше остальных.

Предположим, я хочу провести сравнительный тест антивирусов. Что мне нужно для этого, кроме самих продуктов для сравнения? Очевидно, мне нужны зараженные файлы. Значит, я должен:

  1. Найти готовую коллекцию вирусов либо
  2. Собрать свою.

Чаще всего, тестеры выбирают свой путь. Как я узнаю, что какие-то файлы являются вирусами, если я не профессиональный вирусный аналитик? Правильно — с помощью антивируса, который я использую, к которому привык и доверяю.

В результате походов по многочисленным форумам, сборов архивов на различных ресурсах, я соберу коллекцию файлов, которые мой антивирус-фаворит определит, как вирусы, и буду использовать ее для дальнейшего тестирования. При этом меня не сильно волнует, на самом ли деле все файлы, которые определил мой антивирус, заражены, главное, что он сказал мне — этот файл — вирус.

Дальше, я беру продукты, начинаю проверять, что они найдут из сформированной базы вирусов. Какие результаты выдает подобный тест? Логика подсказывает нам, что с таким подходом, другие антивирусы на 100% справляются с задачей поиска вирусов в «частной» коллекции хуже. Объективен ли подобный тест? Нет.

Ещё хуже обстоят дела, если потом такие «чудо-коллекции» распространяются в сети, и на их основе проводится не один тест, а множество, да ещё и с возможностью воспроизведения результатов любым желающим, что добавляет такому тесту правдивости и повышает к нему доверие.

Проблема 2: Чистота вирусной коллекции

Практически все антивирусные программы обладают одним интересным свойством — видеть вирусы там, где их нет. Речь идет о ложных срабатываниях. От этого явления не застрахован ни один вендор. Иногда бывает, что такие детекты чистых файлов бывают очень неприятными для пользователей, даже трагичными (выход из строя программного обеспечения или всей системы).

Но бывает так, что антивирус срабатывает на какие-то абсолютно непонятные файлы. Это могут быть «битые файлы». Возможно, даже, там когда-то и был вирус, троян, но файл в силу обстоятельств повреждён и не работает, вирусные аналитики не могут запустить его и проанализировать его работу. Одним словом — мусор.

Возможны и другие варианты: разработчик добавил файл в базы ошибочно и, поскольку это не вызвало реакции со стороны общественности, детект так и остался в базах. Часто разработчики добавляют в базы «подозрительные» для аналитиков файлы, например зашифрованные EXE-файлы, логику работы которых понять не удалось.

В общем, так или иначе, вирусные коллекции изобилуют файлами, которые часто детектируются антивирусными программами, но при этом не являются вредоносными.

Далее следует ряд вопросов от пользователей: «Почему ваш антивирус не видит вирусы в этом файле, а другой антивирус видит?». Евгений Касперский в своё время сказал следующее по этому поводу: «Нам проще добавить детектирование таких файлов в свои вирусные базы, чем объяснять каждому любопытному пользователю, почему мы этого не сделали».

Это означает, что если один вендор использует принцип формирования баз «включаем все», а другой вендор отбирает только файлы, которые он на 100% считает вредоносным, в любительском тесте антивирус первого вендора явно будет «надежнее» продукта второго.

Проблема 3: Критерии оценки

Как оценить, какая антивирусная программа нашла больше вирусов в коллекции, а какая меньше. Сложно сосчитать, сколько вариантов таких оценок приходилось встречать в сети. Самые популярные:

  • смотрим на статистику антивируса, сколько файлов он проверил и сколько из них определил, как вредоносные;
  • предлагаем антивирусу удалить все найденные вирусы. После какого антивируса больше файлов осталось — тот значит нашёл меньше (ведь остальные же остались!);
  • ещё одна вариация предыдущего метода: тестируемым антивирусом удаляем все зараженные файлы, затем то, что осталось проверяем эталонным продуктом в роли которого нередко выступают мульти-движковые антивирусные сканеры, например, VirusTotal.

Каждый из критериев выше, при близком рассмотрении, не выдерживает критики, а использование только одного из них создает то, что мы видим в сети сегодня.

Любитель-тестер:

  • формирует вирусную коллекцию под свой антивирус,
  • не разбирается содержанием данной коллекции,
  • не разбирается с логикой детектирования угроз другими продуктами,
  • выбирает удобный для себя критерий оценки антивирусов,
  • включает запись экрана и… вуаля, тест готов!

Можно ли доверять таким тестам и тестерам? Вопрос риторический.

Демонстрация несостоятельности любительских тестов антивирусов

Чтобы не быть голословным и продемонстрировать Вам, как можно создать свой тест антивирусов и поставить на первое место ЛЮБОЙ антивирус, я специально взял 3 ТОП-продукта (Kaspersky Antivirus, Avast и ESET NOD32) на рынке антивирусов и украинский Zillya! Антивирус Бесплатный.

В любительских тестах Zillya!, как правило, поддается беспощадной критике и троллингу. Давайте посмотрим, как, используя любительский подход к тестированию, описанный выше, можно сделать ЛЮБОЙ антивирус самым надежным.

Смотрим, что у меня получилось:

Олег Сыч, технический директор антивирусной лаборатории Zillya!.

Еще интересное

Популярный западный ресурс 4chan своеобразно поздравил с новым годом пользователей игровой приставки xBox One
Девять крупных американских интернет-компаний являются участниками проекта PRISM.
В этом году в мероприятии приняли участие представители 9 стран Европы.
Специальная программа позволяет открыть любой, защищенный паролем документ.
Нередко в роутерах обнаруживаются дыры в прошивке, иногда довольно серьезные.

Злоумышленники похитили хэши паролей, имена, даты рождения и адреса электронной почты пользователей.