Testes a AV’s – A saga “Eu tenho uma pequena (Wild)List”

Kevin Townsend colocou no seu blog uma resposta à peça de Mike Rothman da Securosis. A peça de Mike, intitulada “The Death of Product Reviews” marca alguns bons pontos acerca das análises a produtos de segurança em geral. A peça do Kevin é mais específica a anti-malware. Ele também marca bons pontos de discussão úteis acerca do valor ou não da WildList, mas não obstante a sua experiência de testes anti-malware, o cenário que descreve não é bem aquele em que trabalho.

Ele sugere que os testes de revistas têm sido substituídos por certificações, mas não estou convencido que isso seja verdade. Existem mais revistas a fazer análises comparativas que nunca, embora as formas como são feitas tenha mudado: há mais análises baseadas nalguma forma de testes de detecção dinâmica, embora o processo de testes seja normalmente executado por terceiros. Contudo, o Kevin escolheu focar-se nos testes com a WildList e sugere que “Algo inferior a 100% de sucesso deve ser visto como incompetência”. Bem, tendo em conta que não há muitas empresas ‘mainstream’ que não tenham acesso à colecção WildCore que está na base da WildList, não posso dizer que ele está inteiramente errado.

Contudo, se fosse assim mesmo tão fácil, as empresas AV que saíram dos testes Virus Bulletin porque não conseguiam manter uma pontuação VB100 consistente, estariam ainda a submeter os seus produtos a estes testes. Ninguém sai de uma certificação tão reconhecida só porque é demasiado fácil. Os problemas com os testes WildList são bem conhecidos e algumas organizações mais conhecidas de testes efectivamente abandonaram este tipo de testes. A maioria complementaram ou substituíram-nos por alguma forma de testes dinâmicos como recomendado pela AMTSO, que é um bom principio: bons testes dinâmicos devem ser um reflexo melhor dos cenários de ameaças da actualidade. Infelizmente, a validação – entenda-se validação de amostras, não validação de marketing como descrito pelo Kevin – tem, em muitas instâncias, ido ‘pelo cano abaixo’.

Os testes WildList sobrevivem porque são ainda um diferenciador (produtos conhecidos não deveriam habitualmente falhar testes WildList, desde que seja um teste WL genuíno, mas falham). Também retém valor porque, pelo menos em teoria, é baseado num conjunto de testes validados. Se há uma coisa que a experiência do laboratório Kaspersky provou de forma inequívoca, é que uma pseudo-validação baseada na reputação da fonte não é um substituto do trabalho de análise real. Quem não está ciente disto, está prestar à sua audiência um mau serviço.

Este artigo foi escrito por David Harley, Research Fellow & Director of Malware Intelligence na ESET, que publicou vários artigos e livros na área da investigação de malware e escreve em vários blogs de segurança.

Homepage: ESET