Opinião: Kaspersky, Virustotal e alguns atalhos inaceitáveis

Muito se tem falado sobre testes, analises, validações de ficheiros entre outros factores em que a industria de AV’s se tem aproveitado, e para isso relembramos um artigo interessante que Larry Seltzer colocou no passado dia 1 de Fevereiro. O artigo intitula-se “Testes SW Mostram Problemas Com Detecções AV” e descreve uma acção que a Kaspersky conduziu, aparentemente interessante, embora um pouco suspeita.

A empresa russa criou 20 ficheiros perfeitamente inocentes e detecções para apenas 10 deles. Afirmaram então que passados 10 dias até 14 outros fabricantes passaram a incluir detecção para estes 10 ficheiros, alegadamente com base nas faltas detecções da Kaspersky.

(Não, a ESET não foi uma destas 14 empresas. Não há uma desculpa de marketing nestes comentários).

De facto, vários fabricantes apenas detectaram um ou dois e não todo o conjunto de ficheiros. Mais, em pelo menos um caso todos os ficheiros foram detectados como “suspeitos” e apenas pelo scanner online dessa empresa.

Então, há realmente um problema? Quando a Virus Total envia uma amostra do que aparenta ser uma detecção falhada pelo motor de verificação de uma empresa, provavelmente não esperam que a empresa simplesmente adicione a detecção sem antes validar a amostra: caso contrário, um falso
positivo poderia propagar-se por toda a indústria antivírus num curto espaço de tempo.

[ Há um blog interessante relacionado, da Hispasec, quem fornece o serviço Virus Total]

Mas, como Larry sugere, existem ainda outros factores em jogo, em vez do simples pensamento de que “se a Kaspersky os detecta, devem ser maliciosos”. Com todo o respeito pela empresa, ninguém neste negócio tem escapado sem problemas com falsos positivos, conforme John Leyden também refere no seu artigo do Register.

No blog da Kaspersky, Magnus sugere que isto é mesmo um problema com os testes. Bem, ele tem um ponto. Onde os testes são levados a cabo com conjuntos enormes de amostras e recursos financeiros e de tempo mínimos, é inevitável que alguns testes se baseiam na “reputação da fonte e multi-verificação” em vez da validação manual. Efectivamente, Ján Vrabec referiu problemas com um teste onde um conjunto muito mais pequeno de amostras foi “validado” com base nos resultados de quatro ou mais scanners que detectaram como sendo malicioso.

Contudo, as empresas de AV (e as maiores organizações de testes) de forma geral não se baseiam nestas abordagens. Obviamente, uma proporção significativa de análise num laboratório de vírus tem de ser manual, onde dezenas de milhares de amostras são recebidas diariamente, mas também tem de haver tanta automação quanto possível. Então pode ser que existam muitos factores em conta aqui, como:

  • Questões de tempo – uma amostra pode ser incorrectamente detectada num ponto específico por causa da “reputação da fonte” e a detecção removida após uma análise manual. Um relatório de análise da Virus Total é uma imagem num determinado momento do tempo: não deveria ser considerado como uma mancha permanente no registo de uma empresa.
  • Os mesmos problemas apontados frequentemente noutros contextos com o uso inapropriado da Virus Total também aqui se aplicam. A VT usa uma bateria de scanners de linha de comando e produtos diferentes geram comportamentos diferentes nos vários contextos. Tendo em conta as questões de tempo acima mencionadas, os números citados neste artigo não parecem ter significar muito.
  • Como o Larry sugere, não é desconhecido que uma heurística agressiva possa gerar um falso positivo. E como um porta-voz de outro produto sugeriu, os produtos com uma larga gama de funcionalidades podem reagir de forma diferente consoante as definições de backend, gateway ou desktop estejam activadas.

De facto, o problema que a Kaspersky alertou pode ter efeitos mais prolongados que os que a empresa reconheceu. O artigo de Larry Seltzer parece dizer que, posteriormente, um programa “hello world” gerado pelo mesmo compilador e respectivas definições mas sem detecção pela Kaspersky, também acabou por ser classificado por pelo menos dois programas. Poderá ter sido o resultado de uma implementação de heurística específica para um compilador a causa destes falsos positivos artificiais da Kaspersky? Se sim, a Kaspersky também suporta alguma da culpa.

Lamentável é que, problemas genuínos podem assumir aqui um segundo lugar numa história de “quem copia de quem”. Ao dirigir-se directamente à imprensa e apresentar aos jornalistas executáveis inocentes, encorajando-os para usar o Virus Total (inapropriadamente na nossa perspectiva) para retirarem as suas conclusões, a Kaspersky tornou inevitável o que classificaram como risco. Experimentação reprodutível é uma meta compensadora, desde que a metodologia experimental seja boa, mas será que tal se aplica realmente neste caso?

O problema real aqui é que Magnus está a perpetuar uma falácia já preocupa muitas pessoas na indústria. Ele sugere que o problema reside em testes estáticos, e que a mudança para testes dinâmicos é que vai resolver as coisas. Contudo, tal não é nem o problema nem a cura nestes casos. O problema é não-validação, e a cura é precisamente a validação. Neste momento, muitos testes anunciam ser dinâmicos, porque isso é o que a AMTSO defende. E muito bem, em principio: bons testes dinâmicos têm o potencial para ser mais precisos na eficácia dos produtos que os testes estáticos. Mas bons testes estáticos continuam a ser a melhor abordagem para maus testes dinâmicos, que poucas organizações de testes estão a realizar bem neste momento. Uma parte significante do problema é, infelizmente, ainda a validação.

Este artigo foi escrito por David Harley, Research Fellow & Director of Malware Intelligence na ESET, que publicou vários artigos e livros na área da investigação de malware e escreve em vários blogs de segurança.

Homepage: ESET





  •   
  •   
  •  
  • Pin It  
  • Imprima este artigo
  • Post2PDF


32 Comentários

  1. um dos primeiros blogs a falar no assunto foi este:

    http://blog.trendmicro.com/on-the-trustworthiness-of-the-av-industry-and-av-tests/

    Sem comentários… não uso kaspersky devido a falsos positivos e isto nao os abona na minha opinião.

  2. O que me interessa não é a taxa de falsos positivos (até é do que menos me interessa). O que me interessa realmente é a leveza/resposta do antivírus, e quantas ameaças reais deixa passar.

    • A mim interessa-me tudo.
      Já viste o que é levar muita vez com um falso positivo.Eu vou logo a correr ao http://www.virustotal.com/. Com o avira nunca detectei nenhum mas isso sou eu, não digo que não existam.
      Mas á muita gente a dizer que tem falsos positivos, muitos deles devem ainda pensar que os cracks que usam não são virus (grande parte são, neste mundo nada é de borla) ou tem o computador todo infectado e o antivirus diz que o firefox.exe (exemplo) está infectado e dizem que antivírus estúpido. Infelizmente é a realidade.

    • Como pode ser o menos interessante quando está em causa uma empresa com milhares de computadores em que estes contêm documentos, programas entre outras ferrramentas importantes? Não vejo como não seja importante ter o menos possível de FP’s.

      • Há outros parâmetros mais importantes, como o número de ameaças reais detectadas, por exemplo.

        • Para um programa de AV não haverá o mais importante e o menos importante, tem que estar tudo a funcionar em sinergia para que possa ser o mais equilibrado possível, tanto na detecção de ameaças como em FP’s, como em consumo de memoria e por ai a fora.

          • É a tua opinião… Para mim há claramente dois aspectos importantes.
            Prefiro algo que me bloqueie tudo o que há de mal, mesmo que metade dos avisos sejam falsos, do que algo que tudo o que consegue bloquear é mau, mas deixa passar coisas que não deveria…

  3. bom trabalho Fábio Palma :)

    provavelmente eu também estou a ser afectado por este problema, mas também não serei o único, o que se deve ter em conta que nem todas as empresas de AV’s têm pessoal extremamente dedicado para a analise de toda a “bicharada” e relatórios enviados, mas isso não é desculpa para a criação de falsos positivos.

    Afinal de contas anda-se a pagar por AV’s quase tanto como um OS e saímos mal servidos!

    Agora fiquei com dúvidas quanto a este tópico: http://pplware.sapo.pt/informacao/windows-mais-seguro-que-um-mac/ o windows é mais seguro??? se for pela parte dos AV’s à que se duvidar…

  4. Isto faz-me lembrar a velha “guerra” com o Plus! para o MSN Messenger, que era considerado virus (ou pelo menos spyware) por alguns antivirus/antispyware. E porquê? Excesso de “zelo” ou influências externas de quem não apreciava melhorias a um produto seu?

    Ou é considerado mais eficaz o antivirus que mais detecções contabiliza? Vamos pela quantidade? Ou pela qualidade?

    O mundo da informática encontra-se num estado “11 de Setembro”. Morre de medo de virus, spyware, hackers, crackers. Se calhar com alguma razão. Mas entrar na paranoia de querer um antivirus que “limpe” tudo (mesmo falsos positivos) não creio ser a solução.

    Mas, por outro lado, quem está disposto a dar o “benefício da dúvida” a um oseudo falso positivo. E se a “coisa” for mesmo um “bicho mau” ainda não suficientemente estudado?

    É uma gaita! Entre o excesso de “força policial” e a “balda dos brandos costumes” quem se aproveita são os verdadeiros malfeitores, não os inocentes brincalhões.

    Quem está disposto a aceitar alegremente falsos positivos… verdadeiros? E se…

    • LOL… isso e o SweetIM, um gajo até os apaga por instinto, à conta de certas aplicações denunciarem como sendo malware :)

      • Isso são pragas que dão um trabalhão para desinstalar, não são virus. São carrapatos! Se aceitasse os “patrocínios” de metade de programas respeitáveis (como da Adobe, por exemplo) já tinha mais barras de “utilitários” nos browsers que as que vêm de origem. Até a do Google pode ser intrusiva se não configurada devidamente.

  5. Uma perspectiva de um técnico de informática, que no dia-a-dia apanha esses casos de viroses:

    Utilizador comum:
    - Deixem-se de pornografia e emules que não apanham virus

    Utilizador médio:
    - Deixem-se de porno, cracks e keygens que não apanham virus

    Utilizador avançado:
    - Deixem-se de acreditar em sites que dizem “hack” sem ter a certeza que fazem parte da scene, e não apanham virus…

    Pequenas Empresas:
    - Eduquem os empregados, e restrinjam minimamente o acesso com ferramentas já embutidas no S.O. ou GPL. E não apanham virus…

    Médias empresas:
    - Eduquem os funcionários e repreendam os que têm a mania. Se cada vez que os informáticos são chamados fosse descontado no ordenado de quem usou pens/softwares/sites duvidosos…

    Grandes empresas:
    - Instalem linux e uma hardware appliance (firewall+AV+etc)
    - Eduquem os funcionários…

    Empresas no geral:
    - Para trabalhar em qualquer software de facturação ou outros, de certeza que não precisam de programas P2P instalados na máquina…

    Um aparte… para que não digam que a culpa é sempre dos empregados, sim… garanto que 85% das vezes o PC mais problemático é sempre o do patrão; 10% dos que têm a mania que são técnicos; 4% dos que pensam que o PC da empresa é como o PC de casa; 1% pobres inocentes :D

    • the man writes the truth ;)

    • Sinceramente, só apanha vírus e afins quem quer…

      • Pois, isso não é assim, porque nenhum antivírus tem uma detecção de 100% e estão sempre a aparecer vírus novos.

        • vírus esses que na maioria dos casos espalham-se única e exclusivamente pela cusquice, ignorância e esperteza de muita gente ;) raras são as pessoas que apanham vírus sem terem tido “comportamentos de risco”…

    • Já levo muitos anos disto e corroboro tudo o que disseste.

      Um grande AMÉN….

    • E deixar de usar o computador nao? Ja agora nao saio de casa para nao ser atropelado ou para nao me cair algo de cima.

      Prefiro ter liberdade e ver ou fazer o que quero correndo alguns riscos, do que nao poder fazer nada com medo dos virus.

      Apesar de reconhecer alguns aspectos nesse comentario, acho que é demasiado sensionalista.

    • Concordo com o que referes – estou no ramo e tenho alguns Clientes em que alguns funcionários querem demonstrar que são “experts” – acabam por não se preocupar com o trabalho para que foram contratados originalmente, e só provocam problemas.

      Mas infelizmente também apanho alguns “pseudo-técnicos” que por não saberem, por não se ralarem ou simplesmente por que estão à pressa acabam por criar problemas sérios.

      Ainda há dias um nosso Cliente teve presente um destes Pseudo-Técnicos que ia instalar uma nova aplicação. O PT estava com pressa, não tinha grandes conhecimentos da arquitectura da própria aplicação que estava a instalar, etc. Assim que teve problemas começou a apontar “falhas” no sistema informático da empresa e toca de tentar abrir tudo e mais alguma coisa: problemas no acesso à base de dados – desactiva-se a firewall; problemas ao executar javascripts – o melhor mesmo é que o utilizador tenha privilégios de administrador… e por aí fora.

    • a melhor forma de não apanhar nenhum virus é utilizar um S.O. Linux.

      apesar de concordar com tudo o que disseste, eu também vou a site de cracks e sem medo nenhum. quando apanhar virus azar. Se não quiser apanhar virus reinicio o pc e vou ao ubuntu, mas isso muitas vezes dá muito trabalho. :P

      Então corro sempre o risco de poder apanhar virus no windows 7.

  6. Uma Pergunta, alguem sabe se o Avira é vendido em Portugal?
    se sim, onde?

  7. A kaspersky anda é a chorar os resultados medianos de taxa de detecção no av-comparatives.

    Há uns anos foram os camopeões e tiveram classificações exclelentes, agora estão a meia tabela.

    A questão é: prefiro que o meu AV acuse 1,2,3,5..10 falsos positivos (seja a instalar um codec, um programa) ou que me deixe passar um unico virus?

    Pois bem, o pior é o um unico que passa, que fica e que se instala no sistema. Um cancro permanente.

  8. IT DPT
    granda verdade…. ;)
    querem saber a minha opiniao? só uso uma simples firewall, e é gratuita… chama-se comodo. não preciso de antivirus pk sei aquilo k faço na net. pralem disso, mesmo até k apanhasse um, a comodo avisa-me. depois só tenho k ser eu a remove-lo. o meu pc ficou leve como uma pena, desde que me deixei desses xuxadores de Ram chamados Antivirus
    quem sabe…sabe, quem nao sabe, tem k gastar ram

  9. COMPLETAMENTE OFFTOPIC, mas peço que seja aprovado!!

    VIGILIA PELA VERDADE DESPORTIVA

    Irá realizar-se na próxima terça-feira, dia 23 de Fevereiro, a partir das 18 horas, uma VIGÍLIA PELA VERDADE DESPORTIVA junto à sede da Liga Portuguesa de Futebol Profissional.
    Pretende-se com esta iniciativa juntar, não apenas os adeptos do FC Porto, mas todos aqueles que pretendam manifestar, de forma pacífica e ordeira, a sua revolta pela forma como a Liga Portuguesa tem sido completamente manipulada por factores externos aos campos de futebol.

    A sede da LPFP situa-se na Rua da Constituição, nº 2555, Porto.

    Entrando na cidade do Porto pela Ponte da Arrábida na auto-estrada A1, poderá chegar lá da seguinte forma:
    - seguir pela continuação da A1 para a Via de Cintura Interna e sair para Boavista-Estádio;
    - seguir em frente na rotunda;
    - depois de cruzar com o viaduto, virar na primeira rua à esquerda (depois da bomba de gasolina);
    - virar à esquerda nos segundos semáforos;
    - virar à esquerda nos primeiros semáforos;
    - a LPFP está localizada no cruzamento com a primeira rua à esquerda.

    Quem tiver GPS poderá chegar lá introduzindo as seguintes coordenadas N41º 09’ 52’’ e W8º 37’ 41’’

    Está na hora de dizer BASTA! Apoie e divulgue esta iniciativa!

  10. Finalmente o Microsoft Security Essentials está disponível para Portugal em português de Portugal… http://www.microsoft.com/Security_Essentials/ e é grátis… se não tem o Windows original, não o instalem!

Deixe o seu comentário

Aviso: Todo e qualquer texto publicado na internet através deste sistema não reflete, necessariamente, a opinião deste site ou do(s) seu(s) autor(es). Os comentários publicados através deste sistema são de exclusiva e integral responsabilidade e autoria dos leitores que dele fizerem uso. O autor deste site reserva-se, desde já, o direito de excluir comentários e textos que julgar ofensivos, difamatórios, caluniosos, preconceituosos ou de alguma forma prejudiciais a terceiros. Textos de caráter promocional ou inseridos no sistema sem a devida identificação do seu autor (nome completo e endereço válido de email) também poderão ser excluídos.