Quantcast
PplWare Mobile

Como funciona o novo sistema da Apple para verificação de conteúdo de pornografia infantil

                                    
                                

Autor: Vítor M.


  1. MS says:

    Bem imagino a quantidade de crianças nuas que eles tiveram acesso para treinar o AI disto

    • Hello says:

      Se percebi bem, as fotos recebidas não são necessariamente de crianças. Pode ser de qualquer pessoa. O sistema está é no telemóvel de um criança.
      Mas sim a primeira coisa que me veio à cabeça foi a quantidade de fotos explícitas que os engenheiros da Apple tiveram de fornecer ao algoritmo

    • jlxpmme says:

      Não é por AI. É apenas um sistema de verificação de hashes. Existe uma base de dados de hashes de conteúdo deste, que depois é comparado.

      • jlxpmme says:

        Óbvio que alguém tem de marcar os fotografias, existe um processo para isso. Mas este processo não é AI. Daí nem haver risco de fotos que tu tires sejam marcadas por este sistema (a não ser que sejam mesmo explicitas e andes a espalhar pela net)

      • MPC says:

        lol, então basta por um water mark ou alterar um pixel para a hash ser diferente, o sistema é mesmo um algoritmo de reconhecimento de imagem, dai usarem acelerador AI. De qualquer modo. presumo que haja já encomendas à Apple pela China para detectar fotos com imagens que contem cartazes como “liberdade”, “Tibete”, ou na Aábia Saudita cartazes “Igualdade”,etc etc. Afinal a Apple na China vendeu-se e tem lá os servidores do iCloud para que o Governo Chinês possa usar a informação para o que lhe convem. E na Europa não tarda vai ser igual, afinal.

    • jlxpmme says:

      Só o primeiro caso de imagens explicitas no iMessage é que tem deteção por AI, mas são sistemas diferentes. O sistema de deteção de pornografia infantil é que já é só hashes mesmo.

    • David says:

      Se bem percebi, há zero AI. Isto é tudo feito com base em hashes de imagens conhecidas e confiscadas como pornografia infantil.

      É feito um check só do hash vs o que tens no telemóvel.

      Não é ilegal teres fotos dos teus filhos no banho, por exemplo. Uma IA ia falhar nisso de certeza… É preciso ler as notícias antes de comentar.

  2. onurb82 says:

    espero que a Google copie…

  3. Rui Pereira says:

    Eu não percebo muito, mas não acho que os pedófilos andem a enviar fotos de crianças uns aos outros via mensagem, nem as armazenem numa cloud qualquer…

    • Jose Mendes says:

      As vezes aparecem noticias de pessoas que tem x fotos nos computadores e nos tlm. Talvez alguns que tenham conhecimento de tecnologias e isso, mas n tenho duvida q mtos usem as clouds dos tlm e q tem à mão

      • Rui Pereira says:

        Sim, é verdade. Eu estava a pensar mais em pessoas com um envolvimento mais profundo, nomeadamente redes de pedofilia. Mas sim, tens razão.

  4. Jose Mendes says:

    Comecar a analisar fotos dos utilizadores abre caminho para tantas coisas potencialmente más… 1 e 3 são perfeitamente validos, o 2 pode ser uma caixa de pandora…

    • jlxpmme says:

      Concordo. No entanto olhando para a história e pensando bem, a Apple não é a primeira a fazer isto. Na realidade é capaz de ser uma das últimas grandes empresa a fazê-lo.

      A Google faz o mesmo nas plataformas deles (https://support.google.com/transparencyreport/answer/10330933?hl=en).

      Facebook e Microsoft também há muitos anos (antigo escritor da guardian que reportou – https://twitter.com/charlesarthur/status/1423363444754026499?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1423363444754026499%7Ctwgr%5E%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fwww.macrumors.com%2F2021%2F08%2F05%2Fsecurity-researchers-alarmed-apple-csam-plans%2F)

      Aliás, a Apple já faz isto no iCloud desde o ano passado. A única coisa que vai mudar é que vai passar a ser um processo local, e não no iCloud (https://www.telegraph.co.uk/technology/2020/01/08/apple-scans-icloud-photos-check-child-abuse/)

      E até hoje não existe nenhuma notícia, report, ou informação que mostra estes sistema anti CSAM a ser usados para mais do que foram desenhados.

      Por isso, apesar de não concordar com o conceito em si, para já não vejo qualquer razão para achar que vá ser abusado.

    • Jorge Carvalho says:

      Verifica hashes não fotos. São coisas diferentes.

      Abc

      • Jose Mendes says:

        As hashes sao verificadas no tlm. Quando detecta o tal treshold referido na noticia, as informacao é combinada e um operador na apple consegue reconstruir a foto e analisar. Nao faz sentido avisar a policia com provas de que uma AI reconheceu qq coisa num sitio e não se pode verificar. O problema sao os falsos positivos…

        Espero que sim @jlxpmme
        O que deviam fazer era publicarem os modelos e o codigo que usam, e assim estava aberto a escrutinio publico. Aí quem percebia do assunto poderia verificar. Digo isto para qq uma das empresas referidas.

        • David says:

          Não percebeste.

          O que a notícia diz é que o hashing algorithm (não tem nada a ver com IA ou imagens) que no final gera uma string do estilo ASFHQWGFQUIWGDQP12!DAS!”#”!!DASE!”# para cada imagem é resiliente a pequenas alterações na imagem. Tudo é feito localmente.

          O único “problema” destas imagens é que hash algorithms têm colisões (daí haver “1 hipótese em mil milhões por ano” de acontecer.
          Existe então uma hipótese muito ínfima de imagens detectadas serem enviadas para a apple para verificação, do que percebi, se passares um threshould. Portanto, um falso positivo não te faz falhar, vários falsos positivos faz.

          Seja como for, vocês não fazem mesmo ideia do que já acontece em ISPs e afins em Portugal. Se andarem a fazer o que não devem já estão a ser monitorizados. O que a apple faz é infinitamente menos invasivo (:

          • jlxpmme says:

            Exato @David. Muita gente não faz ideia. Aliás, o facto de isto estar a ser o escândalo que é para tanta gente mostra que muita gente não tinha noção mesmo. Aparentemente a maioria nem sabiam que as outras empresas como Google, Facebook e Microsoft já o faziam há muitos mais anos.

            Mas só quando a Apple decidiu fazer o mesmo é que começou a polémica e a conversa de privacidade e “quanto tempo até regimes como china ou outros países usarem isto para o mal, como apanharem pessoas que partilham imagens que não gostam simplesmente?”

          • Jose Mendes says:

            O esquema de hashing da apple eh baseado em AI. Chama-se Neural Hash. Tem tudo a ver com AI, mas ignorando esse parte. O resto tens razao. Eh match de hashes, pensava que eles conseguiam recuperar, mas so faz match com imagens ja existentes. Nao detecta coisas novas.

            Eeeee uma coisa sao os ISP e basicamente man in the middle. Ou seja a partir do momento q as comunicacoes n forem cifradas quando saem do dispositivo, qq pessoa no meio pode potencialmente ver o que esta la. Outra coisa eh o que a Apple faz, que eh directamente no dispositivo. Sao pontos de acesso muito diferentes. Mas tal como dizes, isto eh bastante menos invasivo pq so faz match de padroes. Nao envia nada para eles. Retiro o que disse antes. :3

        • jlxpmme says:

          Como isto são comparação de hashes este sistema par combater CSAM não usa qualquer AI(ponto 1 usa AI, o ponto 2 não). O sistema é brutalmente simples, é apenas uma base de dados de hashes de fotografias que são consideradas pornografia infantil, que é usada para comparar com as hashes das tuas fotos. São simples comparações de texto. Desta forma nunca vai haver um falso positivo com as tuas fotos, e ninguém consegue ver o conteúdo das tuas fotos. Talvez seja possível haver colisão de hashes, mas a probabilidade é ridiculamente pequena e é por isso que existe depois o tal threshold, sendo assim preciso identificar várias fotos para o sistema ser alertado

  5. Julio says:

    Apesar ser uma ótima medida. Isto levanta outras questões, como a privacidade das tuas imagens…para uma empresa que autointitula super segura e respeita a privacidade.. Lol está tecnologia vai simplesmente analisar todas a tuas fotos, ou seja privacidade zero, para elem de que…te limita na tua liberdade de tirar fotos aos teus filhos nus… Sim, quem é que não tem aquela bela foto de pequeno todo nu na praia ou na piscina?
    Já não posso tirar aos meus filhos igual?
    Uma coisa é pedofilia, pornografia infantil (completamente contra) ,outra é recordar é viver..
    Mais uma vez,se vê que a Apple é como Google Windows Facebook ou ainda pior… Porque cada vez mais cria maneiras de só ser ela a coletar os dados em nome da segurança lol como a música diz: “o golpe está aí, cai quem quer”

    • Jorge Carvalho says:

      Não percebeste nada pois não ?
      Lê ao artigo de novo que até explica razoavelmente bem.
      Faltou também dizer que é uma opção que tem que ser ligada.

      ABC

    • jlxpmme says:

      Nope. As tuas fotos não vão para lado nenhum e ninguém as vê, a não ser que tenhas fotos no iCloud e a polícia tenha uma mandato, aí podem aceder às tuas fotos.

      Este sistema cria uma hash de uma foto(uma representação em texto da imagem, da qual é impossível reverter e saber o conteudo da imagem) e comparam com hashes de uma base de dados que contém hashes de imagens de pornografia infantil. Ou seja o sistema só faz uma simples comparação de texto. Esta comparação das hashes é feito no telemóvel(apenas se tiveres iCloud ativo). Portanto para resumir:

      As tuas fotos não são carregadas para lado nenhum – apenas iCloud caso queiras
      Ninguém consegue ver as tuas fotos para além de ti – e só com um mandato é que poderão aceder a fotos que tenhas no iCloud(irrelevante neste contexto pois sempre se aplicou)
      Ninguém consegue saber o conteudo das tuas fotos com estas hashes
      As fotos que tu tiras nunca irão alertar este sistema, a não ser que seja pornografia infantil que tenhas publicado na internet e que eventualmente seja carregado para a tal base de dados
      Podes desativar por completo isto ao desativar backup de fotos para iCloud

      BTW, essas empresas de que falas, Google, Facebook e Microsoft têm este sistema há anos e nunca foi abusado. Google desde 2008 (antigo escritor da guardian que reportou – https://twitter.com/charlesarthur/status/1423363444754026499?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1423363444754026499%7Ctwgr%5E%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fwww.macrumors.com%2F2021%2F08%2F05%2Fsecurity-researchers-alarmed-apple-csam-plans%2F)

  6. ZeDasCabras says:

    hashes ou fotos completas não têm que scanar nada nos meus dispositivos.

  7. Pedro Silva says:

    estranho, não vejo nenhuma empresa a vir a tua casa ver se tens coisas que não é suposto sem forças de autoridade ou mandato judicial…
    Além de que, ao contrário do que dizem aqui, não são hashes criptográficas, são hashes que são geradas de forma a lidar com degradações e mudanças nas imagens como resizes e compressões, pelo que as colisões e falsos positivos são bastante frequentes e by design.

    • David says:

      ” uma hipótese em mil milhões por ano”.

      Não são bastante frequentes. São muito pouco frequentes. E se leres a notícia vês que não basta uma imagem. É preciso passares um certo threshould, ou seja, precisas de ter várias imagens apanhadas.

      Temos 31536000 segundos por ano. Tinhas que tirar mais ou menos 31 fotografias por segundo no teu iphone para teres 1000000000. Mesmo assim, suponho que teriam que ser todas diferentes. Isto para teres uma hipótese de te descobrirem uma image.

      Agora imagina teres que ter várias para seres considerado para uma review manual (que mesmo assim não te está a condenar) por teres tido várias imagens que bateram na base de dados de hashes de imagens já existentes. Eu diria que é praticamente impossível a não ser que andes a importar pornografia infantil para o teu telemóvel 😉

      Toda esta raiva advém de pessoas que leram o título e não fizeram as contas nem perceberam o sistema.

Deixe uma resposta

O seu endereço de email não será publicado.

You may use these HTML tags and attributes: <a href="" title="" rel=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

Aviso: Todo e qualquer texto publicado na internet através deste sistema não reflete, necessariamente, a opinião deste site ou do(s) seu(s) autor(es). Os comentários publicados através deste sistema são de exclusiva e integral responsabilidade e autoria dos leitores que dele fizerem uso. A administração deste site reserva-se, desde já, no direito de excluir comentários e textos que julgar ofensivos, difamatórios, caluniosos, preconceituosos ou de alguma forma prejudiciais a terceiros. Textos de caráter promocional ou inseridos no sistema sem a devida identificação do seu autor (nome completo e endereço válido de email) também poderão ser excluídos.