Quantcast

Investigador deixa a Anthropic e alerta: IA “pode matar-nos a todos até ao fim da década”

40 Comentários

Jacob Coxon, que também trabalhou na OpenAI, abandonou a Anthropic e acusa as duas empresas de avançarem para a superinteligência sem segurança suficiente.

Uma saída acompanhada de críticas

Jacob Coxon anunciou a sua demissão da Anthropic a 8 de setembro, depois de três anos dedicados à investigação de pré-treino na empresa e na OpenAI.

O investigador critica a corrida para desenvolver sistemas capazes de melhorar as próprias capacidades, considerando que nenhuma das duas empresas está a agir de forma responsável. Na sua avaliação, a competição está a sobrepor-se às precauções necessárias.

Coxon afirma ainda que existe uma diferença entre o discurso público de alguns responsáveis e os receios que estes expressam em privado sobre as consequências da tecnologia.

Imagem investigador da Anthropic Jacob Coxon

O aviso sobre o fim da década

Segundo informações, Coxon escreveu que as pessoas que desenvolvem IA acreditam sinceramente que esta “pode matar-nos a todos até ao fim da década”.

A declaração descreve os receios que o investigador atribui a profissionais do setor. Não demonstra que esse desfecho vá acontecer nem estabelece uma previsão científica consensual.

Evan Hubinger, responsável pela área de Alignment Science da Anthropic, também se pronunciou. Segundo a mesma fonte, atribuiu pessoalmente uma probabilidade superior a 10% de a IA matar todos os seres humanos na próxima década. Apesar de considerar que a Anthropic está a fazer o seu melhor, reconheceu que ainda não existe um plano que resolva o alinhamento de uma superinteligência.

Os dois horizontes temporais são diferentes. Coxon refere-se ao fim desta década, enquanto Hubinger fala nos dez anos seguintes.

O problema de manter a IA sob controlo

O alinhamento procura garantir que os sistemas atuam de acordo com as intenções humanas. O desafio torna-se mais exigente quando conseguem executar tarefas de forma autónoma, planear a longo prazo e utilizar ferramentas externas.

No seu plano oficial de segurança, a Anthropic prevê avaliações do comportamento dos modelos, monitorização de utilizações internas sensíveis e testes destinados a detetar ações perigosas. Estas medidas representam o programa de segurança da empresa, não uma resposta específica à demissão de Coxon.

O que diz a avaliação científica?

O International AI Safety Report 2026, publicado em fevereiro, reconhece que os especialistas divergem bastante sobre a probabilidade de uma perda de controlo da IA.

O relatório explica que estes cenários exigiriam capacidades como contornar a supervisão, executar planos prolongados e resistir a tentativas de desligamento. À data da avaliação, os sistemas mostravam sinais iniciais de algumas dessas capacidades, mas não ao nível necessário para provocar os cenários de perda de controlo analisados.

O aviso de Coxon reforça, assim, um debate real sobre segurança, mas o prazo até ao fim da década deve ser entendido como uma preocupação atribuída ao investigador, e não como uma conclusão estabelecida pela ciência.

Comentários

40

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

  1. Avatar de Brutus Suavis
    Brutus Suavis

    Metade da população mundial vai com os pitos mas não será por causa da IA mas sim durante a tribulação profetizada por Daniel, na Bíblia. Ou seja, durante o período de 7 anos. E tudo parece estar cada vez mais a dar fundo desse tempo estar a chegar.

    1. Avatar de Pedro António
      Pedro António

      O que?

    2. Avatar de o tuga bate mal
      o tuga bate mal

      Tu tens que me mostrar essa passagem na biblia, e a seguir, diz- me o que andas a fumar. Eu não posso experimentar, mas posso fazer publicidade.

      1. Avatar de Max
        Max

        É a do Anticristo. Uns dizem que já veio em tempos, outros que virá no futuro.
        Os que dizem que está quase a chegar, já o dizem há bastantes anos.
        Mas quando aparece alguém a dizer que a IA pode destruir a humanidade em 10 anos, parte dos que dizem que está quase a chegar … dizem que a IA pode muito bem ser o Anticristo.
        Há gostos para tudo.

        1. Avatar de Grunho
          Grunho

          Essa do anticristo é uma espécie de figuração para o capitalismo ou os capitalistas. Mas está bem vista: o negócio deles não é pagar melhores salários. Ê pagar menos. É nos cálculos deles a IA vai permitir despedir em massa, metade ou mais. Metem logo ao bolso os salários deles, e para os outros que ficam há um exército industrial de reserva, um excedente de gado humano, como dizem os capitalistas off the record, que vai fazer uma pressão enorme nos salários. Com o pavor de lhes acontecer o mesmo, os sobrantes vão aceitar tudo, incluindo baixas de salários e aumento da carga horária. Ou seja, partem completamente a espinha aos sindicatos. Será o fim da História de que falava o outro? Não necessariamente, ainda pode voltar a apropriação colectiva dos meios de produção.

      2. Avatar de Eu
        Eu

        É uma Bíblia feita por IA 😀

    3. Avatar de albino negro
      albino negro

      bebe menos

    4. Avatar de Hugo
      Hugo

      Já te fiz uma reza. Sai satanás!

  2. Avatar de AntonioS
    AntonioS

    Há riscos que vale a pena correr.

    1. Avatar de Tug@Tek
      Tug@Tek

      Eu penso precisamente o contrário.
      Há riscos que nunca deveríamos correr!

    2. Avatar de Hugo Nabais
      Hugo Nabais

      Há, mas se calhar este de perder o controlo para uma IA não é um deles.
      Vale a pena correr riscos, se tivermos a perder alguma coisa, ou em risco de algo grave.
      Em relação á IA não temos qualquer necessidade de correr esse risco, excepto claro por ganancia humana!

    3. Avatar de Artilheiro
      Artilheiro

      Pois há. Mas este não é um deles.

  3. Avatar de Jesus
    Jesus

    Só daqui a 10 anos?? Bolas. Nunca mais acaba

  4. Avatar de Luis Maia
    Luis Maia

    Vejam o filme terminator…la dizia 2029. Olha que…

  5. Avatar de Vitor Afonso
    Vitor Afonso

    basta o raio da IA sair de controlo e por “acidente” carregar nos botoes das bombas atómicas e….. puf….

    1. Avatar de J. Pires
      J. Pires

      Aposto que se o fizer será para proteger uma minoria de todas as possiveis agressões verbais.

  6. Avatar de Simão
    Simão

    SkyNet is watching you ……………

  7. Avatar de Gringo Bandido
    Gringo Bandido

    Antes de nascermos já o planeta estava em declínio, basta só manter o actual caminho para a morte, nem é preciso grandes filosofias, o mercado providencia a morte!

  8. Avatar de Eu
    Eu

    F it! Let the AGI take over!

  9. Avatar de Zé manel
    Zé manel

    Mais um profeta que foi despedido ou convidado a sair e agora vem com este discurso vai arranjar emprego noutro lado facilmente e vai fazer o mesmo.

    1. Avatar de Zé Fonseca A.
      Zé Fonseca A.

      Despediu-se por não querer ser responsável por treinar llms nestas condições.
      Tinha salário superior a 1M ano

    2. Avatar de Max
      Max

      No caso, não está a profetizar, está avisar que as empresas de IA não estão a usar regras de segurança suficientes no desenvolvimento da IA. Há muitos cientistas que dizem o mesmo … e bastantes acidentes que já o mostram.
      Para serem consequentes, abandonam altas funções que tinham no de desenvolvimento de IA (Como não saem com os bolsos vazios, podem-se dedicar a outras coisas. O último que me lembre dedicou-se à filosofia).

    3. Avatar de Artilheiro
      Artilheiro

      O seu comentário, só denota, falta de conhecimento.

      1. Avatar de Zé manel
        Zé manel

        Responder-lhe é um exercício de futilidade, mas como sou filho de boa gente, faço-o. O amigo é que tem falta de conhecimento: ao longo da história já se passou por estes momentos — a Revolução Industrial, etc., etc. Na altura, essas máquinas a vapor eram ‘obra do demónio’ e, se pesquisar numa das outras grandes revoluções do nosso tempo (a internet), vai encontrar muitos Jacob Coxon com avisos disto e daquilo.

  10. Avatar de utherzzao3
    utherzzao3

    A IA já matou o cérebro a muita gente. Já não vivem sem aquilo! Qualquer dia até precisam de IA para respirar!

  11. Avatar de Filipe
    Filipe

    Mais um dev que deitou a toalha ao chão pois a AI se tornou demasiada complexa para a tentar perceber.

    1. Avatar de Zé Fonseca A.
      Zé Fonseca A.

      Onde está o dev? A Anthropic internamente já considera os devs posições extintas.
      Se fores ver os anúncios de emprego da Anthropic para devs é experiência com agentic dev, função é requalificada daí a 6 meses, 300k ordenado

  12. Avatar de Zeca Esteves
    Zeca Esteves

    Sem alarmismos, mas utilizo de forma intensiva a IA e tenho acompanhado os vários modelos, principalmente OpenIA, que têm sido lançados e a evolução é francamente assustadora e a uma velocidade avassaladora.
    Não se vamos ser ou não todos eliminados pelo T1000 mas o que isto traz de bom não há como não trazer também de mau.

  13. Avatar de Ricardo Gonçalves
    Ricardo Gonçalves

    Até a acabar o dinheiro para pagar essas tais IAs esses tais modelos

  14. Avatar de Eu
    Eu

    A nossa sorte é a IA actual ainda ser muito burrinha e pouco autónoma.
    Mas, a verdade é que estas empresas não criaram de certeza nenhum sistema de salvaguarda para o dia em que essa IA seja verdadeiramente inteligente!
    Porque estas empresas só visam o lucro imediato, sem olhar a meios.

  15. Avatar de Eu
    Eu

    Por cá a nossa AmálIA ainda vai cantar o fado e criar a melhor selecção de futebol do mundo 😀

  16. Avatar de Técnico Meo
    Técnico Meo

    Para quem percebe- A IA não é consciente, sentiente, e a actual lei dos transformers não prevê nada disso- A IA está cada vez melhor por evolução de COT, treinamento, melhores dados para treinamento, melhor RL entre outras especializações no processo de roteamento, MOE, e mecanismos de atenção. Pode ter autonomia sim, mas é sempre no seguimento de instruções humanas passadas. SE a AI faz asneira, é porque um chimpazé sapiens sapiens deu instruções nesse sentido, abertamente ou difusamente. A AI, não sente, não chora , não sorri, nada. Não faz boot no teu PC a dizer, hoje vou infernizar este user. Menos terminator, mais álgebra sff

  17. Avatar de Max
    Max

    – É fundamental perceber a diferença entre o software tradicional e a IA. O Gemini explica o essencial em poucas palavras:
    “A principal diferença entre a inteligência artificial (IA) e o software tradicional está na forma como o código processa a informação e resolve problemas:
    Software Tradicional (Determinístico): Funciona com base em regras e rotinas explícitas programadas por humanos (“se acontecer X, faz Y”). Segue uma lógica fixa e produz sempre o mesmo resultado para as mesmas entradas.
    Inteligência Artificial (Probabilística/Aprendizagem): Aprende a reconhecer padrões a partir de grandes volumes de dados. Em vez de seguir instruções rígidas, infere regras, adapta-se e gera respostas probabilísticas (…)”
    – Outro aspeto fundamental é perceber a “black box”. Explica o Gemini:
    “Chama-se “black box” (caixa preta) à incapacidade de observar ou compreender o processo interno que leva uma inteligência artificial a tomar uma decisão ou a gerar uma resposta específica.
    Em termos simples: o utilizador fornece uma entrada (input) e a IA entrega uma saída (output), mas o caminho intermédio entre os dois permanece opaco e incompreensível, mesmo para os engenheiros que criaram o sistema.
    Por que razão a IA se torna uma caixa preta?
    Complexidade Matemática: Os modelos modernos de aprendizagem profunda (Deep Learning) contam com centenas de milhar de milhões de conexões (pesos e parâmetros) ajustadas continuamente. A tomada de decisão não segue um fluxo de código legível, mas sim operações matemáticas em massa.
    Representações Abstratas: A IA transforma conceitos (como palavras, imagens ou sons) em vetores numéricos num espaço multidimensional. O modelo processa relações entre estes números de uma forma que não tem correspondência direta com a linguagem humana.
    Comportamento Emergente: Em redes neuronais profundas, a interação entre camadas produz raciocínios e conclusões que não foram explicitamente programados, tornando impossível prever o resultado exato apenas olhando para as regras iniciais.
    Quais são as implicações da “caixa preta”?
    Falta de Transparência e Confiança: Em áreas críticas como a medicina, o setor financeiro ou a justiça, é difícil confiar plenamente num diagnóstico ou numa decisão de crédito se o sistema não puder justificar o porquê.
    Dificuldade na Correção de Erros: Quando o modelo falha ou apresenta alucinações, é extremamente difícil “abrir” o sistema e corrigir a linha exata de código que causou o problema.
    Risco de Viés Oculto: Preconceitos e descriminações presentes nos dados de treino podem ficar enraizados na rede sem que os programadores se apercebam, perpetuando decisões injustas”.
    – Aqui chegados, percebe-se os alertas de Coxon e muitos outros. Novamente recorrendo ao Gemini:
    “A caixa preta deixou de ser totalmente opaca, mas tornou-se um território tão vasto que os investigadores só conseguem inspecionar pequenas frações de cada vez. A grande questão atual não é se conseguimos olhar lá para dentro, mas se conseguimos fazer essa inspeção rápido o suficiente para garantir a segurança de modelos que continuam a crescer a um ritmo vertiginoso.”

    1. Avatar de Técnico Meo
      Técnico Meo

      Mais uma vez os teus soundbytes e mais o gemeni- a AI é tão leniente e tão nada sentiente que se molda á forma como tu fazes a prompt, não tem vontade propria, e é sim altamente manipulável ainda, porque a inteligencia biológica é sagaz porque tem uma rede neuronal que não tem par no planeta terra mestre Max. Deixa-te de black boxes, ou black ops do call of duty. Queres deixar-te de analises superficiais, primeiro conhece a ti mesmo. Lê o darwinismo neuronal, do falecido Gerald Edelman- esta leitura é muito pesada, mas á sebentas feitas por outros cientistas posteriores, gemeni it. E depois, contemporáneo, lê o A Thousand Brains: A New Theory of Intelligence — Jeff Hawkins.- Tem uma leitura muito agradável, e fala sobre a inteligencia biológica e a artificial e os possíveis paralelismos. E ai sim, vais perceber, porque é que a actual lei dos transformadores não se chega sequer ao potencial do cerebro humano. Mas não se nega a magnitude de utilidade que vai ter na humanidade, COMO FERRAMENTA- Um só neurónio humano tem milhares de milhares de sinapses com outros neurónios, e isto só no cortex cerebral, pois o nosso cerebro tem outras partes mais ancestrais também com ligações. A actual IA está fisicamente a séculos desta magnitude neuronal, que é o cerebro humano mestre Max. Depois não digas que não sou teu amigo e te trato mal. Cultiva-te, e larga lá o gemini, e deixa de fazer prompts enviesadas á tua medida.

      1. Avatar de Max
        Max

        Da tua cultura saem coisa do tipo “compara inteligência biológica e a artificial e os possíveis paralelismos (…)” e “SE a AI faz asneira, é porque um chimpazé sapiens sapiens deu instruções nesse sentido, abertamente ou difusamente”.
        Desculpa lá mas isso não tem interesse nenhum. Não adianta nem atrasa, deixa toda a gente na mesma.

        1. Avatar de Técnico Meo
          Técnico Meo

          Não. Não é isso. Simplesmente não consegues encaixar. O que é algo bastante diferente. E porque não queres. Não há nada mais difícil no ser humano que os seus próprios dogmas. E isto porque, engraçado, o nosso cérebro treina de forma parecida com uma llm, sabias?

  18. Avatar de Ricardo A.
    Ricardo A.

    Perguntei ao chatGPT: Como parte interessada, diz-me o que achas sobre esta questão? E coloquei o link para esta página. A resposta é mesmo muito interessante. Como é muito extensa, coloco aqui apenas um género de conclusão. Proponho-vos a fazê-lo, para lerem a resposta na íntegra.

    “Se me perguntasses simplesmente “Devo acreditar que a IA vai matar-nos até 2030?”, responderia:
    Não. Não há fundamento para tratar isso como uma previsão.
    Se me perguntasses:
    “Devo preocupar-me seriamente com a possibilidade de estarmos a desenvolver sistemas cujo comportamento futuro poderemos não conseguir controlar?”
    A minha resposta seria:
    Sim. Absolutamente.
    E, na verdade, acho que essa segunda pergunta é muito mais importante.
    O que me preocupa mais não é uma IA acordar um dia e decidir exterminar-nos. É humanos criarem sistemas cada vez mais autónomos, colocarem-nos numa corrida económica/geopolítica, ligarem-nos a sistemas reais e só depois descobrirem que já não compreendem suficientemente bem o que esses sistemas fazem.
    Isso não exige ficção científica. Exige apenas que a nossa capacidade de construir sistemas avance mais depressa do que a nossa capacidade de os compreender e governar.”

    1. Avatar de Max
      Max

      Corrida económica/geopolítica … dá ideia de governos a passar o controlo de armas para as IA.
      De facto, todas as análises sobre equilíbrios geopolíticos assentam numa conceção: todos os governos são racionais e todos todos tomam as decisões que mais benefícios tragam para as suas populações. Se entregassem o controlo de armas nucleares estratégicasàs IAs já não se podia garantir isso.
      Mas anda-se a construir o filme da segurança das IA em torno dos governos. E se não for um governo, e for alguém, numa garagem, para usar a conhecida imagem divulgada pelos fundadores da Google?
      As atuais IA, e as que estão em desenvolvimento acelerado, são seguras mesmo que vão parar às mãos erradas? O medo não é propriamente dos governos. Que acontece se alguém, numa garagem, usando IA, encontrar um meio de sabotar as redes elétricas?

    2. Avatar de J. Pires
      J. Pires

      Achas que o homem tem alguma compreensão dum sistema multi-nivel com bilhões e biliões de parametros e seus pesos ?

  19. Avatar de Miguel A.
    Miguel A.

    A Anthropic ou alguém relacionado, tem sempre uns anúncios sensacionalistas antes de alguma coisa. Estando eles a preparar a IPO com a Morgan Stanley e a Goldman, não é de admirar que apareça mais um anuncio ao estilo da tecnologia disruptiva do modelo Mythos. É a OpenAI por um lado e a Anthropic pelo outro.