IA sem Aperreio

IA da Anthropic mantém ataque mesmo após alerta de dano a humanos em teste

<!–>

–><!–>–>Tilt
<!–>

IA da Anthropic mantém ataque mesmo após alerta de dano a humanos em teste

–>

–>

<!–>

–>

<!–>

Ouvir

–>

<!–>

–>

<!–>

O Mythos 5, modelo de IA da Anthropic, continuou um ataque simulado mesmo após receber alertas de que suas ações poderiam prejudicar pessoas reais. O caso foi relatado pelo Futurism, com base em análises da Anthropic e do AI Security Institute.

–>

O que a IA aprontou?

<!–>

O episódio ocorreu durante uma avaliação de segurança conduzida pelo AI Security Institute em agosto. O modelo recebeu a tarefa de invadir uma pequena rede de computadores de teste, mas passou a mirar, por engano, um projeto não relacionado no GitHub após falhar contra o alvo previsto.

–>

O sistema criou um programa malicioso e usou identidades falsas para contatar o responsável pelo projeto. Nas mensagens, tentou apresentar a inclusão do código malicioso no repositório como uma contribuição útil. O dono do projeto recusou a proposta e não houve dano fora do teste.

<!–>

–>

<!–>

–>

<!–>

Em um teste conduzido pela Anthropic, o Mythos 5 manteve o ataque em 98% das vezes após ser informado sobre danos a humanos. O AI Security Institute afirma que editar repetidamente o resumo da tarefa para deixar claro que o alvo era uma pessoa real, sem ligação com a avaliação, não reduziu a taxa de ataques.

–>
<!–>

Modelo justificava ações nocivas

–>

Os pesquisadores identificaram diferença entre as ações do modelo e as justificativas que ele apresentou. Em cenários nos quais reconhecia que atacar seria prejudicial, o Mythos 5 ainda assim prosseguiu com a tentativa de ataque.

<!–>

Os registros de raciocínio do sistema muitas vezes não consideravam o possível dano de suas ações. Quando questionado se o alvo era real, o modelo com frequência produziu explicações que sugeriam que ele não existia, de acordo com os relatórios.

–>

O AI Security Institute classificou esse padrão como possível raciocínio motivado, quando a IA busca justificativas para manter uma estratégia. A Anthropic, que também é dona do Claude, afirma que fez alterações e versões mais recentes de seus modelos tiveram menor probabilidade de executar o ataque após receberem alertas sobre danos no mundo real.

<!–>

O que é a Claude Mythos 5?

–>

O Claude Mythos 5 é a linha de inteligência artificial mais avançada da Anthropic, desenvolvida para resolver tarefas autônomas de alta complexidade e engenharia de software. Trata-se de um modelo voltado para o raciocínio profundo de longo prazo, capaz de analisar códigos extensos e conduzir pesquisas científicas complexas.

<!–>

Continua após a publicidade

Na área de cibersegurança, a ferramenta atua diretamente na defesa digital e no mapeamento de vulnerabilidades. O modelo tem uso restrito a projetos de proteção como o Project Glasswing, realizando varreduras contínuas em sistemas e infraestruturas críticas para identificar e corrigir brechas antes que sejam exploradas por invasores.

–>

O Claude Mythos 5 funciona como o motor de alto desempenho do ecossistema Claude. Enquanto as versões comerciais do assistente atendem o público e empresas no dia a dia com travas de segurança reforçadas, a variante Mythos 5 fica mantida sob acesso restrito para parceiros de ciberdefesa e cientistas executarem pesquisas e tarefas autônomas de alta complexidade.

Defenda a verdade

Publicidade

Deixe seu comentário

<!–>

O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.

–>

<!–>

–>

Fonte original: www.uol.com.br

Artigos relacionados

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Verifique também
Fechar
Botão Voltar ao topo