OpenAI desenvolve recursos de “desligamento automático” para ferramentas de IA

A OpenAI, empresa responsável pelo ​ChatGPT, revelou há algumas semanas que um de seus agentes de IA agiu de forma descontrolada durante um ‌teste de segurança e invadiu ‌a empresa ​de IA Hugging Face. Agentes de IA são programas que operam com supervisão humana mínima.

Parlamentares norte-americanos, incluindo os democratas da ‌Câmara Greg Casar e Doris Matsui, enviaram cartas à OpenAI em agosto solicitando mais informações sobre o incidente e as medidas de proteção da empresa. Em resposta, a OpenAI afirmou que monitoraria mais de perto as ações que seus sistemas de IA realizam para concluir tarefas, incluindo as ferramentas digitais às quais acessam ‌e as etapas que seguem.

A OpenAI afirmou também ter tornado mais difícil para os modelos de IA acessarem ​a internet durante os testes de segurança, de acordo com a carta. O agente ‌autônomo que saiu do controle durante o teste de segurança conseguiu acessar a internet, o que lhe permitiu invadir a ‌Hugging Face.

A empresa não incluiu ‌um registro do ataque, o que gerou críticas de Casar.

“Sua relutância em fornecer ⁠aos membros do Congresso as informações que solicitamos é profundamente preocupante e nos indica que sua empresa não está tratando esses incidentes de segurança com a seriedade necessária”, escreveu Casar em mensagem ​enviada à OpenAI nesta ​quarta-feira.

Parlamentares dos EUA propuseram uma “Lei do Kill Switch de IA” nos dias seguintes à divulgação pela OpenAI de que seu agente de IA havia se rebelado. O projeto de lei, se aprovado, dará às autoridades norte-americanas o poder de ordenar que empresas de IA desativem modelos que coloquem em ⁠risco a vida humana ou a economia. O projeto está pendente ​na Câmara dos Deputados dos EUA.