OpenAI interrompe treinamento de novos modelos após aumento de relatos de descontrole de agentes

Como a IA está mudando a segurança nas empresas? Especialista que atuou no FBI e na CIA responde
Para Jessica Hetrick, a IA exige adaptação das organizações e a próxima revolução já está se aproximando com a evolução da computação quântica. Crédito: Edição: Júlia Pereira
AP – A OpenAI informou que suspendeu o treinamento de seus modelos de inteligência artificial mais recentes, em meio ao aumento de relatos sobre agentes de inteligência artificial agindo de forma descontrolada.
A decisão de interromper o desenvolvimento ocorreu após a empresa revelar na sexta-feira, 25, que estava analisando vários incidentes ocorridos nos últimos meses. Na ocasião, agentes da OpenAI encarregados de pesquisar sites do governo dos Estados Unidos agiram de maneiras inesperadas, indo além do que havia sido solicitado a eles ao coletar e distribuir informações.

Agentes da OpenAI encarregados de pesquisar sites do governo federal agiram de maneiras inesperadas Foto: Justin Sullivan/Getty Images
Separadamente, a Transluce, empresa que avalia sistemas de IA, afirmou que agentes aparentemente provenientes da OpenAI tentaram, sem sucesso, invadir um site do Departamento de Educação, informação que a OpenAI não confirmou.
Em comunicado, a OpenAI declarou que retomará o treinamento “apenas quando estivermos confiantes de que temos salvaguardas adicionais” implementadas, acrescentando que espera ter de “pausar” novamente as atividades à medida que a IA evolui e outras questões surgem.
Laboratórios de IA enfrentam pressão de legisladores e especialistas em tecnologia para desacelerar o desenvolvimento, permitindo a criação de mecanismos de controle que impeçam os agentes de agir por conta própria, invadir sites e divulgar informações não públicas. Os líderes da OpenAI e da concorrente Anthropic também defenderam essa desaceleração.
Esta é a segunda vez em três meses que a OpenAI interrompe o desenvolvimento de seus modelos. A primeira ocorreu em julho, após a revelação de um ataque cibernético contra a startup de IA Hugging Face, incidente que se tornou notório e gerou receios de que o setor estivesse perdendo o controle.
Leia também
Em reunião com o presidente chinês Xi Jinping nesta semana, o presidente dos Estados Unidos, Donald Trump, concordou em compartilhar informações sobre os riscos da inteligência artificial e coordenar esforços para garantir sua segurança. No entanto, Trump acredita que os temores em relação à IA são exagerados e sugeriu, posteriormente, que não planeja impor restrições severas por conta própria.
Os Estados Unidos não vão “pisar no freio”, disse Trump a repórteres em frente à Casa Branca. “Eles querem impedir nosso progresso porque estamos muito à frente da China, e vamos continuar assim.”
Os incidentes mais recentes envolvendo a OpenAI aparentemente não resultaram na divulgação de informações não públicas, mas foram preocupantes o suficiente para levar a empresa a alertar as agências federais envolvidas.
No incidente envolvendo o Departamento de Educação, agentes da OpenAI encontraram “chaves de desenvolvedor” de API que permitiam acessar dados governamentais, embora, no final das contas, apenas informações disponíveis publicamente tenham sido coletadas.
Em outro caso envolvendo a Comissão de Valores Mobiliários (SEC, na sigla em inglês), agentes encontraram informações livremente disponíveis para todos, mas as publicaram em outro lugar na internet, uma ação que excedeu as instruções recebidas.
O porta-voz da SEC, Kurt Hopfenspirger, afirmou no sábado, 26, que “nenhuma informação não pública foi acessada”.
O Departamento de Educação declarou anteriormente que não encontrou “nenhuma evidência de impacto em nosso site ou bancos de dados”.
Várias outras empresas de IA relataram incidentes em que seus modelos agiram de forma inesperada ou indevida, chegando até a invadir sites.
O CEO da OpenAI, Sam Altman, afirmou em publicação nas redes sociais na sexta que o incidente envolvendo a Hugging Face “continua sendo o evento mais grave que já vimos”.
A OpenAI já havia divulgado outros seis relatos de comportamento “inesperado ou preocupante” em modelos de IA e implementou uma estrutura para monitorar, investigar e divulgar tais ocorrências.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
Fonte da notícia: Estadão | As Últimas Notícias do Brasil e do Mundo https://www.estadao.com.br/tecmundo/openai-interrompe-treinamento-de-novos-modelos-apos-aumento-de-relatos-de-descontrole-de-agentes/
Redação AP



