OpenAI denuncia roubo de ‘raciocínio’ do ChatGPT pela China
Eleições 2026: Especial do TecMundo traz propostas de candidatos sobre IA, tecnologia e games
O TecMundo produziu uma série de matérias mostrando o que candidatos à presidência com maior intenção de voto pensam e prometem sobre o tema tecnologia, intelig.
A empresa de inteligência artificial (IA) OpenAI revelou em um relatório que foi alvo de uma tentativa de extração de capacidades de seus modelos de linguagem. A responsável, segundo o estudo interno, foi uma plataforma chinesa.
O caso foi revelado nesta quarta-feira (30), mas teria acontecido na primeira semana de julho. De acordo com a OpenAI, ela detectou 16 mil pedidos e prompts feitos ao ChatGPT a partir de um mesmo “padrão de extração” enviado por cerca de 4 mil usuários.
O ChatGPT foi a IA usada para extração de raciocínio por marcas chinesas. Foto: Alice Labate/Alice Labate/Estadão
A atividade irregular em questão é o processo conhecido como destilação. Ele ocorre quando um modelo de linguagem de menor capacidade “treina” a partir de múltiplos prompts enviados de forma massiva para um concorrente de maior base de dados, registrando e absorvendo esses conhecimentos e respostas para si mesmo.
Uma investigação posterior feita por agentes independentes revelou que mais de 15 mil contas estiveram envolvidas no processo, que foi totalmente desmantelado em 28 de julho. A suspeita da atividade é a Moonshot AI, responsável pelos modelos de linguagem Kimi. A empresa ainda não se manifestou oficialmente sobre a acusação.
Por que esse tipo e ação é considerado grave?
Em formas mais sofisticadas da destilação, que foi justamente o que teria acontecido com a OpenAI, os operadores da outra IA podem levar um chatbot a revelar detalhes de como funciona o “raciocínio” da plataforma, algo que é protegido por criptografia e várias outras camadas de segurança.
Como a própria empresa aponta, esse raciocínio é uma espécie de “registro interno” do processamento de uma tarefa, contendo informações omitidas na resposta final que ajudam outros serviços a reproduzir as capacidades do modelo mesmo sem ter a mesma base de dados ou poder computacional.
- Esse tipo de ação é considerado arriscado por envolver o possível envio de documentos sigilosos de empresas e organizações públicas ou militares de um país para o outro no processo de “extração” de respostas;
- Tanto China quanto Estados Unidos consideram essa atividade perigosa por motivos de segurança nacional, mas não há uma criminalização oficial para a prática na indústria;
- OpenAI e Anthropic já haviam denunciado o uso de destilação por outros modelos chineses anteriormente;
- A xAI, empresa de Elon Musk, também usou destilação em algum momento do processo de treinamento do Grok.
A OpenAI garante que os responsáveis pela destilação não quebraram a criptografia ou acessaram conversas armazenadas no sistema, restringindo a ação à manipulação de prompts. Como resposta, ela prometeu avanços na segurança contra esse tipo de ação.
Como os EUA vão investigar se as IAs representam riscos reais para a humanidade? Entenda nesta matéria!
Fonte da notícia: Estadão | As Últimas Notícias do Brasil e do Mundo https://www.estadao.com.br/tecmundo/inteligencia-artificial/ia-chinesa-tentou-roubar-modo-de-raciocinio-do-chatgpt-diz-openai/
Nilton Kleina
