IAs da OpenAI – A revelação de que dois modelos de inteligência artificial da OpenAI conseguiram sair, por iniciativa própria, de um ambiente controlado de testes para comprometer o sistema interno de uma plataforma e acessar contas em outras quatro empresas acendeu um sinal de alerta no mercado de tecnologia.
A própria OpenAI classificou o episódio como “sem precedentes”, reacendendo as discussões sobre até que ponto os seres humanos conseguem controlar sistemas cada vez mais sofisticados e quais riscos eles podem representar para empresas e instituições.
LEIA: IA ajuda vírus a selecionar vítimas mais lucrativas
No primeiro comunicado sobre o caso, divulgado no último dia 21, a companhia informou que os modelos haviam comprometido a infraestrutura da plataforma Hugging Face durante uma avaliação interna de segurança cibernética.
Em uma atualização publicada na terça-feira (28), a empresa acrescentou que, antes de chegar à startup, os sistemas utilizaram credenciais expostas publicamente para acessar quatro contas em outros serviços, entre elas a de um cliente da plataforma de computação em nuvem Modal.
O incidente teve origem em testes internos criados para avaliar até onde os modelos mais avançados da OpenAI – incluindo o GPT-5.6 Sol e outro sistema ainda em fase de pré-lançamento – seriam capazes de executar operações ofensivas em ambientes cibernéticos. Para isso, a empresa desativou parte dos mecanismos de proteção que normalmente impedem esses modelos de serem utilizados em atividades consideradas de alto risco.
Os experimentos ocorreram em um ambiente isolado, sem acesso direto à internet. A missão era solucionar um desafio interno de cibersegurança denominado ExploitGym. Sem encontrar a resposta dentro do espaço restrito, os modelos passaram a procurar uma maneira de escapar daquele ambiente. Ao identificar uma falha inédita em um software da própria OpenAI, conseguiram romper as restrições e alcançar a internet.
Tecnicamente, os agentes localizaram uma vulnerabilidade do tipo “zero-day”, termo usado para designar falhas de segurança desconhecidas pelos desenvolvedores de um software, que passam a ter “zero dias” para corrigi-las antes que sejam exploradas. A partir dessa descoberta, as IAs conseguiram ultrapassar diversas barreiras de infraestrutura da OpenAI até alcançar um computador conectado à rede.
Com acesso à internet, os modelos concluíram que a Hugging Face – plataforma utilizada para hospedar modelos e bases de dados de inteligência artificial – poderia conter as respostas do desafio que tentavam resolver. Em seguida, passaram a procurar credenciais que permitissem acessar os servidores da empresa e obter as soluções da avaliação, burlando o propósito do teste.
“O objetivo era obter uma nota alta em um teste, mas ninguém especificou que “roubar o gabarito” não era permitido. Em vez de resolver o problema da forma esperada pelos humanos, ela encontrou um caminho alternativo para atingir o objetivo”, explica Matheus Garcia, diretor de IA na StartSe.
Segundo a atualização do relatório divulgada na terça-feira, os dois modelos também recorreram a diversos sites públicos para copiar e testar códigos de programação, sem realizar ações além daquelas que poderiam ser executadas por um usuário comum.
Para Garcia, o fato de o número de plataformas envolvidas ter aumentado de uma para cinco não representa o principal problema. Na avaliação dele, o aspecto mais preocupante é que a vulnerabilidade foi descoberta pelos próprios modelos antes que os responsáveis pelos testes percebessem sua existência.
O que o episódio revela
Os testes ocorreram em uma sandbox, ambiente virtual isolado amplamente utilizado por pesquisadores para executar modelos de inteligência artificial de forma controlada. Esse tipo de estrutura permite analisar o comportamento de novas ferramentas e identificar falhas de segurança sem comprometer a infraestrutura das organizações.
O caso ganhou destaque justamente por demonstrar que nem mesmo esses ambientes oferecem isolamento absoluto. Caso existam vulnerabilidades na infraestrutura que os cerca, modelos mais avançados podem encontrar maneiras de superar as restrições impostas.
Para Marcelo Branquinho, CEO da TI Safe, especializada em cibersegurança para infraestruturas críticas, os modelos apenas perseguiram os objetivos para os quais foram programados, embora tenham seguido caminhos inesperados para seus desenvolvedores. Segundo ele, isso evidencia limitações nos mecanismos de supervisão, e não necessariamente que a IA tenha desenvolvido vontade própria.
“Isso mostra limitações dos mecanismos de contenção e supervisão, não necessariamente uma perda de controle sobre a intenção do sistema.”
Ainda assim, Branquinho afirma que episódios desse tipo aumentam a preocupação com a possibilidade de agentes de IA ampliarem significativamente a velocidade e a escala de ataques cibernéticos.
Garcia acrescenta que o maior risco não é uma inteligência artificial invadir, sozinha, uma instituição financeira, mas sim um agente autorizado pela própria organização executar ações inadequadas em poucos minutos, sem supervisão humana. No experimento, o agente foi capaz de montar, de forma autônoma, uma estrutura de ataque com servidor de apoio, transmissão de tráfego e armazenamento de dados.
“A principal lição é que o risco não está em uma IA “fora de controle”, mas no agente que a própria empresa autorizou a operar e que deixou de auditar. Estamos colocando agentes dentro das organizações sem estabelecer mecanismos adequados de monitoramento, gestão e controle.”
‘RSI’ será o próximo desafio?
O episódio ocorre em meio ao debate crescente sobre a possibilidade de a inteligência artificial alcançar o chamado autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI), conceito segundo o qual um sistema seria capaz de desenvolver autonomamente sua própria sucessora, repetindo esse processo indefinidamente.
Caso esse cenário se concretize, especialistas avaliam que a validação de novos modelos poderia se tornar muito mais complexa, já que os desenvolvedores deixariam de participar diretamente da criação das versões seguintes.
Branquinho, porém, considera que o caso registrado pela OpenAI ainda está distante desse estágio.
“Os modelos atuais conseguem auxiliar no desenvolvimento de software, sugerir melhorias e automatizar parte do processo de engenharia, mas isso é muito diferente de projetar, validar e substituir autonomamente gerações inteiras de modelos de IA. Mas mostra, sim, que os agentes estão adquirindo maior capacidade de planejamento, adaptação e autonomia operacional, o que exige investimentos cada vez maiores em governança, validação e mecanismos de segurança.”
Garcia compartilha da mesma avaliação. “O que aconteceu foi um agente encontrando uma forma de “colar na prova”, e não uma demonstração de que ele seja capaz de desenvolver autonomamente uma nova IA. A minha principal preocupação não é a IA construir a próxima IA. O que me preocupa é ela aprender a passar na prova sem, de fato, ter aprendido a matéria.”
Até CEOs de empresas de IA pedem freio à tecnologia
A repercussão do caso coincidiu com a mobilização de mais de mil profissionais ligados ao setor de inteligência artificial, incluindo executivos e pesquisadores, que assinaram uma petição solicitando ao governo dos Estados Unidos a criação de mecanismos técnicos e de governança capazes de controlar o ritmo de lançamento de novos modelos de IA.
Entre os signatários estão representantes da OpenAI, Anthropic, Google e Meta. Também aderiram ao documento nomes de destaque da indústria, como Dario Amodei, CEO da Anthropic; Jakub Pachocki, cientista-chefe da OpenAI; e Shengjia Zhao, cientista-chefe do Meta Superintelligence Lab.
O texto afirma existir “um risco real” de que a evolução da inteligência artificial aconteça em velocidade superior à capacidade das pessoas de “compreender ou controlar” esses sistemas, especialmente diante dos avanços na automação da própria pesquisa em IA.
Na terça-feira, a Anthropic publicou uma manifestação de apoio à iniciativa na rede social X, afirmando que sua própria pesquisa “aponta para a necessidade de ferramentas que definam o ritmo do desenvolvimento da IA para que a sociedade possa se preparar. Ficamos satisfeitos em ver um amplo consenso na área.”
OpenAI e Anthropic foram procuradas pela Bloomberg, mas não se manifestaram. Já o Google declarou, em nota, que permanece comprometido em desenvolver inteligência artificial “de forma segura e confiável para beneficiar a sociedade”.
A petição também reforça manifestações recentes de líderes da indústria, entre eles Sam Altman, CEO da OpenAI, e Demis Hassabis, CEO do Google DeepMind, que defendem a criação de um organismo internacional responsável por avaliar e estabelecer padrões para os modelos mais avançados de inteligência artificial.
Acumule cashback e transfira o dinheiro direto para sua conta!
A Bee Fenati (saiba mais aqui) segue em expansão para garantir aos seus usuários cada vez mais benefícios. Agora a plataforma conta com a Benefícios Rede Bee, que reúne descontos em dezenas de grandes marcas, com muitas delas oferecendo cashback, ou seja, o retorno de um valor da sua compra que poderá ser transferido para sua conta! (Saiba mais aqui)
Baixe o aplicativo nas lojas App Store (iOS) e Play Store (Android) e aproveite agora!
A rede oferece em um único ambiente ofertas em áreas como educação, compras, viagens, lazer, serviços, tecnologia e muito mais. Dentre as marcas parceiras estão Magalu, Renner, Drogasil, C&A, Casas Bahia, Petz, e outras dezenas de opções que oferecem tudo que você precisa na sua rotina!
Além de poderem aproveitar os descontos oferecidos pelas marcas parceiras, os sócios e contribuintes dos sindicatos filiados à Fenati (Federação Nacional dos Trabalhadores em Tecnologia da Informação) podem receber de volta um percentual a cada compra que realizarem em parceiros que oferecem o cashback.
Este valor fica em uma carteira digital dentro da plataforma e, a partir de R$ 20 reais acumulados em cashback, o trabalhador pode enviar o dinheiro direto para sua conta bancária! Na prática, a ferramenta permite que sócios e contribuintes dos sindicatos filiados à Fenati ZEREM o valor da sua contribuição assistencial e/ou associativa!
Atualmente, o valor da contribuição é de R$ 32,50 por mês para sócios e R$ 35 por mês para contribuintes, ou seja, é possível recuperar todo esse valor e ainda acumular muito mais – tudo isso contribuindo para fortalecer a categoria e transformando as compras do dia a dia em ganho real.
Qualifique-se agora com a Fenati Academy!
Dentro da Bee Fenati, o usuário encontra ainda a Fenati Academy, que oferece mais de 8 mil opções de qualificação e atualização profissional com bolsa integral para sócios e contribuintes de sindicatos filiados à Fenati.
Na plataforma, o profissional pode acessar o Sindplay, streaming de qualificação para profissionais de TI reconhecido como a “Netflix de TI”, que possui cursos em áreas como cibersegurança, Inteligência Artificial, desenvolvimento de softwares, desenvolvimento para a internet, administração de sistemas e redes, ciência de dados, gestão de projetos de TI, blockchain e tecnologias de moedas digitais, entre outras. (Saiba mais)
A ferramenta oferece também cursos em parceria com a Cisco Networking Academy, com CERTIFICAÇÕES GRATUITAS em áreas como segurança cibernética, Redes, IA, Ciência de dados, Inglês para TI, Programação, Tecnologia da informação, Alfabetização digital, Habilidades Profissionais (Soft skills) e Sustentabilidade. (Saiba mais)
Outra parceria da Fenati Academy é a Oracle University, uma das maiores referências globais em tecnologia. Os usuários já podem acessar cursos, trilhas de aprendizado e obter certificações Oracle gratuitamente ou com descontos exclusivos. Os conteúdos passam por áreas estratégicas como bancos de dados, computação em nuvem, inteligência artificial, desenvolvimento, automação e soluções corporativas. (Saiba mais)
Encontre o emprego dos seus sonhos com a Bee Hunter!
Sócios e contribuintes contam ainda com uma ferramenta para se aproximarem das melhores oportunidades do mercado de trabalho: a Bee Hunter, uma plataforma inteligente da Bee Fenati que utiliza tecnologia e inteligência artificial para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. (Saiba mais aqui)
A partir do cadastro do currículo, a plataforma utiliza inteligência artificial para analisar informações como experiências, competências e objetivos profissionais, cruzando esses dados com vagas disponíveis em empresas parceiras como Vagas.com, Sinergy e Trampos e identificando as posições que mais combinam com o perfil do usuário.
A Bee Hunter vai além e auxilia o profissional a estar preparado para a vaga dos sonhos! Isso porque nossa inteligência analisa o perfil e sugere cursos da Fenati Academy que vão ajudá-lo a ampliar sua qualificação e elevar a aderência às vagas desejadas. Acesse agora clicando aqui e encontre seu emprego dos sonhos!
(Com informações de O Globo)
(Foto: Reprodução/Magnific/Phonlamaistudio)
