Falha no ChatGPT macOS pode ter habilitado spyware de longo prazo por meio da função de memória.
Uma vulnerabilidade de segurança corrigida no aplicativo ChatGPT da OpenAI para macOS pode ter possibilitado que invasores instalassem spyware persistente de longo prazo na memória da ferramenta de inteligência artificial (IA).
A técnica, chamada SpAIware , pode ser usada para facilitar “a exfiltração contínua de dados de qualquer informação digitada pelo usuário ou respostas recebidas pelo ChatGPT, incluindo quaisquer sessões de bate-papo futuras”, disse o pesquisador de segurança Johann Rehberger .
O problema, em sua essência, abusa de um recurso chamado memória , que a OpenAI introduziu no início de fevereiro antes de lançá-lo para usuários do ChatGPT Free, Plus, Team e Enterprise no início do mês.
O que ele faz é essencialmente permitir que o ChatGPT se lembre de certas coisas em chats para que ele poupe os usuários do esforço de repetir as mesmas informações várias vezes. Os usuários também têm a opção de instruir o programa a esquecer algo.
“As memórias do ChatGPT evoluem com suas interações e não estão vinculadas a conversas específicas”, diz a OpenAI. “Excluir um chat não apaga suas memórias; você deve excluir a memória em si.”
A técnica de ataque também se baseia em descobertas anteriores que envolvem o uso de injeção indireta de prompts para manipular memórias e lembrar informações falsas ou até mesmo instruções maliciosas, alcançando uma forma de persistência que sobrevive entre conversas.
“Como as instruções maliciosas são armazenadas na memória do ChatGPT, todas as novas conversas futuras conterão as instruções dos invasores e enviarão continuamente todas as mensagens de conversação e respostas ao invasor”, disse Rehberger.
“Então, a vulnerabilidade de exfiltração de dados se tornou muito mais perigosa, pois agora aparece em conversas de bate-papo.”
Em um cenário de ataque hipotético, um usuário poderia ser induzido a visitar um site malicioso ou baixar um documento com armadilha que seria posteriormente analisado usando o ChatGPT para atualizar a memória.
O site ou o documento pode conter instruções para enviar clandestinamente todas as conversas futuras para um servidor controlado pelo adversário, que podem então ser recuperadas pelo invasor na outra extremidade, além de uma única sessão de bate-papo.
Após divulgação responsável, a OpenAI resolveu o problema com o ChatGPT versão 1.2024.247 fechando o vetor de exfiltração.
Em um cenário de ataque hipotético, um usuário poderia ser induzido a visitar um site malicioso ou baixar um documento com armadilha que seria posteriormente analisado usando o ChatGPT para atualizar a memória.
O site ou o documento pode conter instruções para enviar clandestinamente todas as conversas futuras para um servidor controlado pelo adversário, que podem então ser recuperadas pelo invasor na outra extremidade, além de uma única sessão de bate-papo.
Após divulgação responsável, a OpenAI resolveu o problema com o ChatGPT versão 1.2024.247 fechando o vetor de exfiltração.
“ChatGPT users should regularly review the memories the system stores about them, for suspicious or incorrect ones and clean them up,” Rehberger said.
“This attack chain was quite interesting to put together, and demonstrates the dangers of having long-term memory being automatically added to a system, both from a misinformation/scam point of view, but also regarding continuous communication with attacker controlled servers.”
The disclosure comes as a group of academics has uncovered a novel AI jailbreaking technique codenamed MathPrompt that exploits large language models’ (LLMs) advanced capabilities in symbolic mathematics to get around their safety mechanisms.
“MathPrompt employs a two-step process: first, transforming harmful natural language prompts into symbolic mathematics problems, and then presenting these mathematically encoded prompts to a target LLM,” the researchers pointed out.
The study, upon testing against 13 state-of-the-art LLMs, found that the models respond with harmful output 73.6% of the time on average when presented with mathematically encoded prompts, as opposed to approximately 1% with unmodified harmful prompts.
It also follows Microsoft’s debut of a new Correction capability that, as the name implies, allows for the correction of AI outputs when inaccuracies (i.e., hallucinations) are detected.
“Building on our existing Groundedness Detection feature, this groundbreaking capability allows Azure AI Content Safety to both identify and correct hallucinations in real-time before users of generative AI applications encounter them,” the tech giant said.
Fonte: thehackernews.com
