ChatGPT cria malware mutante que evita a detecção por EDR

Oct 29, 2023

Por Shweta Sharma

Escritor Sênior, CSO |

Uma sensação global desde seu lançamento inicial no final do ano passado, a popularidade do ChatGPT entre consumidores e profissionais de TI gerou pesadelos de segurança cibernética sobre como ele pode ser usado para explorar vulnerabilidades do sistema. Um problema-chave, demonstraram os especialistas em segurança cibernética, é a capacidade do ChatGPT e outros modelos de linguagem grande (LLMs) de gerar código polimórfico ou mutante para escapar dos sistemas de detecção e resposta de endpoint (EDR).

Uma série recente de ataques de prova de conceito mostra como um arquivo executável de aparência benigna pode ser criado de forma que, a cada tempo de execução, ele faça uma chamada de API para o ChatGPT. Em vez de apenas reproduzir exemplos de trechos de código já escritos, o ChatGPT pode ser solicitado a gerar versões dinâmicas e mutantes de código malicioso a cada chamada, dificultando a detecção das explorações de vulnerabilidade resultantes pelas ferramentas de segurança cibernética.

"ChatGPT reduz a barra para hackers, atores maliciosos que usam modelos de IA podem ser considerados os 'Script Kiddies' modernos", disse Mackenzie Jackson, defensor do desenvolvedor da empresa de segurança cibernética GitGuardian. "O malware que o ChatGPT pode ser induzido a produzir está longe de ser inovador, mas à medida que os modelos melhoram, consomem mais dados de amostra e diferentes produtos chegam ao mercado, a IA pode acabar criando malware que só pode ser detectado por outros sistemas de IA para defesa. Qual lado vai ganhar neste jogo é uma incógnita."

Houve várias provas de conceitos que mostram o potencial da ferramenta para explorar seus recursos no desenvolvimento de malware avançado e polimórfico.

O ChatGPT e outros LLMs têm filtros de conteúdo que os proíbem de obedecer a comandos ou solicitações para gerar conteúdo prejudicial, como código malicioso. Mas os filtros de conteúdo podem ser ignorados.

Quase todos os exploits relatados que podem ser feitos por meio do ChatGPT são alcançados por meio do que está sendo chamado de "engenharia de prompt", a prática de modificar os prompts de entrada para ignorar os filtros de conteúdo da ferramenta e recuperar a saída desejada. Os primeiros usuários descobriram, por exemplo, que poderiam fazer com que o ChatGPT criasse conteúdo que não deveria criar - "desbloquear" o programa - enquadrando prompts como hipotéticos, por exemplo, pedindo para fazer algo como se não fosse uma IA, mas uma pessoa maliciosa com a intenção de fazer mal.

“O ChatGPT impôs algumas restrições ao sistema, como filtros que limitam o escopo das respostas que o ChatGPT fornecerá ao avaliar o contexto da pergunta”, disse Andrew Josephides, diretor de pesquisa de segurança da KSOC, uma empresa de segurança cibernética especializada em Kubernetes. "Se você pedisse ao ChatGPT para escrever um código malicioso, ele negaria a solicitação. Se você pedisse ao ChatGPT para escrever um código que pode fazer a função efetiva do código malicioso que você pretende escrever, no entanto, o ChatGPT provavelmente criará esse código para você."

A cada atualização, o ChatGPT fica mais difícil de ser malicioso, mas como diferentes modelos e produtos entram no mercado, não podemos confiar em filtros de conteúdo para impedir que os LLMs sejam usados ​​para fins maliciosos, disse Josephides.

A capacidade de induzir o ChatGPT a utilizar coisas que conhece, mas que estão protegidas por filtros, é o que pode fazer com que os usuários gerem códigos maliciosos eficazes. Ele pode ser usado para renderizar o código polimórfico, aproveitando a capacidade da ferramenta de modificar e ajustar os resultados para a mesma consulta, se executada várias vezes.

Por exemplo, um executável Python aparentemente inofensivo pode gerar uma consulta para enviar à API ChatGPT para processar uma versão diferente de código malicioso sempre que o executável for executado. Dessa forma, a ação maliciosa é realizada fora da função exec(). Essa técnica pode ser usada para formar um programa de malware polimórfico e mutante que é difícil de detectar por scanners de ameaças.