BSI da Alemanha emite diretrizes para combater ataques de evasão direcionados a LLMs
O BSI da Alemanha alerta para o aumento dos ataques de evasão em LLMs, emitindo orientações para ajudar desenvolvedores e gerentes de TI a proteger sistemas de IA.
O BSI da Alemanha alerta para o aumento dos ataques de evasão em LLMs, emitindo orientações para ajudar desenvolvedores e gerentes de TI a proteger sistemas de IA e mitigar riscos relacionados.
Uma ameaça significativa e em evolução aos sistemas de IA baseados em grandes modelos de linguagem (LLMs) surge de ataques de evasão, entradas maliciosas projetadas para subverter ou contornar as salvaguardas do modelo. O Escritório Federal de Segurança da Informação (BSI) da Alemanha aborda essa questão em sua publicação Ataques de evasão em LLMs – contramedidas na prática, que se destina a programadores, gestores informáticos de empresas e autoridades públicas que utilizam modelos pré-formados (como o GPT) e outros utilizadores avançados de TI.
“Este documento é destinado a desenvolvedores e gerentes de TI em empresas e autoridades públicas que optaram por operar um modelo de linguagem pré-treinado, como o GPT da OpenAI.” lê o anúncio. “Além disso, outros usuários experientes de TI também podem se beneficiar das recomendações. A implementação das contramedidas propostas no sistema LLM pode dificultar os ataques ou reduzir os danos potenciais.”
O relatório detalha métodos de evasão de LLM, como injeção imediata e manipulação de dados, recomendando prompts seguros, filtragem, Zero Trust e monitoramento de anomalias.
A implementação dessas medidas nos sistemas LLM não garante imunidade, mas aumenta significativamente o custo do ataque e ajuda a reduzir possíveis danos. O BSI recomenda a integração de controles técnicos (por exemplo, filtros, sandboxing, RAG com recuperação confiável) e práticas organizacionais (por exemplo, testes contraditórios, governança, treinamento) como parte de uma estratégia de defesa em profundidade.
Em essência, à medida que as organizações adotam cada vez mais LLMs, elas devem assumir que nenhum controle único é suficiente. Em vez disso, eles devem adotar salvaguardas em camadas e monitoramento contínuo para lidar com os riscos especiais de ataques de evasão, caso contrário, mesmo sistemas bem configurados podem ser subvertidos.
Os ataques de evasão em grandes modelos de linguagem ocorrem durante o tempo de execução, não durante o treinamento, em que os adversários usam injeções imediatas, jailbreaks ou entradas adversárias para ignorar proteções e alterar o comportamento do modelo.
O relatório do BSI explica essas ameaças e oferece contramedidas, como prompts de sistema seguros, filtragem de conteúdo malicioso e exigência de confirmação explícita do usuário antes da execução. Ele também inclui uma lista de verificação prática e casos de uso para ajudar a integrar essas defesas em sistemas operacionais de IA.
“A publicação do BSI introduz o tópico de ataques de evasão e apresenta uma variedade de contramedidas práticas.” conclui o anúncio. “Uma lista de verificação facilita a implementação teórica e prática. Os casos de uso demonstram como as contramedidas apresentadas podem ser integradas ao próprio sistema de um usuário.”
Siga-me no Twitter:@securityaffairseLinkedineMastodonte
(Assuntos de Segurança–hacking, LLMs)