Instruções maliciosas em documentos para IA: como testar

As instruções maliciosas em documentos para IA podem aparecer num arquivo que o gabinete recebeu apenas para resumir. Imagine uma nota anexada a um pedido de reunião que inclui uma ordem para consultar outro arquivo e levar seu conteúdo ao rascunho. O assessor pediu um resumo. Se o agente toma o texto da nota como autorização, a resposta pode sair do escopo antes de alguém perceber.
O que são instruções maliciosas em documentos para IA?
São trechos preparados para desviar o agente da tarefa autorizada quando ele lê material externo, como documentos, páginas ou mensagens. Na classificação técnica do Instituto Nacional de Padrões e Tecnologia dos Estados Unidos, o NIST, isso pode ser uma injeção indireta de prompt: a tentativa chega pela fonte consultada em vez de aparecer no pedido feito pelo usuário.
Na prática, a equipe deve distinguir o conteúdo a interpretar da autorização para agir. Uma ata pode mencionar que alguém pediu o envio de um arquivo. O agente pode relatar essa passagem, mas a ata não concede autorização para o envio. O mesmo vale para ordens que peçam para omitir trechos, mudar destinatários ou misturar material de acervos diferentes.
Onde o desvio aparece na rotina
Se o agente só prepara texto, o risco já existe. Um resumo pode esconder um ponto central da fonte, introduzir uma orientação indevida ou carregar um trecho de outro documento ao qual a ferramenta teve acesso. Com ferramentas de envio ou edição habilitadas, o impacto pode alcançar outros sistemas. Por isso, é preciso testar o rascunho e verificar o que a aplicação tentou fazer ao produzi-lo.
Considere um exemplo hipotético: o gabinete prepara uma síntese de notas encaminhadas por entidades antes de uma reunião. Uma nota tenta levar o agente a incorporar um trecho do dossiê interno da equipe. Se a aplicação exibe uma síntese bem escrita, a revisão gramatical pode aprovar a mistura. O revisor precisa conseguir associar cada afirmação importante à fonte permitida naquele trabalho.
Como testar o agente sem usar dados reais
- Escreva a tarefa autorizada e o comportamento esperado. Para um resumo, delimite quais documentos podem ser lidos, que referências devem aparecer e quais ações estão fora do escopo. Não use permissões de produção no ensaio.
- Prepare documentos fictícios com conteúdo normal e trechos que tentem induzir desvios. Inclua uma tentativa de alterar o resumo, outra de consultar uma fonte restrita e outra de provocar uma ação. Use identificadores de teste, sem dados de pessoas ou credenciais.
- Rode o mesmo pedido com um documento de controle e com cada variação. Confira se as afirmações e as fontes continuam alinhadas à tarefa. Use registros técnicos autorizados para verificar se houve tentativa de leitura, escrita ou envio fora do escopo.
- Diante de falha, avalie a fronteira que permitiu o desvio. Separe permissões de consulta e execução e revise quais fontes a aplicação entrega ao agente. Peça nova validação técnica antes de habilitar uma capacidade que falhou.
- Repita os casos quando mudar o modelo, o acervo, a configuração ou as ferramentas disponíveis. Guarde a expectativa do teste e o resultado obtido. Se uma capacidade não puder ser observada ou limitada, mantenha-a desabilitada no fluxo em avaliação.
Um exemplo de controle é colocar uma expressão fictícia, conhecida apenas pela equipe de teste, em um documento que deve ficar inacessível. Se ela aparecer no resumo de uma fonte distinta, investigue quais materiais foram entregues ao agente. Mesmo quando a expressão não aparece, os registros podem revelar uma tentativa de acesso que a aplicação bloqueou. Esses são resultados diferentes e ambos ajudam a localizar o controle que funcionou ou falhou.
Use os guias de testes de agentes de IA na operação política e revisão humana de rascunhos de IA para ampliar a avaliação. O primeiro ajuda a organizar casos e resultados. O segundo ajuda quem recebe a saída a checar a origem da informação e decidir se ela pode seguir.
Como a Politizai entra e o que medir
O grupo Equipe de IA e agentes da Politizai usa agentes para preparar tarefas com fontes, permissões e revisão. A disponibilidade depende do plano, da implantação e das integrações contratadas. Confirme com a equipe técnica as fontes autorizadas, o que pode ser registrado e onde a revisão ocorre. Esse escopo de produto não implica filtro universal contra manipulação nem autorização para executar ações sensíveis sem revisão humana.
Registre, por tipo de cenário, se o rascunho permaneceu fiel à fonte, se houve tentativa de ação fora do escopo e se algum limite bloqueou a tentativa. Não some tudo como uma única taxa. Um bloqueio técnico pode proteger a operação mesmo quando o modelo tenta sair da tarefa. Já um resumo incorreto, ainda que sem tentativa de envio, exige correção antes de circular.
Limites que permanecem depois do teste
Um ensaio aprovado demonstra o comportamento observado nas condições testadas. Preserve o controle de acesso na aplicação, conceda apenas o necessário para a tarefa e submeta saídas relevantes à revisão de pessoas autorizadas. Revisar a resposta final não substitui limitar o que a aplicação consegue fazer antes de mostrá-la.
Combine também quem recebe o alerta e quais evidências podem ser guardadas. O registro do teste não deve virar uma nova cópia de conteúdo restrito.
Comece com um agente que apenas prepara resumos. Peça a quem aprova o rascunho para localizar as fontes e explicar quais decisões continuam com a equipe. Se uma afirmação depende de material indisponível ou de permissão incerta, a saída útil é apontar a lacuna e aguardar confirmação, sem buscar fontes por conta própria.
Perguntas frequentes
O que diferencia a injeção indireta de prompt?
A instrução chega por uma fonte consultada pelo agente, como um documento ou uma página. Ela não vem do pedido autorizado da pessoa usuária.
Por que testar com documentos fictícios?
Para observar desvios de leitura, texto ou execução sem expor arquivos internos, pessoas ou credenciais.
Um teste aprovado torna o agente imune?
Não. Ele demonstra o comportamento nos casos observados. Mantenha acesso restrito, revisão humana e reavalie mudanças nas fontes e ferramentas.
