Documentos propõem diretrizes para aumentar a segurança e a confiabilidade da IA
O Conselho Nacional de Justiça (CNJ) e o Tribunal de Justiça de Minas Gerais (TJMG) publicaram, respectivamente, a Manifestação Técnica CNIAJ 1/2026 e a Nota Técnica CIJMG 19/2026, que tratam dos riscos de manipulação em sistemas de Inteligência Artificial (IA) utilizados no Judiciário brasileiro, por meio da chamada “injeção de comandos” (prompt injection).
A prática consiste em inserir instruções ocultas em documentos processuais — como petições, arquivos anexos ou até imagens — com o objetivo de induzir a IA a produzir respostas incorretas, favorecer argumentos ou expor dados confidenciais.
Segundo o CNJ, esse tipo de vulnerabilidade já não é apenas teórico e precisa ser tratado como um risco real.
De acordo com a análise técnica, os principais problemas envolvem dois cenários: o vazamento de informações sensíveis e a manipulação do comportamento da IA, que podem gerar decisões, resumos ou análises distorcidas. Em alguns casos, a ferramenta pode apresentar conclusões aparentemente válidas, mas influenciadas por comandos ocultos.
Para mitigar os riscos, o CNJ recomenda mudanças estruturais na forma como os sistemas tratam os dados. Uma das medidas é considerar todos os documentos judiciais como potencialmente não confiáveis, separando conteúdos normais de trechos suspeitos, como textos invisíveis ou metadados alterados.
O órgão defende a criação de camadas de pré-processamento dos dados, antes do uso pela IA, e o uso de filtros na saída dos sistemas, capazes de bloquear respostas indevidas ou incompatíveis com a finalidade da ferramenta. Ainda assim, o próprio documento ressalta que os filtros não são suficientes sozinhos.
A manifestação enfatiza a importância de auditoria constante, transparência e supervisão humana. Entre as recomendações, estão o registro detalhado de operações, a rastreabilidade das respostas e a vinculação das informações geradas às fontes utilizadas.
Outro ponto destacado é a necessidade de capacitação de magistrados e servidores para identificar possíveis falhas ou manipulações nos sistemas de IA. O CNJ sugere que eventuais tentativas de inserção de conteúdo malicioso sejam registradas nos autos processuais.
A iniciativa integra o Programa de Segurança Adversarial (Proseg-IA), que busca estruturar uma política nacional de proteção para o uso de Inteligência Artificial no Judiciário. A implementação das medidas deve ocorrer de forma gradual, com prioridade para sistemas mais sensíveis e de maior risco.
Nota Técnica do TJMG
O documento reforça que a técnica do prompt injection consiste em incluir instruções disfarçadas em petições, anexos ou metadados para manipular o comportamento de sistemas de IA usados no Judiciário. Os comandos podem levar a distorções em resumos, análises ou minutas, afetando a imparcialidade do processo.
A nota diferencia o problema de erros comuns da IA, como “alucinações”. Enquanto essas falhas decorrem de uso negligente, o prompt oculto é considerado uma ação intencional e dolosa, caracterizando fraude processual e violação da boa-fé.
O TJMG aponta que a prática pode se enquadrar como litigância de má-fé, ato atentatório à dignidade da justiça e crime de fraude processual, conforme a gravidade do caso.
Entre as medidas recomendadas, estão a adoção de supervisão humana obrigatória, o uso cauteloso de ferramentas de IA e a aplicação de sanções quando houver indícios de manipulação. O Tribunal também orienta que casos suspeitos sejam comunicados à Ordem dos Advogados do Brasil (OAB) e ao Ministério Público.
O documento ressalta que, com a crescente digitalização do Judiciário, práticas como essa representam uma nova fronteira da deslealdade processual, exigindo preparo técnico e atuação rigorosa para preservar a integridade das decisões judiciais.
Pioneirismo da 3ª Região
A plataforma de Inteligência Artificial LIA3R, desenvolvida por magistrados e servidores da 3ª Região e lançada em fevereiro deste ano, atua de forma pioneira para identificar ataques de prompt injection no sistema processual.
A ferramenta auxilia em tarefas como pesquisa, entendimento de documentos, processos e redação de minutas. Ela passa por melhorias contínuas de usabilidade, segurança, governança e conteúdos (prompts/agentes).
Na São Paulo Innovation Week, realizada de 13 a 15 de maio, o presidente do TRF3, desembargador federal Johonsom di Salvo, afirmou que a plataforma não substitui a atuação humana, mas opera como apoio à atividade jurisdicional, aumentando a produtividade e a eficiência na análise de processos.
“Nós hoje temos aproximadamente 1.500 magistrados e servidores como usuários ativos do sistema. Só têm acesso aqueles que realizam um curso de capacitação”, disse.
Assessoria de Comunicação Social do TRF3
Siga a Justiça Federal da 3ª Região nas redes sociais:
TRF3: Instagram, Facebook e Linkedin
JFSP: Instagram, Facebook
JFMS: Instagram e Facebook
Esta notícia foi visualizada 67 vezes.
Assessoria de Comunicação Social do TRF3
Email: acom@trf3.jus.br