Documentos propõem diretrizes para aumentar a segurança e a confiabilidade da IA
O Conselho Nacional de Justiça (CNJ) e o Tribunal de Justiça de Minas Gerais (TJMG) publicaram, respectivamente, a Manifestação Técnica CNIAJ 1/2026 e a Nota Técnica CIJMG 19/2026, que tratam dos riscos de manipulação em sistemas de Inteligência Artificial (IA) utilizados no Judiciário brasileiro, por meio da chamada “injeção de comandos” (prompt injection).
A prática consiste em inserir instruções ocultas em documentos processuais — como petições, arquivos anexos ou até imagens — com o objetivo de induzir a IA a produzir respostas incorretas, favorecer argumentos ou expor dados confidenciais.
Segundo o CNJ, esse tipo de vulnerabilidade já não é apenas teórico e precisa ser tratado como um risco real.
De acordo com a análise técnica, os principais problemas envolvem dois cenários: o vazamento de informações sensíveis e a manipulação do comportamento da IA, que podem gerar decisões, resumos ou análises distorcidas. Em alguns casos, a ferramenta pode apresentar conclusões aparentemente válidas, mas influenciadas por comandos ocultos.
Para mitigar os riscos, o CNJ recomenda mudanças estruturais na forma como os sistemas tratam os dados. Uma das medidas é considerar todos os documentos judiciais como potencialmente não confiáveis, separando conteúdos normais de trechos suspeitos, como textos invisíveis ou metadados alterados.
O órgão defende a criação de camadas de pré-processamento dos dados, antes do uso pela IA, e o uso de filtros na saída dos sistemas, capazes de bloquear respostas indevidas ou incompatíveis com a finalidade da ferramenta. Ainda assim, o próprio documento ressalta que os filtros não são suficientes sozinhos.
A manifestação enfatiza a importância de auditoria constante, transparência e supervisão humana. Entre as recomendações, estão o registro detalhado de operações, a rastreabilidade das respostas e a vinculação das informações geradas às fontes utilizadas.
Outro ponto destacado é a necessidade de capacitação de magistrados e servidores para identificar possíveis falhas ou manipulações nos sistemas de IA. O CNJ sugere que eventuais tentativas de inserção de conteúdo malicioso sejam registradas nos autos processuais.
A iniciativa integra o Programa de Segurança Adversarial (Proseg-IA), que busca estruturar uma política nacional de proteção para o uso de Inteligência Artificial no Judiciário. A implementação das medidas deve ocorrer de forma gradual, com prioridade para sistemas mais sensíveis e de maior risco.
Nota Técnica do TJMG
O documento reforça que a técnica do prompt injection consiste em incluir instruções disfarçadas em petições, anexos ou metadados para manipular o comportamento de sistemas de IA usados no Judiciário. Os comandos podem levar a distorções em resumos, análises ou minutas, afetando a imparcialidade do processo.
A nota diferencia o problema de erros comuns da IA, como “alucinações”. Enquanto essas falhas decorrem de uso negligente, o prompt oculto é considerado uma ação intencional e dolosa, caracterizando fraude processual e violação da boa-fé.
O TJMG aponta que a prática pode se enquadrar como litigância de má-fé, ato atentatório à dignidade da justiça e crime de fraude processual, conforme a gravidade do caso.
Entre as medidas recomendadas, estão a adoção de supervisão humana obrigatória, o uso cauteloso de ferramentas de IA e a aplicação de sanções quando houver indícios de manipulação. O Tribunal também orienta que casos suspeitos sejam comunicados à Ordem dos Advogados do Brasil (OAB) e ao Ministério Público.
O documento ressalta que, com a crescente digitalização do Judiciário, práticas como essa representam uma nova fronteira da deslealdade processual, exigindo preparo técnico e atuação rigorosa para preservar a integridade das decisões judiciais.
Pioneirismo da 3ª Região
A plataforma de Inteligência Artificial LIA3R, desenvolvida por magistrados e servidores da 3ª Região e lançada em fevereiro deste ano, atua de forma pioneira para identificar ataques de prompt injection no sistema processual.
A ferramenta auxilia em tarefas como pesquisa, entendimento de documentos, processos e redação de minutas. Ela passa por melhorias contínuas de usabilidade, segurança, governança e conteúdos (prompts/agentes).
Na São Paulo Innovation Week, realizada de 13 a 15 de maio, o presidente do TRF3, desembargador federal Johonsom di Salvo, afirmou que a plataforma não substitui a atuação humana, mas opera como apoio à atividade jurisdicional, aumentando a produtividade e a eficiência na análise de processos.
“Nós hoje temos aproximadamente 1.500 magistrados e servidores como usuários ativos do sistema. Só têm acesso aqueles que realizam um curso de capacitação”, disse.
Assessoria de Comunicação Social do TRF3
Siga a Justiça Federal da 3ª Região nas redes sociais:
TRF3: Instagram, Facebook e Linkedin
JFSP: Instagram, Facebook
JFMS: Instagram e Facebook
Esta notícia foi visualizada 56 vezes.
Assessoria de Comunicação Social do TRF3
Email: acom@trf3.jus.br
Últimas Notícias:
Trabalhador que atua exposto a fontes de radiação obtém direito à jornada de 24 horas semanais
Justiça Federal da 3ª Região destaca 63 processos para impulsionar na Semana da Pauta Verde
Novo episódio do programa Notas Técnicas em Podcast orienta sobre controle na cessão de precatórios