Pesquisa e instrumentação de um workspace de IA que gera peças jurídicas

Os usuários já tinham uma alternativa que funcionava, e eram de dois tipos.

Um assistente de uso geral.

O especialista do Ministério Público estadual baixava PDFs do sistema do tribunal, processava no assistente de IA de uso geral licenciado pela instituição e colava o resultado no sistema de redação do órgão.

Uma ferramenta de IA jurídica especializada.

A procuradora-geral do município usava um concorrente todos os dias. Procuradores de outros dois órgãos ativados também.

O produto tinha que superar as duas em qualidade e velocidade, num domínio em que uma frase imprecisa pode acabar numa peça protocolada. A segunda referência elevou a régua: quem já tinha uma ferramenta de IA jurídica comparava a minuta com o resultado dessa ferramenta, e não com o próprio trabalho manual.

Planejei e moderei sessões de primeiro uso com think-aloud, um roteiro de tarefas e o questionário SUS. O participante usou o produto primeiro sem orientação, para não enviesar o questionário, e a conversa aberta veio depois. Classifiquei os achados com a escala de severidade de Nielsen, que combina frequência, impacto e persistência, e adaptei para o domínio: imprecisão jurídica subiu para severidade 3 porque pode chegar a uma peça protocolada.

Sessão 1 · Ministério Público estadual, 30 e 31 de julho

Um especialista de um Ministério Público estadual com prática avançada em direito penal, no primeiro uso da versão atual. 2h27 de gravação, SUS 57,5: abaixo da referência de mercado de 68 e acima de 50.

O que funcionou.

Ele encontrou o caso e criou o estudo sem ajuda, foi ao card de ações rápidas e gerou um resumo sem hesitar, e leu partes, juízo, pedidos e histórico do processo na tela inicial sem abrir os arquivos. O valor que ele nomeou foi a integração: um ambiente para o que hoje exige três sistemas.

Hipóteses do roteiro.

4 validadas, 2 invalidadas, 5 inconclusivas. As duas invalidadas: ele não entendeu para onde foi o documento gerado (cerca de 8 minutos entre gerar e encontrar na primeira vez, e a dificuldade voltou duas vezes), e o controle “desanexar” não foi entendido sem explicação verbal, dada duas vezes. Três tarefas não foram executadas e foram para a sessão seguinte.

O achado mais grave.

Perguntada sobre a dosimetria, a IA afirmou uma pena de 3 anos e 6 meses e respondeu que a sentença não estava nos arquivos acessíveis. A sentença estava nos arquivos importados.

Conteúdo.

Boa base, com lacunas nos pontos de decisão da prática penal: dosimetria, prescrição, dois réus com desfechos diferentes, situação recursal. Dois erros conceituais: uma ação de improbidade tratada como parte do processo criminal, e uma câmara criminal atribuída à comarca em vez do tribunal.

Confiança.

A primeira pergunta dele, antes de qualquer tarefa, foi se o PDF que ele subiu com a credencial institucional ficaria dentro do ambiente.

“Se está me dizendo que tem uma condenação de 3 anos e 6 meses, é porque ela tem a sentença. Só não mostrou o documento.”

Não houve catástrofe de usabilidade. Dos seis achados de severidade 3, três estavam no núcleo de IA (erros de geração, uma pergunta no chat sem resposta, a sentença que a IA disse não encontrar), um subiu pela ressalva de domínio e dois subiram pela persistência na atividade que domina o dia do usuário: ler textos longos. Rastreabilidade até a fonte foi o pedido mais repetido da sessão, em quatro superfícies: eventos do resumo, histórico do processo, um processo desmembrado e cada item da minuta.

Sessão 2 · Procuradoria municipal, 3 de agosto

A procuradora-geral de um município, usuária diária de uma ferramenta de IA jurídica especializada, na versão anterior do produto. A reunião foi pedida por ela. SUS 37,5.

A navegação não causou dificuldade: ela encontrou seus workspaces, abriu casos, adicionou e removeu fontes e usou as skills disponíveis. A rejeição foi pelo conteúdo, e se manteve em todas as skills testadas (contestação, petições, recursos): uma minuta sem citação legal apesar de a lei estar nos arquivos importados, o argumento principal transformado em outro e o próprio modelo, adicionado como fonte, ignorado. As perguntas sobre a interface eram de vocabulário: “fonte”, “documento de contexto” e “estratégia” não são as palavras que procuradores usam.

“Imagino que poderia ser muito melhor do que o que usamos hoje. Do jeito que está, fica bem aquém.”

Ela também descreveu por que confia na ferramenta que usa: antes da minuta, ela mostra os recursos, buscas, fontes e estratégia que está usando, com links para a origem; traz lei e jurisprudência sem ser pedida; e aplica os modelos do órgão com um nível de aderência que ela escolhe.

Lendo as duas sessões juntas

Os SUS são de versões e perfis de usuário diferentes, então não comparei. Coloquei as duas sessões lado a lado nos mesmos temas, sem concluir uma causa comum:

• A recuperação de fontes falhou nas duas versões: um documento presente nos arquivos importados não chegou à resposta.
• Os dois participantes pediram para ver a origem da informação antes de aceitar o resultado.
• Os dois completaram o fluxo sem ajuda, e os dois criticaram o conteúdo.
• Os termos da interface precisaram de tradução nas duas sessões.
• Os veredictos sobre o conteúdo foram diferentes, assim como a referência dos participantes: quem já tinha uma ferramenta de IA jurídica julgou comparando com ela.

A partir do segundo encontro, o participante da sessão 1 passou a atuar como especialista de domínio para o time.

Validação cruzada, 6 de agosto

O especialista assistiu ao vídeo da sessão 2 e comentou cada um dos oito achados. Codifiquei as respostas com uma matriz de convergência (Farmer et al., 2006, com a categoria de complementaridade) e separei o que ele observou, o que relatou da própria experiência e o que era opinião. Resultado: dois achados confirmados, dois confirmados com ressalva, um aprofundado em requisito, três fora do escopo do encontro e nenhuma divergência.

Confirmado e explicado.

A minuta ficou nos fatos do caso e deixou de fora o enquadramento jurídico de que a procuradora precisava. Ele nomeou a doutrina que faltava.

Ressalva de método.

Ele apontou que a comparação da sessão 2 misturava duas causas: o produto recebeu só um comando de atalho, enquanto o concorrente recebeu um prompt que explicava o caso. Um teste com e sem contexto foi desenhado no encontro para separar a qualidade do prompt da capacidade da ferramenta.

Aprofundado.

A personalização de estilo tem três camadas: o indivíduo, a instituição (manual de redação e regras não escritas da revisão interna) e o tipo de órgão.

Comparação conduzida pelo participante, 11 de agosto

O especialista rodou o mesmo PDF de inquérito no produto e no assistente de uso geral, com um prompt idêntico e deliberadamente curto (“elabore a denúncia do caso”), e leu os dois contra a denúncia de fato protocolada no processo.

Conteúdo.

“Os dois trouxeram respostas satisfatórias.” O produto incluiu um pedido de reparação mínima à vítima, apoiado no laudo de avaliação dos bens nos autos. O assistente de uso geral e a denúncia protocolada deixaram de fora. Foi o primeiro registro no programa da ferramenta indo além da peça escrita por humano num item.

Lacunas.

O produto listou 11 testemunhas contra um limite legal de 8 e afirmou uma qualificadora sem narrar como ela ocorreu. As duas ferramentas anteciparam provas que pertencem a uma fase posterior.

Velocidade e estabilidade.

O assistente foi mais rápido, mais curto e mais objetivo. O produto foi mais lento e às vezes não respondeu: “o Estúdio às vezes tem esse problema, e aí inviabiliza o trabalho.” Uma demonstração para um stakeholder tinha falhado pelo mesmo motivo.

Dois resultados foram para o time. O método ficou para o programa: comparar cada geração com o documento de fato protocolado. A direção de produto foi consolidada no encontro: embutir regras jurídicas fixas no sistema por fase e tipo de documento (limite de testemunhas, narração das qualificadoras, pedido de reparação quando há laudo) em vez de depender de um prompt detalhado do usuário. Uma hipótese caiu no mesmo encontro: a API de um agregador de buscas jurídicas não é fonte oficial de jurisprudência.

Teste A/B de um modo de geração beta

Mesmo caso e mesmo prompt. O modo beta produziu uma denúncia mais correta (um crime, sem segunda imputação indevida, formatação do órgão, páginas analisadas e fontes listadas) em cerca de 3 minutos. O participante disse que o resultado poderia ser copiado e protocolado. A indisponibilidade do modelo travou o teste por cerca de 8 minutos.

Depois da terceira sessão com o especialista, reclassifiquei os achados no nível do programa, com as ativações como evidência de frequência. Dois achados foram para severidade 4, “corrigir antes do lançamento”: a instabilidade da IA (chat sem resposta, erros de geração, respostas que param no meio; quatro ocorrências com o especialista e relatos convergentes de três órgãos ativados) e a sentença que a IA disse não ter. Pedidos e pontos positivos foram para uma classificação Kano, marcada como inferencial até ser validada com o questionário pareado dos usuários. Requisitos básicos (rastreabilidade, escopo de dados, status de geração, nomeação de arquivos, edição por teclado, importação autônoma do processo) formaram uma fila separada. O restante foi para uma matriz de impacto por esforço com votação silenciosa (NN/g), em que UX e produto votam impacto e engenharia vota esforço.

Até a terceira sessão, o time tinha entregado parte da fila: status de geração e estados de erro nas ações rápidas, acesso direto ao documento gerado, análise de performance da busca, feedback de erros mapeados, uma aba de arquivos revisada e nomeação de documentos, tudo agendado para verificação com o especialista em 13 de agosto.

As sessões qualitativas e os dados do soft launch apontaram para a mesma causa. A engenharia confirmou um gargalo no pipeline de documentos, a PM enquadrou a lentidão e a falta de feedback como o bloqueio ao engajamento, uma correção foi lançada e novas ativações de clientes foram pausadas enquanto ela era revisada.

Construí a base de evidência que levou a performance à liderança de produto e ao pipeline de desenvolvimento como prioridade urgente.

Uma avaliação técnica da latência e um novo teste com uma usuária ativa de um dos clientes quando houver melhoria substancial de performance.

• Nielsen, J. Severity Ratings for Usability Problems (abre em nova aba). NN/g.
• Nielsen, J. First Rule of Usability? Don’t Listen to Users (abre em nova aba). NN/g, 2001.
• Farmer, T. et al. (2006). Developing and implementing a triangulation protocol for qualitative health research. Qualitative Health Research, 16(3).
• Lincoln, Y. S. e Guba, E. G. (1985). Naturalistic Inquiry. Sage.
• Kano, N. et al. (1984). Attractive quality and must-be quality. Journal of the Japanese Society for Quality Control, 14(2).