Inteligência Artificial nas empresas: Como transformar tecnologia em resultados de negócio
Zallpy
Autor verificado
6 novembro
LLM as a Judge e Human in the Loop são duas abordagens utilizadas para avaliar a qualidade de aplicações baseadas em inteligência artificial: na primeira, um modelo de linguagem analisa as respostas de outro modelo e lhes atribui notas; na segunda, pessoas participam de diferentes etapas do processo de avaliação. A pergunta do título costuma ser feita como se fosse preciso escolher uma delas, e adianto que, a meu ver, a escolha é falsa (uma abordagem depende da outra, como pretendo mostrar ao longo do texto).
Quem trabalha com Quality Assurance, com teste ou com desenvolvimento já percebeu que a IA passou a ocupar processos cada vez mais complexos, e que as dúvidas básicas de qualquer estratégia de testes voltaram com outra roupagem: como encontrar erros em um sistema cujas respostas mudam a cada execução? Como saber se uma resposta gerada por IA é confiável o bastante para chegar ao usuário? Responder a isso pede que se entenda como cada estratégia de avaliação funciona, onde cada uma falha e em que situação vale o custo de adotá-la.
Em software tradicional, o teste verifica se o resultado obtido corresponde ao esperado: a funcionalidade recebe uma entrada, executa uma operação e devolve uma saída que pode ser comparada com um resultado definido de antemão. É o que as normativas ISTQB chamam de oráculo de teste, a fonte que nos diz qual é o comportamento correto.
Com modelos de linguagem (LLMs) fica bem mais difícil de construir esse oráculo. Os modelos são não determinísticos, de modo que a mesma entrada pode gerar respostas diferentes em execuções distintas, e nem sempre existe uma única resposta correta que sirva de referência. Tampouco é trivial dizer o que é um erro: uma resposta pode estar gramaticalmente impecável e trazer uma informação falsa; pode atender só a uma parte do que foi pedido; pode ignorar um contexto que, para o negócio, era justamente o ponto principal.
A avaliação passa, então, a depender de critérios (precisão, relevância, coerência, contexto, aderência às instruções) e de um método que aplique esses critérios de maneira consistente, o que vai muito além de comparar entrada e saída. Vejo o uso de LLM as a Judge como um dos processos importantes de meta-qualidade, isto é, da verificação dos próprios artefatos e processos de Quality Assurance; quando a aplicação avaliada é ela mesma uma IA, a lógica se repete, e antes de confiar na avaliação precisamos garantir a qualidade do processo que avalia.
É aí que entram as duas abordagens. Prefiro começar pela humana, porque é dela que sai a referência usada por todo o resto.
Human in the Loop (HITL) é a abordagem que incorpora a participação de pessoas ao ciclo de desenvolvimento, de avaliação ou de operação de um sistema de inteligência artificial. Na prática, profissionais revisam respostas, corrigem resultados, classificam informações ou aprovam ações sugeridas pela IA, e com isso trazem para a avaliação aquilo que um modelo raramente interpreta bem: o contexto de negócio, as nuances da linguagem e as consequências de uma decisão.
Essa participação pode ocorrer em quatro momentos do ciclo de vida da aplicação. Na entrada, as pessoas fazem a curadoria dos dados, definem os prompts e selecionam os casos de teste. Durante a avaliação, especialistas montam os conjuntos de referência (os chamados golden sets) e estabelecem os critérios pelos quais as respostas serão julgadas. Na saída, alguém revisa ou aprova o resultado antes que ele produza efeitos práticos, como o envio de uma comunicação, a alteração de um registro ou a execução de uma operação. Já em produção, amostras de respostas e o feedback dos usuários são analisados em busca das falhas que os testes não previram.
O que o Human in the Loop traz de mais valioso é julgamento contextual, que nada mais é do que conhecimento de domínio aplicado à avaliação. Um especialista percebe quando uma resposta é inadequada mesmo parecendo correta, interpreta situações que exigem conhecimento específico e leva em conta particularidades que as instruções do modelo não contemplaram. (Quem me acompanha sabe o peso que dou ao conhecimento de domínio; ele reaparece aqui, agora como critério de avaliação de IA.)
Isso pesa ainda mais em aplicações de maior risco, nas quais uma resposta errada pode causar impacto financeiro, operacional ou diretamente ao usuário. E há um segundo papel, menos lembrado: a avaliação humana é a referência contra a qual se validam os resultados dos avaliadores automatizados. São as análises dos especialistas que revelam falhas, refinam os critérios de qualidade e calibram os modelos usados como juízes.
As limitações de uma avaliação exclusivamente humana são conhecidas de quem já precisou dimensionar uma equipe de testes: escala, tempo e custo. Revisar manualmente um grande volume de respostas exige gente dedicada e deixa o processo lento, sobretudo em aplicações que geram milhares de resultados por dia.
A consistência também preocupa. Dois avaliadores podem ler a mesma resposta de maneiras diferentes, e o cansaço e a subjetividade interferem mesmo nas análises de quem conhece bem o assunto. O que reduz essa variação é disciplina de processo, com critérios documentados, mais de um avaliador nas amostras relevantes e acompanhamento do nível de concordância entre eles; com essa estrutura, o resultado da avaliação humana pode servir de referência confiável e realimentar o processo a cada ciclo.
LLM as a Judge é a técnica de avaliação em que um modelo de linguagem atua como avaliador das respostas geradas por outro modelo. Em lugar de depender de uma pessoa para verificar cada resultado, utiliza-se um segundo modelo, que analisa a saída com base em critérios previamente definidos. Esse modelo juiz recebe a pergunta original, a resposta gerada e as instruções sobre o que deve considerar; a partir daí pode atribuir uma pontuação, dizer se a resposta atende ou não aos critérios, ou justificar a avaliação que fez.
Há três formas principais de aplicar a técnica:
A vantagem mais evidente é a escala: enquanto a revisão manual depende de tempo e de disponibilidade de profissionais, um modelo juiz analisa milhares de respostas em pouco tempo. Daí decorre a possibilidade de incorporar a avaliação aos pipelines de desenvolvimento e de integração contínua (CI), de modo que toda alteração em prompts, em modelos ou em bases de dados seja acompanhada por testes de regressão e que uma eventual perda de qualidade apareça antes de chegar à produção.
Outro ganho é a padronização. Com instruções de avaliação bem definidas, o juiz aplica a mesma rubrica a todas as respostas, e fica mais simples acompanhar a qualidade ao longo do desenvolvimento. A mesma rubrica permite estabelecer limites mínimos: a resposta que não atinge a pontuação esperada em determinado critério é tratada como falha e segue para análise, exatamente como faríamos com um defeito em qualquer outro projeto de software.
Usar um modelo de IA para avaliar outro não elimina o risco de inconsistência; o juiz também é um modelo, também é não determinístico e também tem vieses. Os mais comuns são a preferência por respostas mais longas, a tendência de favorecer a primeira opção apresentada em uma comparação e a inclinação a avaliar melhor as respostas produzidas por modelos parecidos com ele próprio. Se esses comportamentos não forem levados em conta na implementação, a confiabilidade dos resultados fica comprometida (e o time passa a decidir com base em um número que tem aparência de objetivo sem que o seja).
Automação é software e, como tal, precisa ser testada como qualquer software; o modelo juiz é um artefato de Qualidade e merece o mesmo tratamento. Algumas práticas ajudam:
A escolha do juiz é também uma decisão de custo de Qualidade. Nem toda tarefa exige um modelo de alta capacidade, e usar o modelo mais sofisticado em todas as etapas encarece o processamento sem contrapartida. Faz mais sentido distribuir o trabalho conforme a complexidade: modelos mais econômicos assumem as avaliações repetitivas e padronizadas, enquanto os mais avançados ficam com as análises que exigem maior capacidade de interpretação, ou com a própria orquestração do processo. A pergunta a fazer é a mesma que vale para qualquer ferramenta de QA (quanto custa a avaliação diante do ganho que ela traz), e o equilíbrio entre custo, desempenho e qualidade se decide tarefa a tarefa.
As duas, e volto aqui ao que disse no início: tratar LLM as a Judge e Human in the Loop como alternativas excludentes é procurar uma bala de prata que, como Fred Brooks já avisava em 1986, não existe. As abordagens atendem a necessidades diferentes e se complementam conforme os objetivos, a complexidade e os riscos da aplicação. O que as distingue é a maneira de avaliar: o juiz automatizado entrega velocidade e capacidade de processamento em escala, ao passo que a pessoa entrega interpretação contextual e julgamento especializado.
| Critério | LLM as a Judge | Human in the Loop |
| Escalabilidade | Avalia grandes volumes de respostas em pouco tempo | Limitada pelo tempo e pela disponibilidade dos avaliadores |
| Custo por avaliação | Em geral menor em avaliações recorrentes e automatizadas | Maior, pela necessidade de participação profissional |
| Consistência | Mantém o padrão quando a rubrica é bem definida, mas está sujeito a vieses | Varia conforme a interpretação de cada avaliador |
| Contexto e interpretação | Restritos às informações e aos critérios fornecidos ao modelo | Incorpora conhecimento especializado e contexto de negócio |
| Principais limitações | Vieses do modelo e possíveis inconsistências nas avaliações | Subjetividade, tempo de execução e dificuldade de escalar |
| Aplicações indicadas | Testes de regressão, triagem e monitoramento contínuo | Calibração, validação de resultados e decisões de maior risco |
A combinação que considero mais sólida usa a avaliação humana como referência para estruturar e calibrar a avaliação automatizada. A partir dessa base, o juiz assume o que pode ser feito em escala e as pessoas concentram o esforço nos casos que pedem mais atenção. O processo pode ser organizado em cinco etapas:
Com esse arranjo, a participação humana deixa de se diluir na revisão de todas as respostas e vai para onde faz mais diferença; ao mesmo tempo, a avaliação automatizada ganha uma referência mais confiável, e diminui o risco de decisões apoiadas exclusivamente no julgamento de outro modelo.
Não é preciso começar com uma estrutura complexa. Maturidade é uma escada, e o primeiro degrau, aqui, são critérios claros e um processo que possa evoluir junto com a aplicação. Para QAs, testers e desenvolvedores, eu sugeriria a seguinte sequência:
A avaliação também não termina quando a aplicação entra em produção. É o acompanhamento contínuo que mostra mudanças no comportamento dos modelos, situações de erro que ninguém havia previsto e oportunidades de melhoria; qualidade de IA, como qualquer Qualidade, é processo que atravessa desenvolvimento, testes, monitoramento e revisão.
É a técnica em que um modelo de linguagem avalia as respostas geradas por outro modelo, com base em critérios definidos previamente. O resultado pode ser uma pontuação, um veredito ou uma justificativa sobre a qualidade da resposta.
É a abordagem que inclui pessoas no ciclo de vida de uma aplicação de IA, seja na preparação dos dados, na avaliação das respostas, na correção de resultados ou na aprovação de ações antes que sejam executadas.
Não substitui. A avaliação automatizada analisa grandes volumes de respostas com muito mais velocidade, mas está sujeita a vieses e a inconsistências; as pessoas continuam necessárias para estabelecer os critérios, calibrar os modelos e revisar as situações que exigem conhecimento especializado ou envolvem risco elevado.
Em aplicações não determinísticas, a avaliação não pode depender apenas da comparação com uma resposta exata. O caminho é estabelecer critérios e limites mínimos de qualidade, testar entradas variadas e analisar amostras de respostas; a falha passa a ser o resultado que não atende aos requisitos definidos para aquele caso de uso.
Avaliar aplicações de inteligência artificial exige adaptar as práticas tradicionais de teste às características dos modelos de linguagem. Como as respostas variam de uma execução para outra, a validação precisa se apoiar em critérios de qualidade, em contexto e em níveis aceitáveis de desempenho, e a simples comparação entre resultados já não basta.
LLM as a Judge oferece escala e velocidade para automatizar avaliações; Human in the Loop acrescenta contexto, interpretação e validação especializada. Juntas, as duas abordagens permitem estruturar processos de avaliação mais consistentes, direcionar a revisão humana para o que é relevante e acompanhar a qualidade da aplicação por todo o seu ciclo de vida.
Noves fora a novidade tecnológica, o problema de fundo é o mesmo de sempre em Quality Assurance, pois o resultado é tão bom quanto o processo que o avalia. Cabe aos decisores reconhecer isso ao aprovar orçamentos, perfis de equipe e roadmaps de IA, de modo que a avaliação (com seus critérios, seus conjuntos de referência e o tempo dos especialistas) esteja prevista desde a concepção do projeto e não seja tratada como etapa opcional.
Garantir a qualidade de aplicações de inteligência artificial vai além de validar respostas, pois envolve estruturar processos de avaliação, definir critérios confiáveis e acompanhar continuamente o desempenho dos modelos.
A Zallpy apoia empresas na construção e na evolução de soluções de inteligência artificial, conectando engenharia de software, conhecimento técnico e estratégias de IA às necessidades de cada negócio.
Se você quer entender como aplicar essas abordagens nos seus projetos e tornar suas aplicações de IA mais confiáveis, entre em contato com um especialista da Zallpy.