Sebastien Rousseau

AGENTES LLM

JevAct: verificar ações de agentes de IA antes que sejam executadas

A maioria dos loops de agentes executa uma chamada de ferramenta assim que o modelo a propõe, e os resultados do JevAct sugerem que um ponto de controle barato, baseado em probabilidades e colocado logo antes da execução, pode tornar agentes com uso de ferramentas mais confiáveis, embora os ganhos variem muito conforme o benchmark.

15 min de leitura
Banner for: JevAct: verificar ações de agentes de IA antes que sejam executadas

A maioria dos loops de agentes executa uma chamada de ferramenta assim que o modelo a propõe, e os resultados do JevAct sugerem que um ponto de controle barato, baseado em probabilidades e colocado logo antes da execução, pode tornar agentes com uso de ferramentas mais confiáveis, embora os ganhos variem muito conforme o benchmark.

Resumo executivo

  • Agentes LLM executam cada vez mais ações com consequências por meio de ferramentas externas, mas essas ações costumam ser executadas sem verificação independente de conformidade com a política ou de conclusão da tarefa.
  • O JevAct compila offline uma política de domínio em perguntas, regras, verificações executáveis de estado e, quando necessário, um checklist de transferência (hand-off).
  • Em tempo de execução, o código confere fatos nos registros das ferramentas, enquanto o Kev, um modelo de decisão do tipo Jev com código aberto, responde às perguntas que dependem da conversa.
  • Comparado a um harness ReAct no τ²-bench (Airline, Telecom) e no BFCL, os ganhos são consistentes em Telecom e no sucesso nas três execuções do BFCL, e mais mistos em Airline.
  • O próprio enquadramento dos autores é cauteloso: os resultados sugerem que modelos de decisão estruturados combinados com verificação executável podem melhorar a confiabilidade.

O problema: a execução vem logo depois da proposta #

Um agente que reserva um voo, cancela um pedido ou altera uma configuração de conta faz algo que não pode ser desfeito discretamente. O incômodo é o pouco que existe entre a sugestão do modelo e o efeito. Muitos loops de agentes executam uma chamada de ferramenta proposta assim que o modelo a produz. Ninguém verifica de forma independente se a ação cumpre a política do domínio, ou se uma tarefa que o agente considera concluída está de fato concluída.

Essa lacuna é o ponto de partida de "Think Before You Act: Decision Gate for LLM Agents", um preprint de 2026 no arXiv de Iftach Shoham, Yuval David e colegas da IBM, que apresenta o JevAct. Não é uma observação nova, mas vale dizê-la com clareza, porque boa parte das ferramentas para agentes se concentra em melhorar quem propõe. Agentes ReAct intercalam raciocínio com uso de ferramentas, e esse padrão virou uma linha de base comum. Métodos de reflexão como Self-Refine e Reflexion acrescentam crítica e feedback para melhorar propostas ou tentativas posteriores, sem atualizar os pesos do modelo. Por úteis que sejam, esses métodos não verificam, por si só, uma ação específica contra uma política de domínio imediatamente antes da execução. A verificação que interessa ao JevAct fica em outro ponto do loop: depois que existe uma proposta e antes que ela seja efetivada.

O que é o JevAct #

O JevAct é um harness que verifica propostas selecionadas antes da execução. Ele é descrito como um framework de verificação em tempo de execução que intercepta ações selecionadas do agente e permite correção orientada por feedback. Opera de forma independente do modelo subjacente do agente e não exige nenhuma alteração nos parâmetros do modelo nem nas ferramentas. Na configuração avaliada, o LLM, o prompt base e as ferramentas do agente permanecem inalterados.

Em termos de arquitetura, o JevAct amplia o harness de um agente ReAct inserindo uma etapa de verificação seletiva entre a proposta da mensagem e a execução. A palavra "seletiva" importa. O framework não inspeciona todas as mensagens; ele mira tipos específicos de ação. O artigo define dois. Uma chamada de escrita altera o ambiente, por exemplo ao reservar, cancelar ou mudar uma configuração. Uma transferência (hand-off) encerra a tentativa do agente, seja transferindo o usuário para um humano, seja dizendo ao usuário que nada mais pode ser feito. As escritas são onde uma violação de política causa dano; as transferências são onde um agente pode desistir cedo demais. O objetivo declarado do framework, identificar ações potencialmente inválidas e encerramento prematuro de tarefas, corresponde a essas duas categorias.

Quando uma verificação falha, a proposta não é simplesmente bloqueada. As verificações podem adiar a execução e pedir ao LLM uma proposta revisada com feedback temporário, sujeito a um orçamento fixo de revisões. Uma proposta aprovada segue adiante. Uma sinalizada volta ao agente com feedback direcionado e uma chance delimitada de revisão. E a divisão de trabalho continua clara: o agente ainda propõe as ações, e o Kev não as escolhe.

Dois tipos de evidência, um único gate #

O desenho se apoia em uma separação entre o que pode ser verificado de forma determinística e o que não pode. O JevAct combina verificação determinística de fatos do estado das ferramentas com avaliação probabilística do contexto da conversa. Em tempo de execução, o código confere os fatos disponíveis nos registros das ferramentas, e o Kev responde às perguntas que dependem da conversa.

Essa separação faz sentido. Algumas condições de política são fatos guardados nos registros de uma ferramenta, e um programa consegue lê-los sem a opinião de nenhum modelo. Outras condições estão no que o usuário e o agente disseram um ao outro, e nenhuma consulta a banco de dados resolve isso. Entregar o primeiro tipo ao código e o segundo a um modelo significa que o modelo só é consultado sobre aquilo que o código não consegue responder.

A metade offline é o que torna isso prático de descrever. Um compilador transforma uma política de domínio em perguntas, regras, verificações executáveis sobre o estado das ferramentas e, quando necessário, um checklist de transferência. Em outras palavras, o JevAct compila políticas de domínio em verificações executáveis de estado e perguntas estruturadas avaliadas por um modelo de decisão só de prefill. Os autores dizem que lançam a base de um fluxo de trabalho que compila políticas de domínio em perguntas, regras de decisão, verificações executáveis de estado e checklists de transferência para um gate de modelo de decisão. É uma forma modesta de colocar a questão, e eu a tomaria ao pé da letra: a afirmação é sobre a base de um fluxo de trabalho, não sobre um produto acabado.

Por que um modelo de decisão em vez de um LLM juiz #

A alternativa óbvia é um LLM juiz que lê a proposta e escreve um veredito. A objeção do artigo é prática. As explicações em texto livre de um juiz desse tipo ainda precisam ser interpretadas antes que um gate possa agir sobre elas, e tomar essa decisão com um modelo de fronteira é caro. Um gate precisa de uma decisão, não de uma redação.

Os modelos de decisão foram feitos para isso. O Jev introduziu modelos de decisão que devolvem escolhas tipadas, pontuações e probabilidades em vez de texto gerado. Eles devolvem escolhas e probabilidades para perguntas fixas, o que torna simples as verificações baseadas em limiar. O modelo usado pelo JevAct é só de prefill e produz julgamentos baseados em probabilidade sem depender de geração por LLM. O Kev é um modelo de decisão do tipo Jev, de código aberto, colocado em uma etapa de verificação separada antes que as ações selecionadas sejam efetivadas.

Há uma ressalva, e os próprios autores a declaram. As probabilidades de um modelo de decisão não têm garantia de estar calibradas nem corretas, então o seu valor precisa ser testado no loop do agente, não presumido. Essa frase enquadra toda a seção empírica. A pergunta central é se um modelo de decisão pode servir como verificador com limiar de probabilidade ao lado de verificações executáveis do estado das ferramentas. É uma pergunta a ser respondida por experimento, e é no experimento que estão os detalhes interessantes.

Trabalhos relacionados sobre modelos de decisão dão um quadro misto de por que esse teste importa. Li et al. relatam resultados competitivos em preferência e em factualidade ancorada em evidências, mas desempenho mais fraco quando é preciso derivação. Rao e Callison-Burch relatam resultados mistos com rubricas e erros que se sobrepõem aos de LLMs juízes. Um modelo de decisão forte em algumas tarefas de julgamento e mais fraco em outras é justamente o tipo de componente que se quer combinar com verificações determinísticas, e não usar sozinho.

Como a comparação foi feita #

O JevAct é comparado a um harness ReAct que usa o mesmo LLM de agente nos dois braços. As tarefas abrangem Airline e Telecom no τ²-bench e tarefas de chamada de função em múltiplos turnos no BFCL. Manter o LLM do agente fixo nos dois braços é o controle certo para a pergunta feita: qualquer diferença vem do harness, não de um proponente mais forte ou mais fraco.

O artigo apresenta os resultados com números pass^3, tirados da Tabela 2, junto com o sucesso em pelo menos uma tentativa. Essas duas medidas puxam em direções diferentes, e o contraste entre elas acaba sendo informativo. O sucesso nas três execuções recompensa um agente que acerta sempre. O sucesso em pelo menos uma tentativa recompensa um agente que acerta em qualquer tentativa. Um verificador que barra ações ruins deveria ajudar a primeira medida de forma mais confiável do que a segunda, e os resultados se encaixam nessa leitura, embora o artigo diga apenas que o padrão do BFCL é consistente com um desempenho mais repetível em algumas tarefas; por isso trato o resto como interpretação, não como constatação.

O que os números mostram #

Em Telecom, os oito agentes melhoram tanto o sucesso em pelo menos uma tentativa quanto o sucesso nas três execuções. É o resultado mais limpo do artigo: nenhuma exceção entre os agentes testados, em nenhuma das duas medidas.

No BFCL, os nove agentes melhoram no sucesso nas três execuções, mas os resultados em pelo menos uma tentativa são mistos. Leia isso com atenção. No BFCL, a medida mais rigorosa sobe para todos os agentes testados, de 0,1 a 9,6 pontos; a mais tolerante melhora para quatro agentes e piora para cinco. Se o que importa é um agente se comportar corretamente todas as vezes, essa é a direção favorável. Se o que importa é saber se uma nova tentativa poderia acabar dando certo, o benefício não fica demonstrado aqui.

Airline é o ponto fraco. Os efeitos em Airline são menores e variam por agente. O resumo dos resultados fala em ganhos particularmente consistentes em Telecom e no BFCL, enquanto o desempenho em Airline é mais misto. Um fundador que lê isso não deveria arredondar para "melhora tudo". Os autores relatam melhorias na confiabilidade dos agentes em vários modelos e benchmarks, mas em Airline os ganhos são menores e mistos, e eles dizem que os resultados não demonstram ganhos uniformes. O artigo alerta que, com 50 tarefas em Airline, uma única tarefa move a pontuação em 2 pontos percentuais, então pequenas diferenças devem ser lidas com cautela; além disso, não vou especular sobre por que Airline se comporta de forma diferente.

A leitura geral vem com ressalvas dos próprios autores: os resultados sugerem que combinar modelos de decisão estruturados com verificação executável pode melhorar a confiabilidade de agentes LLM com uso de ferramentas. "Sugerem" é o verbo certo. É um resultado promissor, não uma prova.

O que a comparação isola e o que não isola #

Uma limitação merece mais peso do que costuma receber. Como o JevAct acrescenta verificações compiladas e oportunidades de revisão, as comparações avaliam o harness completo, não o juiz isoladamente. É uma ressalva importante para quem espera concluir que o modelo de decisão faz o trabalho pesado. Os ganhos podem vir das probabilidades do Kev, das verificações executáveis de estado, das chances extras de revisão ou de alguma combinação delas. As comparações principais não as separam.

Eu diria que isso não é tanto um defeito quanto uma descrição honesta do que um artigo de sistema consegue mostrar. A pergunta dos autores, se um modelo de decisão pode servir como verificador com limiar de probabilidade ao lado de verificações executáveis do estado das ferramentas, é respondida no nível do par, já que "ao lado de" está na própria pergunta. Mas quem está decidindo onde investir esforço deve ter isso em mente. Se você está construindo algo parecido, não pode inferir desta evidência que o modelo de decisão sozinho sustentaria a melhoria, nem que as verificações em código sozinhas o fariam.

Isso também significa que a ressalva sobre calibração continua de pé. As probabilidades não têm garantia de estar calibradas nem corretas, e o resultado no nível do harness não elimina essa incerteza. Ele mostra que o arranjo como um todo ajudou nos benchmarks testados.

Onde isso se situa entre outros desenhos de proteção #

O JevAct entra em um conjunto concorrido de abordagens para proteger ações de agentes, e as diferenças são instrutivas. O GuardAgent usa um agente separado para gerar e executar código de verificação a partir de requisitos de proteção definidos pelo usuário. Zwerdling et al. compilam políticas da empresa em guardas executáveis que verificam a conformidade antes das ações de ferramenta. O AgentSpec representa restrições de tempo de execução como gatilhos, predicados e ações de imposição. O ShieldAgent deriva regras verificáveis de documentos de política.

Outros se apoiam em modelos para a própria verificação. O ToolSafe usa um guardrail aprendido para avaliar chamadas de ferramenta propostas e devolver feedback, enquanto PolicyGuard e PolicyGuide usam verificadores baseados em modelos para aderência a políticas e orientação de fluxo de trabalho. O CaMeL segue outro caminho, impondo segurança pela separação entre fluxo de controle confiável e dados não confiáveis.

Nesse contexto, a escolha que distingue o JevAct é a sua combinação particular. Como a linha de trabalho que compila políticas em guardas executáveis, ele transforma a política em verificações sobre o estado das ferramentas. Como os verificadores baseados em modelos, ele usa um modelo para julgamentos que o código não consegue fazer. O que ele acrescenta é um modelo de decisão que devolve probabilidades para escolhas fixas, usado online antes da execução das ações selecionadas, com feedback para revisão. Ele deixa as propostas com o LLM do ReAct e coloca o Kev em uma etapa de verificação separada antes que as ações selecionadas sejam efetivadas.

Por que vale acompanhar este desenho #

Na minha visão, a ideia mais útil aqui não é o Kev em si, mas a disciplina da separação. Pergunte ao código o que o código consegue responder. Pergunte a um modelo só o que depende da conversa. Mantenha separados quem propõe e quem verifica, para que o modelo que confere uma ação não seja o mesmo que a sugeriu. E faça a saída do verificador ser uma probabilidade comparada a um limiar, para que o gate seja uma comparação, e não um texto que alguém precisa interpretar.

Esse desenho também torna os pontos fracos legíveis. Se uma verificação falha indevidamente, dá para perguntar se foi uma verificação de estado ou uma pergunta sobre a conversa. Se os limiares estão errados, são números que podem ser examinados. A cautela do próprio artigo, de que as probabilidades precisam ser testadas no loop, é o instinto certo, e é uma postura melhor do que presumir que um verificador funciona porque parece sensato.

Os resultados desiguais são, se tanto, tranquilizadores quanto à honestidade do relato. Um framework que alegasse ganhos uniformes em toda parte mereceria mais desconfiança do que um que mostra oito de oito em Telecom, nove de nove no sucesso nas três execuções do BFCL, resultados mistos em pelo menos uma tentativa no BFCL e efeitos variáveis em Airline. O padrão dá aos profissionais algo em torno do qual planejar: a evidência mais forte é de confiabilidade em execuções repetidas, e a mais fraca está no domínio em que os efeitos variam por agente.

O que fazer com isso #

Para leitores técnicos, a lição é de arquitetura. O LLM, o prompt base e as ferramentas do agente permanecem inalterados no JevAct, então a camada de verificação é algo que se acrescenta em volta de um agente, não algo que se treina dentro dele. Para fundadores, a leitura prática é mais estreita do que a manchete. O artigo relata confiabilidade melhor em vários modelos e benchmarks, com Airline mais misto, e suas comparações avaliam o harness completo, e não o juiz isoladamente. As comparações principais não estabelecem qual componente responde pela melhoria, embora a ablação em Airline do artigo sugira que a verificação programática responde por boa parte dela nesse cenário.

A questão em aberto é a pergunta central do próprio artigo: se um modelo de decisão pode servir como verificador com limiar de probabilidade ao lado de verificações executáveis do estado das ferramentas quando, como os autores observam, suas probabilidades não têm garantia de estar calibradas nem corretas. Os resultados de Airline, onde os efeitos são menores e variam por agente, são o primeiro lugar para olhar. Se essa variação vem das verificações, dos limiares ou das políticas compiladas é algo que os resultados relatados deixam em aberto, e é o experimento que eu mais gostaria de ver a seguir.

Perguntas frequentes #

O que é o JevAct? O JevAct é um framework de verificação em tempo de execução, criado por pesquisadores da IBM, que intercepta ações selecionadas do agente, a saber chamadas de escrita e transferências (hand-offs), antes da execução. Uma proposta sinalizada volta ao agente com feedback direcionado e uma chance delimitada de revisão. O LLM, o prompt base e as ferramentas do agente permanecem inalterados.

Qual é o papel do Kev no JevAct? O Kev é um modelo de decisão do tipo Jev, de código aberto, que responde a perguntas fixas com probabilidades em vez de texto gerado. No JevAct, ele responde às perguntas que dependem da conversa, enquanto o código confere os fatos disponíveis nos registros das ferramentas. O Kev não escolhe ações; o agente continua a propô-las.

Como o JevAct foi avaliado? O artigo compara o JevAct a um harness ReAct que usa o mesmo LLM de agente nos dois braços. As tarefas abrangem Airline e Telecom no τ²-bench e tarefas de chamada de função em múltiplos turnos no BFCL, com o sucesso relatado tanto em pelo menos uma de três execuções quanto em todas as três.

O JevAct melhorou todos os agentes em todos os benchmarks? Não. Em Telecom, os oito agentes melhoraram nas duas medidas, e no BFCL os nove melhoraram no sucesso nas três execuções, enquanto os resultados em pelo menos uma tentativa foram mistos. Em Airline, os efeitos foram menores e variaram por agente, e os autores dizem que os resultados não demonstram ganhos uniformes.

O artigo mostra que o modelo de decisão sozinho gera os ganhos? Não. Como o JevAct acrescenta verificações compiladas e oportunidades de revisão, as comparações principais avaliam o harness completo, não o juiz isoladamente. Os autores também observam que as probabilidades do modelo de decisão não têm garantia de estar calibradas nem corretas.

Referências #

Última revisão .

Republicar este artigo

Copiar formato para Medium

# JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/](https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/)

O JevAct verifica ações selecionadas de agentes LLM antes da execução. Ante ReAct com o mesmo modelo, ganhos consistentes em Telecom e BFCL, mistos em Airline.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/

Copiar formato para Mastodon

JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau

O JevAct verifica ações selecionadas de agentes LLM antes da execução. Ante ReAct com o mesmo modelo, ganhos consistentes em Telecom e BFCL, mistos em Airline.

https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/

Copiar formatado para o LinkedIn

JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau

O JevAct verifica ações selecionadas de agentes LLM antes da execução. Ante ReAct com o mesmo modelo, ganhos consistentes em Telecom e BFCL, mistos em Airline.

Estes são os principais aprendizados estratégicos:

- O problema: a execução vem logo depois da proposta. Um agente que reserva um voo, cancela um pedido ou altera uma configuração de conta faz algo que não pode ser desfeito discretamente.
- O que é o JevAct. O JevAct é um harness que verifica propostas selecionadas antes da execução.
- Dois tipos de evidência, um único gate. O desenho se apoia em uma separação entre o que pode ser verificado de forma determinística e o que não pode.
- Por que um modelo de decisão em vez de um LLM juiz. A alternativa óbvia é um LLM juiz que lê a proposta e escreve um veredito.

Qual é a abordagem da sua organização em relação aos desafios descritos neste artigo?

→ https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/

#AgentesLlm #VerificaçãoDeAgentes #VerificaçãoEmTempoDeExecução #ModelosDeDecisão #AgentesComUsoDeFerramentas

Sebastien Rousseau | CC-BY-4.0
Citar este artigo

JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau

O JevAct verifica ações selecionadas de agentes LLM antes da execução. Ante ReAct com o mesmo modelo, ganhos consistentes em Telecom e BFCL, mistos em Airline.

BibTeX

@online{rousseau2026jevact,
  author  = {Rousseau, Sebastien},
  title   = {{JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/
ER  -

Vancouver

Rousseau S. JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/

Chicago

Rousseau, Sebastien. "JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/.

APA

Rousseau, S. (2026, November 18). JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/

Republicar este artigo

JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau

O JevAct verifica ações selecionadas de agentes LLM antes da execução. Ante ReAct com o mesmo modelo, ganhos consistentes em Telecom e BFCL, mistos em Airline.

Este artigo está licenciado sob Creative Commons Attribution 4.0 International. A republicação exige atribuição à URL canônica.

JevAct: verificar ações de agentes de IA antes que sejam executadas — Sebastien Rousseau

O JevAct verifica ações selecionadas de agentes LLM antes da execução. Ante ReAct com o mesmo modelo, ganhos consistentes em Telecom e BFCL, mistos em Airline.

Originally published at https://sebastienrousseau.com/pt-br/2026-11-18-jevact-verificar-acoes-agentes-ia-antes/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.