Sebastien Rousseau

AGENTES LLM

Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct

La mayoría de los bucles de agentes ejecutan una llamada a herramienta en cuanto el modelo la propone, y los resultados de JevAct sugieren que un punto de control barato y probabilístico, situado justo antes de la ejecución, puede hacer más fiables a los agentes con herramientas, aunque las mejoras varían mucho según el benchmark.

15 min de lectura
Banner for: Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct

La mayoría de los bucles de agentes ejecutan una llamada a herramienta en cuanto el modelo la propone, y los resultados de JevAct sugieren que un punto de control barato y probabilístico, situado justo antes de la ejecución, puede hacer más fiables a los agentes con herramientas, aunque las mejoras varían mucho según el benchmark.

Resumen ejecutivo

  • Los agentes LLM ejecutan cada vez más acciones con consecuencias a través de herramientas externas, pero esas acciones suelen ejecutarse sin una verificación independiente del cumplimiento de la política ni de la finalización de la tarea.
  • JevAct compila fuera de línea una política de dominio en preguntas, reglas, comprobaciones ejecutables de estado y, cuando hace falta, una lista de verificación para el traspaso.
  • En tiempo de ejecución, el código comprueba hechos en los registros de las herramientas, mientras que Kev, un modelo de decisión de tipo Jev publicado en código abierto, responde a las preguntas que dependen de la conversación.
  • Frente a un arnés ReAct en τ²-bench (Airline, Telecom) y BFCL, las mejoras son constantes en Telecom y en el éxito en tres ejecuciones de BFCL, y más desiguales en Airline.
  • Los propios autores lo plantean con cautela: los resultados sugieren que combinar modelos de decisión estructurados con verificación ejecutable puede mejorar la fiabilidad.

El problema: la ejecución sigue a la propuesta #

Un agente que reserva un vuelo, cancela un pedido o cambia un ajuste de una cuenta hace algo que no se deshace en silencio. Lo incómodo es lo poco que se interpone entre la sugerencia del modelo y su efecto. Muchos bucles de agentes ejecutan la llamada a herramienta propuesta en cuanto el modelo la produce. Nadie comprueba de forma independiente si la acción cumple la política del dominio, ni si una tarea que el agente da por terminada lo está de verdad.

Esa brecha es el punto de partida de «Think Before You Act: Decision Gate for LLM Agents», un preprint de arXiv de 2026 firmado por Iftach Shoham, Yuval David y otros investigadores de IBM, que presenta JevAct. No es una observación nueva, pero conviene decirla claramente porque buena parte de las herramientas para agentes se centra en mejorar al proponente. Los agentes ReAct intercalan razonamiento y uso de herramientas, y ese patrón se ha convertido en una referencia habitual. Los métodos de reflexión como Self-Refine y Reflexion añaden crítica y retroalimentación para mejorar propuestas o intentos posteriores, sin actualizar los pesos del modelo. Por útiles que sean, esos métodos no verifican por sí mismos una acción concreta frente a una política de dominio justo antes de ejecutarla. La comprobación que interesa a JevAct está en otro punto del bucle: después de que exista una propuesta y antes de que se consolide.

Qué es JevAct #

JevAct es un arnés que revisa determinadas propuestas antes de ejecutarlas. Se describe como un marco de verificación en tiempo de ejecución que intercepta determinadas acciones del agente y permite corregirlas a partir de retroalimentación. Funciona con independencia del modelo subyacente del agente y no requiere modificar los parámetros ni las herramientas del modelo. En la configuración evaluada, el LLM del agente, su prompt base y sus herramientas no cambian.

En términos de arquitectura, JevAct amplía el arnés de un agente ReAct insertando una fase de comprobación selectiva entre la propuesta del mensaje y su ejecución. La palabra «selectiva» importa. El marco no inspecciona cada mensaje; se centra en determinados tipos de acción. El artículo define dos. Una llamada de escritura cambia el entorno, por ejemplo al reservar, cancelar o modificar un ajuste. Un traspaso pone fin al intento del agente, ya sea transfiriendo al usuario a una persona o diciéndole que no se puede hacer nada más. Las escrituras son donde una infracción de la política causa daño; los traspasos, donde un agente puede rendirse demasiado pronto. El objetivo declarado del marco, detectar acciones potencialmente inválidas y la finalización prematura de tareas, se corresponde con esas dos categorías.

Cuando una comprobación falla, la propuesta no se bloquea sin más. Las comprobaciones pueden aplazar la ejecución y pedir al LLM una propuesta revisada con retroalimentación temporal, sujeta a un presupuesto fijo de revisiones. Una propuesta que pasa sigue adelante. Una señalada vuelve al agente con retroalimentación específica y una oportunidad acotada de revisarla. Y el reparto de papeles queda claro: el agente sigue proponiendo acciones y Kev no las elige.

Dos tipos de evidencia, una sola puerta #

El diseño se basa en separar lo que puede verificarse de forma determinista de lo que no. JevAct combina la verificación determinista de hechos del estado de las herramientas con la evaluación probabilística del contexto conversacional. En tiempo de ejecución, el código comprueba los hechos disponibles en los registros de las herramientas y Kev responde a las preguntas que dependen de la conversación.

Esa separación es sensata. Algunas condiciones de la política son hechos que están en los registros de una herramienta, y un programa puede leerlos sin la opinión de ningún modelo. Otras condiciones viven en lo que se dijeron el usuario y el agente, algo que ninguna consulta a una base de datos resolverá. Encargar lo primero al código y lo segundo a un modelo significa que al modelo solo se le pregunta por lo que el código no puede responder.

La mitad fuera de línea es lo que hace que esto sea práctico de describir. Un compilador convierte una política de dominio en preguntas, reglas, comprobaciones ejecutables sobre el estado de las herramientas y, cuando hace falta, una lista de verificación para el traspaso. Dicho de otro modo, JevAct compila las políticas de dominio en comprobaciones ejecutables de estado y en preguntas estructuradas que evalúa un modelo de decisión de solo prefill. Los autores dicen que sientan las bases de un flujo de trabajo que compila políticas de dominio en preguntas, reglas de decisión, comprobaciones ejecutables de estado y listas de verificación de traspaso para una puerta basada en un modelo de decisión. Es una forma modesta de decirlo, y yo la tomaría al pie de la letra: la afirmación se refiere a los cimientos de un flujo de trabajo, no a un producto terminado.

Por qué un modelo de decisión y no un LLM como juez #

La alternativa evidente es un LLM que haga de juez, lea la propuesta y redacte un veredicto. La objeción del artículo es práctica. Las explicaciones en texto libre de ese juez todavía hay que interpretarlas antes de que una puerta pueda actuar, y tomar esa decisión con un modelo de frontera es caro. Una puerta necesita una decisión, no un ensayo.

Los modelos de decisión están hechos para eso. Jev introdujo modelos de decisión que devuelven opciones tipadas, puntuaciones y probabilidades en lugar de texto generado. Devuelven opciones y probabilidades para preguntas fijas, lo que simplifica las comprobaciones basadas en umbrales. El modelo que usa JevAct es de solo prefill y emite juicios basados en probabilidades sin depender de la generación del LLM. Kev es un modelo de decisión de tipo Jev en código abierto, situado en un paso de verificación separado antes de que se consoliden determinadas acciones.

Hay una salvedad, y los autores la señalan ellos mismos. No está garantizado que las probabilidades de un modelo de decisión estén calibradas ni que sean correctas, así que su valor debe probarse dentro del bucle del agente en lugar de darse por supuesto. Esa frase enmarca toda la parte empírica. La pregunta central es si un modelo de decisión puede servir como verificador con umbral de probabilidad junto a comprobaciones ejecutables del estado de las herramientas. Es una pregunta que se responde con experimentos, y es en el experimento donde está el detalle interesante.

Los trabajos relacionados sobre modelos de decisión ofrecen un panorama dispar de por qué importa esa prueba. Li et al. obtienen resultados competitivos en preferencias y en factualidad anclada en evidencias, pero un rendimiento más débil cuando hace falta derivar. Rao y Callison-Burch obtienen resultados dispares con rúbricas y errores coincidentes con los de los LLM usados como jueces. Un modelo de decisión fuerte en algunas tareas de juicio y más débil en otras es justo el tipo de componente que conviene emparejar con comprobaciones deterministas en lugar de confiar en él solo.

Cómo se hizo la comparación #

JevAct se compara con un arnés ReAct que usa el mismo LLM de agente en ambos brazos. Las tareas abarcan Airline y Telecom en τ²-bench y tareas de llamada a funciones de varios turnos en BFCL. Mantener fijo el LLM del agente en ambos brazos es el control adecuado para la pregunta planteada: cualquier diferencia procede del arnés, no de un proponente más fuerte o más débil.

El artículo presenta sus resultados con las cifras pass^3 de la Tabla 2, junto con el éxito al menos una vez. Ambas medidas tiran en direcciones distintas, y el contraste entre ellas resulta revelador. El éxito en las tres ejecuciones premia al agente que acierta siempre. El éxito al menos una vez premia al agente que acierta en algún intento. Un verificador que detecta acciones erróneas debería ayudar a la primera medida con más fiabilidad que a la segunda, y los resultados encajan con esa lectura, aunque el artículo solo dice que el patrón de BFCL es coherente con un rendimiento más repetible en algunas tareas, así que el resto lo presento como interpretación y no como hallazgo.

Qué muestran las cifras #

En Telecom, los ocho agentes mejoran tanto el éxito al menos una vez como el éxito en las tres ejecuciones. Es el resultado más limpio del artículo: sin excepciones entre los agentes probados, en ninguna de las dos medidas.

En BFCL, los nueve agentes mejoran en éxito en las tres ejecuciones, pero los resultados de al menos una vez son desiguales. Conviene leerlo con atención. En BFCL, la medida más estricta sube para todos los agentes probados, entre 0,1 y 9,6 puntos; la más laxa mejora en cuatro agentes y empeora en cinco. Si lo que le importa es que un agente se comporte correctamente siempre, esa es la dirección favorable. Si le importa saber si un reintento podría acabar teniendo éxito, el beneficio no queda demostrado aquí.

Airline es el punto débil. Los efectos en Airline son menores y varían según el agente. El resumen de resultados habla de mejoras especialmente constantes en Telecom y BFCL, mientras que el rendimiento en Airline es más desigual. Un fundador que lea esto no debería redondearlo a «lo mejora todo». Los autores informan de mejoras en la fiabilidad de los agentes en varios modelos y benchmarks, pero en Airline las mejoras son menores y desiguales, y afirman que sus resultados no demuestran mejoras uniformes. El artículo advierte de que, con 50 tareas en Airline, una sola tarea mueve la puntuación 2 puntos porcentuales, así que las diferencias pequeñas deben leerse con cautela; más allá de eso, no voy a especular sobre por qué Airline se comporta de otro modo.

La lectura de conjunto la matizan los propios autores: los resultados sugieren que combinar modelos de decisión estructurados con verificación ejecutable puede mejorar la fiabilidad de los agentes LLM con herramientas. «Sugieren» es el verbo correcto. Es un resultado prometedor, no una demostración.

Qué aísla la comparación y qué no #

Hay una limitación que merece más peso del que suele recibir. Como JevAct añade comprobaciones compiladas y oportunidades de revisión, las comparaciones evalúan el arnés completo, no el juez de forma aislada. Es una salvedad importante para quien quiera concluir que el modelo de decisión hace el trabajo pesado. Las mejoras podrían venir de las probabilidades de Kev, de las comprobaciones ejecutables de estado, de las oportunidades adicionales de revisión o de una combinación de todo ello. Las comparaciones principales no los separan.

Sostengo que no es tanto un defecto como una descripción honesta de lo que puede demostrar un artículo de sistemas. La pregunta que plantean los autores, si un modelo de decisión puede servir como verificador con umbral de probabilidad junto a comprobaciones ejecutables del estado de las herramientas, se responde para el conjunto de ambos, porque el «junto a» forma parte de la propia pregunta. Pero quien decida dónde invertir esfuerzo debería tenerlo presente. Si construye algo similar, no puede inferir de esta evidencia que el modelo de decisión por sí solo aportaría la mejora, ni que la aportarían solo las comprobaciones de código.

También significa que la salvedad sobre la calibración sigue en pie. No está garantizado que las probabilidades estén calibradas ni que sean correctas, y el resultado a nivel de arnés no elimina esa incertidumbre. Muestra que el conjunto ayudó en los benchmarks probados.

Dónde encaja frente a otros diseños de protección #

JevAct se suma a un nutrido grupo de enfoques para proteger las acciones de los agentes, y las diferencias son instructivas. GuardAgent usa un agente aparte que genera y ejecuta código de verificación a partir de requisitos de protección definidos por el usuario. Zwerdling et al. compilan las políticas de una empresa en protecciones ejecutables que comprueban el cumplimiento antes de las acciones con herramientas. AgentSpec representa las restricciones en tiempo de ejecución como disparadores, predicados y acciones de aplicación. ShieldAgent deriva reglas verificables de documentos de políticas.

Otros se apoyan en modelos para la verificación en sí. ToolSafe usa una barrera de protección aprendida para evaluar las llamadas a herramienta propuestas y devolver retroalimentación, mientras que PolicyGuard y PolicyGuide usan verificadores basados en modelos para el cumplimiento de políticas y la orientación del flujo de trabajo. CaMeL sigue otra vía e impone la seguridad separando el flujo de control de confianza de los datos que no lo son.

En ese contexto, la elección distintiva de JevAct es su combinación concreta. Como la línea de trabajo que compila políticas en protecciones ejecutables, convierte la política en comprobaciones sobre el estado de las herramientas. Como los verificadores basados en modelos, usa un modelo para los juicios que el código no puede emitir. Lo que añade es un modelo de decisión que devuelve probabilidades sobre opciones fijas, usado en línea antes de ejecutar determinadas acciones, con retroalimentación para la revisión. Deja las propuestas al LLM de ReAct y sitúa a Kev en un paso de verificación separado antes de que se consoliden determinadas acciones.

Por qué conviene seguir este diseño #

A mi juicio, la idea más útil no es Kev en sí, sino la disciplina de la separación. Pregunte al código lo que el código puede responder. Pregunte a un modelo solo lo que depende de la conversación. Mantenga separados al proponente y al verificador, para que el modelo que revisa una acción no sea el que la sugirió. Y haga que la salida del verificador sea una probabilidad frente a un umbral, de modo que la puerta sea una comparación y no un texto que alguien tenga que interpretar.

Ese diseño también hace visibles los puntos débiles. Si una comprobación falla donde no debe, se puede preguntar si fue una comprobación de estado o una pregunta conversacional. Si los umbrales son erróneos, son números que se pueden examinar. La advertencia del propio artículo de que las probabilidades deben probarse en el bucle es el instinto correcto, y es una postura mejor que dar por hecho que un verificador funciona porque parece sensato.

Los resultados desiguales, en todo caso, tranquilizan sobre la honestidad del informe. Un marco que afirmara mejoras uniformes en todas partes merecería más sospecha que uno que muestra ocho de ocho en Telecom, nueve de nueve en éxito en tres ejecuciones en BFCL, resultados dispares de al menos una vez en BFCL y efectos variables en Airline. El patrón da a los profesionales algo con lo que planificar: la evidencia más sólida es la de fiabilidad en ejecuciones repetidas, y la más débil, la del dominio donde los efectos varían según el agente.

Qué hacer con esto #

Para los lectores técnicos, la conclusión es de arquitectura. En JevAct, el LLM del agente, su prompt base y sus herramientas no cambian, así que la capa de verificación es algo que se añade alrededor de un agente y no algo que se le entrena. Para los fundadores, la lectura práctica es más estrecha que el titular. El artículo informa de una mayor fiabilidad en varios modelos y benchmarks, con Airline más desigual, y sus comparaciones evalúan el arnés completo y no el juez de forma aislada. Las comparaciones principales no establecen qué componente aporta la mejora, aunque el estudio de ablación del artículo en Airline sugiere que la verificación programática explica buena parte de ella en ese contexto.

La pregunta abierta es la central del propio artículo: si un modelo de decisión puede servir como verificador con umbral de probabilidad junto a comprobaciones ejecutables del estado de las herramientas cuando, como señalan los autores, no está garantizado que sus probabilidades estén calibradas ni que sean correctas. Los resultados de Airline, donde los efectos son menores y varían según el agente, son el primer sitio donde mirar. Si esa variación se debe a las comprobaciones, a los umbrales o a las políticas que se compilan es algo que los resultados publicados dejan abierto, y es el experimento que más me gustaría ver a continuación.

Preguntas frecuentes #

¿Qué es JevAct? JevAct es un marco de verificación en tiempo de ejecución de investigadores de IBM que intercepta determinadas acciones del agente, en concreto las llamadas de escritura y los traspasos, antes de ejecutarlas. Una propuesta señalada vuelve al agente con retroalimentación específica y una oportunidad acotada de revisarla. El LLM del agente, su prompt base y sus herramientas no cambian.

¿Qué hace Kev en JevAct? Kev es un modelo de decisión de tipo Jev en código abierto que responde a preguntas fijas con probabilidades en lugar de texto generado. En JevAct responde a las preguntas que dependen de la conversación, mientras que el código comprueba los hechos disponibles en los registros de las herramientas. Kev no elige las acciones; el agente sigue proponiéndolas.

¿Cómo se evaluó JevAct? El artículo compara JevAct con un arnés ReAct que usa el mismo LLM de agente en ambos brazos. Las tareas abarcan Airline y Telecom en τ²-bench y tareas de llamada a funciones de varios turnos en BFCL, y el éxito se mide tanto como éxito al menos una vez en tres ejecuciones como éxito en las tres.

¿Mejoró JevAct a todos los agentes en todos los benchmarks? No. En Telecom, los ocho agentes mejoraron en ambas medidas, y en BFCL los nueve mejoraron en éxito en las tres ejecuciones, mientras que los resultados de al menos una vez fueron dispares. En Airline los efectos fueron menores y variaron según el agente, y los autores afirman que los resultados no demuestran mejoras uniformes.

¿Demuestra el artículo que el modelo de decisión por sí solo impulsa las mejoras? No. Como JevAct añade comprobaciones compiladas y oportunidades de revisión, las comparaciones principales evalúan el arnés completo, no el juez de forma aislada. Los autores señalan además que no está garantizado que las probabilidades del modelo de decisión estén calibradas ni que sean correctas.

Referencias #

Última revisión .

Republicar este artículo

Copiar formato para Medium

# Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/](https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/)

JevAct verifica acciones de agentes LLM antes de ejecutarlas. Frente a ReAct con el mismo modelo, mejora con constancia en Telecom y BFCL; en Airline, desigual.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/

Copiar formato para Mastodon

Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau

JevAct verifica acciones de agentes LLM antes de ejecutarlas. Frente a ReAct con el mismo modelo, mejora con constancia en Telecom y BFCL; en Airline, desigual.

https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/

Copiar formateado para LinkedIn

Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau

JevAct verifica acciones de agentes LLM antes de ejecutarlas. Frente a ReAct con el mismo modelo, mejora con constancia en Telecom y BFCL; en Airline, desigual.

Estos son los puntos estratégicos clave:

- El problema: la ejecución sigue a la propuesta. Un agente que reserva un vuelo, cancela un pedido o cambia un ajuste de una cuenta hace algo que no se deshace en silencio.
- Qué es JevAct. JevAct es un arnés que revisa determinadas propuestas antes de ejecutarlas.
- Dos tipos de evidencia, una sola puerta. El diseño se basa en separar lo que puede verificarse de forma determinista de lo que no.
- Por qué un modelo de decisión y no un LLM como juez. La alternativa evidente es un LLM que haga de juez, lea la propuesta y redacte un veredicto.

¿Cuál es el enfoque de su organización ante los desafíos descritos en este artículo?

→ https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/

#AgentesLlm #VerificaciónDeAgentes #VerificaciónEnTiempoDeEjecución #ModelosDeDecisión #AgentesConHerramientas

Sebastien Rousseau | CC-BY-4.0
Citar este artículo

Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau

JevAct verifica acciones de agentes LLM antes de ejecutarlas. Frente a ReAct con el mismo modelo, mejora con constancia en Telecom y BFCL; en Airline, desigual.

BibTeX

@online{rousseau2026verificar,
  author  = {Rousseau, Sebastien},
  title   = {{Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/
ER  -

Vancouver

Rousseau S. Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/

Chicago

Rousseau, Sebastien. "Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/.

APA

Rousseau, S. (2026, November 18). Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/

Volver a publicar este artículo

Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau

JevAct verifica acciones de agentes LLM antes de ejecutarlas. Frente a ReAct con el mismo modelo, mejora con constancia en Telecom y BFCL; en Airline, desigual.

Este artículo se publica bajo Creative Commons Attribution 4.0 International. La republicación requiere atribución a la URL canónica.

Verificar acciones de agentes antes de ejecutarlas: la puerta JevAct — Sebastien Rousseau

JevAct verifica acciones de agentes LLM antes de ejecutarlas. Frente a ReAct con el mismo modelo, mejora con constancia en Telecom y BFCL; en Airline, desigual.

Originally published at https://sebastienrousseau.com/es/2026-11-18-verificar-acciones-agentes-antes-ejecutarlas-puerta/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.