Imagina a un médico de urgencias a las 3 de la mañana. Nunca ve directamente lo que pasa dentro del paciente. Recibe señales parciales (lo que el paciente dice, una analítica, un monitor), se forma una hipótesis sobre qué anda mal, toma una acción (pedir una prueba, iniciar un fármaco) y entonces espera el resultado real antes de decidir el siguiente movimiento. No actúa sobre lo que imagina que dirá la prueba. Actúa sobre lo que la prueba dice de verdad.
Eso es casi exactamente lo que es un agente de IA. Un agente sigue eligiendo su siguiente movimiento mientras solo puede ver una parte del mundo. Actúa, observa lo que de verdad ocurre, actualiza su imagen y vuelve a actuar. "Un LLM con tools" es la maqueta de juguete. Este bucle (decidir con una vista incompleta y luego corregir contra la realidad) es lo que en realidad estás diseñando.
Una vez que ves un agente así, las decisiones que parecían ad-hoc dejan de ser problemas separados. Qué meter en el contexto, cuándo verificar, qué tool exponer, cuándo pedir permiso: todas se colapsan en las mismas tres preguntas de siempre. ¿Qué creo ahora mismo, qué estoy a punto de cambiar y qué persigo?
El nombre formal: una política sobre un POMDP
Esto es lo que los investigadores llaman a esta imagen, porque vas a encontrarte estas palabras por todas partes y conviene saber leerlas.
Quien decide es una La función que mapea lo que el agente ha observado hasta el momento a su siguiente acción; en un agente LLM, el razonador condicionado por su system prompt ES la política π(acción | observación, historial). glosario → : una función que va de todo lo observado hasta ahora a la siguiente acción. Escrito, eso es π(acción | observación, historial), y la barra se lee como "dado". La siguiente acción dado lo que el agente ha visto. El LLM, guiado por su system prompt, es esa política.
El mundo sobre el que actúa es un Un modelo de toma de decisiones en el que un agente nunca observa directamente el estado real del mundo y debe actuar según una creencia inferida a partir de observaciones parciales: la lente formal para los agentes LLM. glosario → : un proceso de decisión donde nunca ves el estado completo del mundo, solo observaciones parciales de él. (Una llamada de API aislada y autocontenida es el caso fácil contrario: un Un modelo de decisión en el que el agente ve el estado completo del mundo antes de cada acción. Es el caso especial totalmente observado de un POMDP; una llamada de API a un LLM aislada y autocontenida es un MDP degenerado de un solo paso, mientras que un agente real que actúa sobre información parcial es un POMDP. glosario → de un solo paso donde el modelo ve de golpe todo lo que necesita. Un agente real casi nunca vive ahí.) Esta es la formulación estándar en la literatura de RL agéntico, usada desde 2023–2024 (ReAct, ETO, HiAgent) y construida a su vez sobre el POMDP clásico (Åström, 1965); el survey de RL agéntico de 2025 da una formulación consolidada y limpia, contrastando el MDP de un solo paso del LLM-RL con el POMDP del RL agéntico. No necesitas el aparato formal para construir. Necesitas la descomposición, porque renombra problemas que ya tienes en problemas sobre los que puedes razonar.
Cada letra de POMDP es solo una pregunta que ya te hacías en cada feature. La tabla lo deja uno a uno.
| Símbolo POMDP | En un agente LLM | La pregunta de ingeniería que ya te hacías |
|---|---|---|
| S, estado oculto | El estado real del mundo (p. ej. las filas reales de la base de datos) | (el agente nunca lo ve directo) |
| O, observación | Lo que el agente ve: mensajes, documentos leídos, resultados de tools | ¿Qué meto en el contexto? |
| b, La estimación continua que el agente mantiene del estado oculto del mundo formada a partir de las observaciones; en un agente LLM es el context window curado, no el prompt en bruto. glosario → | La ventana de contexto: la estimación del agente sobre S | ¿Qué retengo, compacto o externalizo? |
| A, El conjunto completo de acciones que un agente puede tomar —en un agente LLM, sus herramientas disponibles—; restringirlo reduce la varianza de la política y disminuye la superficie de ataque. glosario → | El conjunto de tools disponibles | ¿Qué tools expongo? |
| T, Las reglas por las que una acción cambia el mundo y produce la siguiente observación: el harness (workers, base de datos, locks, persistencia) que ejecuta y persiste los efectos. glosario → | El harness: worker, DB, locks, persistencia | ¿Cómo se ejecuta y persiste el efecto? |
| R, recompensa | El eval de éxito de tarea | ¿Cómo sé que lo hizo bien? |
| π, política | El LLM condicionado por el system prompt | ¿Cómo decide la siguiente acción? |
Olvida al médico un momento y fíjate en lo que te da la versión formal. La observabilidad parcial explica los fallos clásicos con una sola causa, en vez de un encogimiento de hombros ante "el modelo siendo tonto". El agente alucina (rellenó un estado no observado con una creencia falsa), repite acciones (su creencia no registró que ya actuó) o se pierde (la creencia se degradó al desbordar la ventana). Los tres son patologías del belief state, no estupidez aleatoria del modelo.
Workflow vs agente: quién controla la trayectoria
La distinción más malinterpretada del campo no es "¿usa un LLM?". Es quién decide la trayectoria. En un Una distinción de flujo de control: en un workflow el código predefine la trayectoria y el LLM solo rellena huecos, mientras que en un agente el LLM elige sus propias acciones y herramientas en tiempo de ejecución. glosario → , los caminos están predefinidos en código: tú fijas el flujo y el LLM rellena huecos dentro de ramas que ya dibujaste. En un agente, el LLM dirige sus propios pasos y uso de tools en runtime.
La mayoría de los sistemas "agénticos" de producción que ganaron en 2025 eran workflows con un LLM como componente. No es un insulto, es la recomendación. Anthropic nombra cinco patrones de workflow que cubren la mayoría de casos antes de necesitar un agente full: prompt chaining (secuencial), routing (clasifica y deriva), parallelization (sectioning/voting), orchestrator-workers (un líder delega dinámicamente) y evaluator-optimizer (genera y critica en bucle). Confundir workflow con agente produce la sobre-ingeniería arquetípica: un loop de razonamiento donde bastaba una llamada API de 10 ms.
El loop es un bucle de control, no un pensamiento largo
El El ciclo que se repite en el que el modelo decide una acción, el harness la ejecuta contra el entorno y la observación resultante se realimenta para la siguiente decisión, hasta que se cumple una condición de parada. glosario → es gather context → take action → verify → repeat. Lo que separa a un agente de una larga cadena de pensamiento es que cada paso recibe una observación real del entorno, no una predicción del modelo. El paso verify (comparar contra Un hecho externo observable inyectado en el loop (un resultado real de una herramienta, una prueba que pasa o falla, un error concreto), en contraposición a la autoevaluación no verificada del propio modelo. glosario → en cada iteración) es lo que evita que el error componga. Tratar la salida del modelo como verdad en vez de ejecutar la acción y observar es chain-of-thought disfrazado de agente, y es el modo de fallo número uno.
La aritmética que gobierna la arquitectura
Aquí está el momento "click", y es solo una multiplicación. Di que cada paso acierta por su cuenta con probabilidad p. Entonces una tarea de t pasos seguidos tiene éxito con probabilidad p^t. Tu intuición lineal te traiciona brutalmente:
| Acierto por paso (p) | Pasos (t) | Éxito de la tarea (p^t) |
|---|---|---|
| 90% | 10 | ≈ 35% (0.90¹⁰ = 0.3487) |
| 99% | 100 | ≈ 37% (fallo acumulado ≈ 63%) |
| 99.9% | 100 | ≈ 90% |
Un agente que clava el 90% de sus pasos fracasa en dos de cada tres tareas de diez pasos. Ese único hecho es la razón por la que el El fenómeno por el cual pequeñas tasas de error por paso se acumulan a lo largo de una tarea larga y hunden la probabilidad de éxito (heurísticamente p^t; rigurosamente una cota cuadrática εT² en aprendizaje por imitación, según Ross y Bagnell). glosario → , y no la inteligencia bruta del modelo, fija el techo en las tareas largas.
El hallazgo de 2025 que importa: cerca de p ≈ 1, mejoras diminutas en la precisión por paso producen saltos enormes en el horizonte alcanzable. Por eso la fiabilidad por paso domina la capacidad bruta en tareas de horizonte largo. Pasar de 99% a 99.9% por paso (construyendo fiabilidad: tools sólidas, verificación, poka-yoke) rinde más, en horizontes largos, que cambiar a un modelo "más inteligente".
La versión rigurosa: por qué el error crece de forma cuadrática (εT²)
p^t es un medidor de servilleta, no un teorema. Asume pasos independientes e igual de fiables, cosa que los agentes no son: los pasos se correlacionan, el error se recupera, el harness interviene. Así que lee p^t para la forma del problema. El resultado establecido en imitation learning es más fuerte y distinto: el error compuesto crece de forma cuadrática con el horizonte (del orden de εT², del análisis de El algoritmo de aprendizaje por imitación de Ross, Gordon y Bagnell (2011) que mitiga el error acumulado entrenando la política sobre los estados que esta realmente visita, sustituyendo el crecimiento cuadrático del error por un término lineal O(εT). glosario → de Ross y Bagnell), porque un error ε pequeño por paso empuja a la política a estados que nunca entrenó, donde se equivoca más. Cita p^t para la intuición. Cita εT² cuando necesites la teoría de verdad.
Por qué esto impone arquitectura en vez de sugerirla
HITL en escrituras, checkpoints, un verify-step explícito, horizontes más cortos, descomposición de tareas: no son preferencias de estilo. Son consecuencias directas del error compuesto. Si no puedes subir p, acortas t. Si no puedes acortar t, metes un humano o un verificador que resetee el error efectivo en cada paso. A la matemática le da igual tu gusto; te dice las únicas tres palancas que tienes: subir p, bajar t, o romper la cadena.
La autonomía es un espectro, se fija por acción
La autonomía no es un binario, y no es una escalera de capacidad tipo L1-L5. Es un espectro definido por el rol que adopta el humano: operador (dirige cada acción) → colaborador (aprueba cada decisión, HITL) → consultor (el agente propone, el humano decide) → aprobador → observador (el agente actúa solo). Más autonomía no es mejor. La gradúas por reversibilidad y stakes.
Lo que nos devuelve a la pregunta de mayor apalancamiento de todo el campo. Casi nunca es "¿qué framework de agente?". Es "¿necesito siquiera un agente, o un workflow o una sola llamada LLM lo resuelve más barato, rápido y predecible?". La escalera de decisión:
- Rules engine, si todo output válido es enumerable en tests. Microsegundos, coste cero, cero plausible-pero-incorrecto.
- 1 llamada LLM (+ ejemplos in-context), necesitas comprensión de lenguaje pero el flujo es fijo.
- Workflow, hay ramas conocidas; dibújalas como flowchart en código.
- Agente, solo si el espacio de acciones es abierto, el horizonte variable y la trayectoria impredecible.
El default es la solución más simple que funcione. El agente se gana su lugar únicamente cuando su ganancia de rendimiento paga la latencia, el coste y el error compuesto que trae.
Las tools son el espacio de acciones
El espacio de acciones del agente es su conjunto de tools, y la calidad de ese conjunto moldea la política tanto como el modelo. Diseñar la El diseño de las herramientas que un agente puede invocar —nombres, formatos, ejemplos, prevención de errores—, que es en la práctica el diseño del action space del POMDP y una palanca importante de fiabilidad. glosario → es diseñar el espacio de acciones del POMDP: nombres obvios, ejemplos, edge cases documentados, formatos a prueba de errores ( Un principio de diseño tomado de la manufactura: hacer las herramientas y los formatos a prueba de errores para que el agente estructuralmente no pueda cometer ciertos fallos. glosario → ) y, este se salta, restringir el conjunto para recortar la varianza de la política.
// Un conjunto de tools abierto de par en par es alta varianza de
// política + más superficie de ataque. Menos tools, más afiladas,
// hacen fiable a un modelo modesto.
const DISALLOWED = ['Bash', 'Write', 'Edit', 'WebFetch', 'Task'];
// El espacio de acciones es una palanca de seguridad y fiabilidad,
// no solo una lista de capacidades. Default-deny, luego agrega lo
// que la tarea de verdad necesita; nunca al revés.Una mala ACI degrada cualquier modelo. Una buena hace fiable a un modelo modesto. El espacio de acciones es una palanca de fiabilidad infravalorada frente al debate eterno sobre qué modelo elegir.
Lo que el consenso sobrevalora y lo que ignora
- "Más agéntico = mejor". Falso. En 2025 los workflows deterministas ganaron producción.
- Multi-agente por defecto. Solo gana en trabajo paralelizable y read-heavy; en estado compartido produce decisiones conflictivas.
- Frameworks pesados como punto de partida. Ocultan el loop. Llamadas directas a la API primero: la mayoría de patrones son pocas líneas.
- "Agente = LLM + tools". Incompleto. Ignora el loop, el entorno y la observabilidad parcial, que es lo que de verdad define a un agente.
- Calcular el presupuesto de error antes de diseñar el horizonte. Casi nadie lo hace; por eso verify-step y HITL no son opcionales.
- Fiabilidad por paso ≫ capacidad. Cerca de p ≈ 1, invertir en fiabilidad le gana a cambiar de modelo.
- El contexto ES el belief state. Curarlo es arquitectura de primer orden, no detalle de prompting.
- El entorno es parte del agente. El harness, los locks y la persistencia son la dinámica de transición T.
La tensión Anthropic vs Cognition sobre multi-agente
No es un consenso cerrado, es un desacuerdo real entre dos labs serios. Anthropic reporta un sistema Un patrón multiagente en el que un agente líder descompone una tarea, lanza workers especializados con mandatos acotados y sintetiza sus resultados en una única respuesta. glosario → (un líder Opus más subagentes Sonnet) superando al single-agent en un 90.2% en su eval interna de investigación: el multi-agente gana en tareas read-heavy y paralelizables, donde cada subagente explora una rama independiente. Cognition argumenta lo opuesto para tareas con estado compartido: los subagentes paralelos toman decisiones independientes que entran en conflicto al recomponerse, y abogan por single-threaded más un LLM compresor. No se contradicen tanto como delimitan el dominio. Paraleliza lecturas independientes; quédate single-thread cuando hay escritura o estado compartido. (Una nota de precisión: Cognition populariza y define "context engineering" pero no lo acuñó; eso suele atribuirse a Tobi Lütke y Andrej Karpathy, mediados de 2025.)
El punto de la lente no es la elegancia. Es que una vez que el agente es una política sobre un POMDP, el resto de la ruta deja de ser una lista de técnicas inconexas: el context engineering es curar la creencia, el RAG y la búsqueda agéntica la extienden, el HITL y la seguridad gradúan la autonomía por acción, y los evals miden la política más que la respuesta.