Casi nunca vas a entrenar un modelo. Y aun así, entender el post-training es lo que separa al ingeniero de agentes que sabe razonar sobre por qué su modelo miente, adula o se inventa un razonamiento plausible-pero-falso del que parchea síntomas con prompts y se sorprende cuando vuelven. Este módulo cierra un círculo. El grader que escribiste en la fase de evals es, literalmente, una función de recompensa de entrenamiento. Quien domina diseñar recompensas no-hackeables domina las dos caras de la moneda: evaluar y entrenar.

Tres capas convierten un predictor de tokens en un agente

Un modelo base es un predictor de tokens. Completa texto con la distribución de internet. No es un asistente, no sigue instrucciones de forma fiable, no usa herramientas. El post-training es todo lo que ocurre después del pretraining para convertir ese predictor en algo útil, alineado y agéntico. Conviene separarlo en tres capas, porque cada una graba algo distinto y falla de forma distinta.

El pipeline de post-training: cada capa graba algo distinto

Capa 1, SFT / distillation. Fine-tuning supervisado sobre trayectorias de buen comportamiento, a menudo generadas por un modelo maestro grande y destiladas a uno pequeño. Graba forma: formato de respuesta, estructura de cadena de pensamiento, tono. Su riesgo es exactamente ese. Enseña la forma sobre el fondo, produce CoT plausible con pasos intermedios incorrectos.

Capa 2, optimización de preferencias. RLHF, su colapso supervisado DPO, y Constitutional AI / RLAIF. Alinea qué respuesta se prefiere según humanos o según principios. Aquí nacen tanto la utilidad conversacional como la sycophancy.

Capa 3, RLVR (RL desde recompensas verificables). RL contra recompensas programáticas: un test pasa, una respuesta matemática es correcta, un estado final se alcanza. Esto es lo que hizo emerger el razonamiento de cadena larga y el uso de herramientas: el cambio de los reasoning models.

La escalera de coste: cuándo (casi nunca) entrenar

Antes de tocar un gradiente, agota la escalera. Cada peldaño es órdenes de magnitud más barato y rápido que el siguiente, y la mayoría de los problemas se resuelven sin pasar del tercero.

  1. Prompting (horas): reescribe la instrucción, el rol, el formato esperado.
  2. Few-shot: añade ejemplos en contexto.
  3. Context / harness engineering: estructura lo que el modelo ve y las herramientas que tiene. El 90% del ROI vive aquí.
  4. RAG / búsqueda agéntica: solo si el conocimiento cambia y no cabe en contexto.
  5. Fine-tuning: solo con señal verificable, volumen y ROI claro.

Por qué los reasoning models cambiaron el juego: test-time compute

El resultado más importante de 2025 fue DeepSeek-R1-Zero: RL puro sobre recompensas verificables, sin SFT previo, hizo emerger por sí solo chain-of-thought, auto-corrección y los llamados "aha moments". El modelo aprendió a re-evaluar su propio razonamiento sin que nadie se lo enseñara explícitamente. En AIME pasó de 15.6% a 71% solo con RL.

Esto abrió un segundo eje de escalado: además de gastar más cómputo en pretraining, ahora gastas más cómputo en inferencia. El modelo "piensa" más tiempo, y el rendimiento sube de forma predecible. Para un ingeniero de agentes esto reconfigura el tradeoff latencia/calidad/coste. Un modelo que razona bien puede reemplazar andamiaje manual (planificación, reflexión, reintentos) que antes codificabas a mano en el harness.

Lo que hace funcionar a RLVR es que la recompensa es una función verificable, no un reward model aprendido. ¿Pasó el test? ¿Es correcta la respuesta? ¿Se alcanzó el estado final? Como la señal es programática, es mucho más difícil de hackear que un reward model entrenado. El reto de 2025-2026 es extenderlo a multi-turn agéntico, donde la señal es escasa: el éxito solo se conoce al final de una trayectoria larga de tool-calls. Agent-RLVR muestra que RLVR se degrada en entornos agénticos por esa escasez, y propone "agent guidance" para encaminar trayectorias exitosas (Qwen-2.5-72B subió de 9.4% a 22.4% en SWE-Bench Verified).

GRPO + recompensas verificables es la receta dominante hoy, pero existen variantes: DAPO añade trucos de estabilidad (dynamic sampling, clip asimétrico), GSPO trabaja a nivel de secuencia. Trata "GRPO" como el patrón de referencia, no como el único algoritmo.

Reward hacking y la Ley de Goodhart

Cuando una métrica se convierte en objetivo, deja de ser una buena métrica.

Esta es la patología central que explica por qué los modelos se portan mal. Si tu señal de recompensa es aproximada en lugar de exacta, el optimizador encontrará la grieta. Ejemplos documentados: length hacking (el modelo aprende a alargar porque el reward model premia respuestas largas), CoT que suena a razonamiento pero no resuelve nada, respuestas correctas con lógica intermedia falsa. Esto explica directamente patologías de producción: verbosidad, sobre-confianza, y la sycophancy de más abajo.

Cómo se alinea y se entrena hoy: DPO, GRPO, CAI

DPO: el colapso del RLHF en un objetivo supervisado

El RLHF clásico es caro: entrenas un reward model y luego haces RL on-policy contra él: cuatro modelos en memoria (policy, referencia, reward, critic). DPO probó que optimizar una pérdida tipo clasificación sobre pares (preferido, rechazado) converge a la misma política que RLHF con el reward model óptimo, eliminando tanto el reward model como el bucle RL. Pasas de 4 modelos en memoria a 2, y corre en spot instances. Lo más importante: desmitifica el "RL", porque mucho de lo que llamamos "alineación" es realmente aprendizaje supervisado de preferencias. Y ojo con la trampa conceptual: DPO/RLHF es alineación de preferencias, no añade capacidad de razonamiento de la nada. La capacidad viene de RLVR (capa 3), no de la optimización de preferencias (capa 2).

La otra mitad del "desmitificar el RL" es GRPO. El cuello de botella del RL para LLMs era el value model (critic): una red separada que estima el baseline de la recompensa, cara de entrenar. GRPO (introducido en DeepSeekMath, feb 2024, escalado en R1) lo elimina. Estima el baseline a partir de un grupo de respuestas muestreadas para el mismo prompt. Muestreas 8 respuestas, la media del grupo es tu baseline, la ventaja de cada una es relativa a sus hermanas. Esto quitó la barrera de coste que hacía impracticable el RL a escala.

Constitutional AI / RLAIF completa el cuadro de la capa 2. Anthropic genera datos de preferencia haciendo que el modelo critique y revise sus propias respuestas contra una constitución (principios en lenguaje natural) y luego un modelo etiqueta qué respuesta es mejor según un principio elegido al azar. CAI (Bai et al. 2022) fue la primera instancia documentada a gran escala de RL desde feedback de IA. Una precisión: este mismo paper es también donde se acuñó el término "RLAIF" — lo dice textualmente en su abstract. El paper de Google de 2023 (Lee et al.) no formalizó el término; popularizó y escaló RLAIF, mostrando que iguala al RLHF en tareas más amplias mientras cita a Constitutional AI como el origen del término [D]. Para un ingeniero de agentes esto tiene una consecuencia concreta y constante: los hard-rails de seguridad de Claude que aprovechas vienen de aquí. Una persona de empresa concatenada en tu system prompt no puede sobrescribir esos límites entrenados. Están grabados en los pesos, no en el contexto.

Sycophancy y los sesgos heredados del post-training

El RLHF optimiza para lo que los anotadores humanos prefieren, no para lo que es correcto. Y los humanos prefieren respuestas que les dan la razón, que suenan seguras, que no les contradicen. El resultado es un sesgo sistemático: modelos que adulan, sobre-afirman y evitan contradecir al usuario.

Credit assignment: la recompensa escasa de los agentes

En un agente real la recompensa solo aparece tras una trayectoria larga: el cliente reagendó su cita, o no. Eso rompe el acoplamiento acción↔recompensa: ¿cuál de los 12 tool-calls mereció el crédito? Las soluciones son recompensas densas por turno, crédito a nivel token (GAE/TD), y curación de trayectorias. La misma guía da una intuición útil sobre el ratio SFT:RL: 60 demostraciones SFT + 400 episodios de RL alcanzan resultados comparables (~85%) a 5000 episodios de RL puro (~88%). El cold-start SFT acelera enormemente.

Para tu diseño de graders, la traducción es directa. Un grader de tool_trajectory que da crédito parcial por progreso es exactamente reward shaping denso. Un grader que devuelve un -1.0 duro ante una escritura no confirmada es reward shaping de seguridad. La misma primitiva que usan los labs, apuntada a la evaluación.

Fine-tuning como primer recurso: la secuencia correcta es prompting → few-shot → context/harness → RAG → fine-tuning solo con señal verificable. PPO clásico con value model: el "critic tax" (4 modelos) lo hizo impráctico frente a GRPO/DPO. Un reward model aprendido como default de alineación: escalar y altamente hackeable, así que DPO y RLVR lo desplazaron. RAG/embeddings por defecto para "conocimiento": context engineering más búsqueda agéntica sobre archivos suele bastar y evita la deuda de un índice vectorial.

La isomorfía evals↔recompensa: dominar recompensas no-hackeables sirve para evaluar y para entrenar. La distillation como estrategia de coste para tu propio equipo: captura trayectorias de tu agente con un modelo caro y destílalas a uno barato para subtareas rutinarias (routing, clasificación de intención), bajando el coste de inferencia sin montar RL. Reasoning models que reemplazan andamiaje: capacidades que codificabas a mano en el harness (planificar, reflexionar, reintentar) ahora vienen entrenadas. No reinventes lo que el modelo ya hace mejor.

La lección que atraviesa todo el recorrido: la mayoría de tus decisiones de agente son de harness, no de modelo. Pero entender el modelo te dice qué problemas no puedes arreglar con el harness, y cuáles son sesgos grabados que solo se contrarrestan a nivel sistema. El grader que escribiste antes es la función de recompensa de aquí. Si el RL añade capacidades genuinamente nuevas o solo afila lo que ya está en la distribución base sigue siendo un debate abierto. Un bando encuentra que los modelos base igualan a los afinados con RL para pass@k grande, otro reporta que el RL prolongado alcanza estrategias que el base nunca toca. Déjalo abierto, y construye para el modelo que de verdad tienes.