Este es el segundo post de nuestra serie de profundidad técnica — el primero cubrió qué rompe de verdad al OCR en producción y qué respalda la literatura. Este cubre la capa de arriba: el modelo mismo. Dos preguntas, y un lector de ingeniería merece respuestas reales a las dos. ¿Cómo funciona mecánicamente la inferencia, y por qué cuesta lo que cuesta? Y cuando un modelo le dice por qué respondió lo que respondió — ¿puede creerle?

La primera pregunta tiene una respuesta limpia. La segunda no, y la brecha entre lo que “interpretabilidad” significa en una presentación de ventas y lo que significa en la literatura de investigación es exactamente donde a un comprador de IA legal lo confunden. Vamos en orden.

La inferencia son dos cargas de trabajo distintas con un solo nombre

Un transformer hace una sola cosa: dada una secuencia de tokens, una pasada hacia adelante por la pila de capas produce una distribución de probabilidad sobre el siguiente token. Ese es todo el primitivo. Todo lo demás — la interfaz de chat, el “razonamiento”, la respuesta de mil palabras — es ese primitivo en un bucle: muestrear un token de la distribución, agregarlo a la secuencia, correr la pasada de nuevo. La decodificación autorregresiva no es un detalle de implementación; es la razón por la que la estructura de costos se ve como se ve.

Porque adentro de ese bucle se esconden dos cargas de trabajo con perfiles de desempeño opuestos:

• El prefill procesa su prompt completo en una sola pasada. Cada token del prompt se computa en paralelo, las unidades aritméticas de la GPU se saturan, y el costo es aproximadamente lineal en el largo del prompt. Esta es la parte limitada por cómputo.
• El decode genera la respuesta token por token, secuencialmente, porque el token n+1 no puede computarse hasta que el token n existe. Cada paso mueve los pesos del modelo y el estado de atención acumulado por la memoria para producir un solo token. Esta es la parte limitada por ancho de banda de memoria, y es la razón por la que los tokens de salida dominan la latencia — y por la que toda API comercial cobra los tokens de salida varias veces más caros que los de entrada. Esa relación de precios no es marketing. Es el perfil del hardware filtrándose a la factura.

El “estado de atención acumulado” tiene nombre: la caché KV. La atención necesita las claves y los valores de cada token anterior; recomputarlos en cada paso haría que cada token costara como releer la secuencia entera, así que todo stack de serving los guarda en caché. El precio es memoria: la caché crece linealmente con el largo de la secuencia, por capa, por cabeza de atención, por solicitud concurrente. A escala de serving eso — no los pesos — se vuelve el recurso escaso. Kwon et al. (SOSP 2023) midieron que los sistemas de serving existentes desperdiciaban una parte significativa de la memoria de caché KV en fragmentación y duplicación, le aplicaron paginación al estilo de memoria virtual (PagedAttention, el corazón de vLLM), y mejoraron el rendimiento de LLMs populares entre 2 y 4 veces con la misma latencia. Lea ese resultado como debe leerlo un ingeniero: una diferencia de costo de 2–4× por una salida idéntica del modelo estaba sentada en la gestión de memoria, no en el modelo. Cuando alguien le cotiza un costo de inferencia por documento, esta capa es donde buena parte de ese número se decidió de verdad.

El modelo produce una distribución. La respuesta es una decisión de política.

La pasada hacia adelante termina en una distribución de probabilidad sobre el vocabulario. Convertir eso en un token es una decisión aparte, tomada por la configuración de decodificación, no por el modelo — y pesa más de lo que suele asumir cualquiera que no viva dentro del stack de serving.

La política ingenua — tomar siempre el token más probable — produce texto medidamente degenerado. Holtzman et al. (ICLR 2020) mostraron que la decodificación por maximización, aplicada al mismo modelo que le asigna alta calidad al texto humano, produce salida insípida que cae en bucles repetitivos, y propusieron el muestreo por núcleo (top-p): truncar la cola poco confiable de baja probabilidad y muestrear de la cabeza que concentra la mayor parte de la masa. La temperatura reescala qué tan afilada es la distribución; top-k trunca a una cantidad fija; top-p trunca a una masa de probabilidad. Todos son perillas de la política, aplicadas después de que el modelo ya hizo todo su trabajo.

Dos consecuencias de ingeniería que conviene decir sin rodeos. Primera: mismo modelo, mismo prompt, respuestas distintas es una configuración, no una falla. Si su pipeline necesita reproducibilidad, esa es una perilla de decodificación que le pertenece a usted. Segunda, y más importante para cualquiera evaluando un sistema de IA legal: temperatura 0 hace que una respuesta sea repetible, no correcta. Muestrear determinísticamente una distribución equivocada le da la misma respuesta equivocada todas las veces. Reproducibilidad y corrección son propiedades distintas, y solo una de las dos es un parámetro de muestreo.

Cuantización: el sacrificio es real, está medido, y es menor de lo que temería — si lo verifica

Los pesos de un modelo se entrenan en punto flotante de 16 bits. La cuantización los guarda (y a veces también las activaciones) en menos bits — 8, 4, ocasionalmente menos — lo que recorta memoria, lo que recorta costo de hardware, y en un bucle de decode limitado por ancho de banda de memoria también recorta latencia. La pregunta que importa es qué entrega a cambio, y este es un lugar donde la literatura tiene números de verdad en vez de sensaciones.

Frantar et al. (GPTQ, ICLR 2023) mostraron cuantización post-entrenamiento en una sola pasada hasta 3–4 bits por peso con degradación de precisión insignificante respecto del modelo sin comprimir, con aceleraciones medidas de extremo a extremo de alrededor de 3,25× en una A100 y 4,5× en una A6000. Y como el “insignificante” de un solo paper merece seguimiento adversarial, Kurtic et al. (ACL 2025) corrieron más de 500.000 evaluaciones sobre formatos de cuantización en la familia Llama-3.1 y encontraron: FP8 en pesos y activaciones efectivamente sin pérdida en toda escala de modelo, INT8 bien calibrado con 1–3% de degradación, y la cuantización de 4 bits solo-pesos rivalizando con la de 8 bits. Esa es la forma honesta del sacrificio: a 8 bits usted está entregando aproximadamente nada; a 4 bits está entregando lo bastante poco como para que casi siempre sea el trato correcto — pero ese “casi siempre” está trabajando en la frase. La degradación varía por tarea y por modelo, y el único número que obliga es el medido sobre su propio conjunto de evaluación, sobre su propio material. Esa fue la lección central del primer post de esta serie, y sobrevive intacta al pasar de OCR a LLMs.

La implicancia incómoda para un comprador: cuando un proveedor le sirve un modelo cuantizado — y a economías de producción, alguien en la cadena normalmente lo hace — la precisión que usted midió en el benchmark y la precisión que está recibiendo solo son la misma si alguien volvió a medir después de cuantizar. Pregunte.

“Interpretabilidad” significa dos cosas, y solo una es la que le están vendiendo

Ahora la segunda pregunta: ¿puede saberse por qué el modelo produjo una salida? En la literatura de investigación, “interpretabilidad” nombra algo específico. En las conversaciones de producto se confunde con dos cosas que no son interpretabilidad en absoluto. Separar las tres es lo más útil que este post puede hacer por usted.

La interpretabilidad mecanicista es ingeniería inversa de los internos — y es ciencia real con resultados reales. El obstáculo es que las neuronas individuales no se corresponden con conceptos: los modelos comprimen más rasgos de los que tienen neuronas, así que una misma neurona se activa para muchas cosas sin relación entre sí (polisemanticidad, que se hipotetiza surge de la superposición). Cunningham et al. (2023) mostraron que los autoencoders dispersos pueden descomponer las activaciones internas de un modelo en rasgos mucho más interpretables y monosemánticos que las neuronas crudas — una vía no supervisada y escalable para sacar conceptos individuales de la maraña. Construyendo sobre esa familia de técnicas, Lindsey et al. (Anthropic, 2025) trazaron grafos de atribución — mapas causales de qué rasgos internos alimentaron a cuáles — a través de un modelo de producción (Claude 3.5 Haiku), y encontraron estructura interna genuinamente no trivial: cómputo de varios pasos ocurriendo dentro de una sola pasada hacia adelante, y evidencia de que el modelo planifica hacia una rima antes de escribir el verso de un poema. Este es el campo en su mejor versión, y avanza rápido.

La explicación post-hoc es pedirle al modelo que narre — y la narración no está causalmente conectada con el cómputo. Cuando un modelo escribe “concluí X por la cláusula 4.2”, esa frase la produjo el mismo bucle de siguiente-token que produjo la respuesta, optimizado para ser texto plausible — no fue extraída del mecanismo que de verdad computó X. Esto no es una sutileza filosófica; está medido. Turpin et al. (NeurIPS 2023) sesgaron modelos hacia respuestas incorrectas con manipulaciones sutiles de la entrada — por ejemplo, reordenando las opciones de los ejemplos para que la respuesta correcta fuera siempre “(A)” — y vieron a los modelos producir justificaciones fluidas, paso a paso, de las respuestas incorrectas sesgadas sin mencionar jamás el sesgo, con caídas de precisión de hasta 36% en tareas de BIG-Bench Hard. La explicación tergiversaba sistemáticamente la causa real de la predicción. El razonamiento declarado de un modelo es una salida que hay que verificar, no una bitácora en la que confiar.

Y la confianza declarada es una tercera cosa distinta. Hay evidencia real de que los modelos llevan adentro una señal de calibración utilizable: Kadavath et al. (2022) encontraron que los modelos grandes están bien calibrados en preguntas de opción múltiple presentadas en el formato correcto, aunque la calibración se degrada en tareas distintas de la distribución de entrenamiento. Pero la calibración del modelo preentrenado crudo no es la calibración del asistente con el que usted habla de verdad: el reporte técnico de GPT-4 documenta que el modelo preentrenado estaba altamente calibrado en MMLU (error de calibración esperado de 0,007) y que el post-entrenamiento redujo la calibración significativamente (ECE de 0,074) — el mismo proceso de alineamiento que vuelve útil al modelo distorsiona la señal que un prompt de “¿qué tan seguro está?” intenta leer. Así que cuando un asistente en producción le dice que está 90% seguro, ese número es un comportamiento entrenado, no una medición. Ya escribimos por qué una salida que suena confiada no es una salida verificada, y todo lo de esta sección es la razón mecánica de que ese post sea cierto.

Qué puede prometerle honestamente a un auditor hoy

Acá es donde de verdad está parada la investigación en interpretabilidad, dicho como querríamos que nos lo dijeran a nosotros.

La caja de herramientas mecanicista es real y mejora, y ya produjo hallazgos que nadie habría obtenido preguntándole al modelo. No es, hoy, un servicio de explicación por respuesta. Los autores del trabajo de grafos de atribución lo dicen ellos mismos: su método da una visión satisfactoria en aproximadamente un cuarto de los prompts que probaron, y hasta los casos exitosos son vistas simplificadas del mecanismo real, con puntos ciegos conocidos (los circuitos de atención entre ellos). Esa es una sección de limitaciones honesta del equipo mejor financiado del campo, y define el techo: nadie puede entregarle hoy una explicación causal verificada de por qué un modelo grande produjo una salida específica de producción — ni el proveedor, ni el laboratorio que lo entrenó.

Entonces un profesional que tiene que responder ante un cliente, un tribunal o un auditor no debería prometer “el modelo explica sus decisiones”. El modelo narra; la narración es infiel bajo condiciones medibles; la confianza es un comportamiento entrenado; y las herramientas mecanicistas que sí miran adentro todavía no cubren el tráfico de producción. Lo que sí puede prometer honestamente es a nivel de sistema: cada afirmación trazable a un documento fuente, verificaciones que corren fuera del modelo, y salidas tratadas como no confiables hasta ser verificadas — la arquitectura donde la explicación de la respuesta es la evidencia de la respuesta, no el relato del modelo sobre sí mismo. Un sistema de cuya precisión dependen clientes no puede saltarse esa capa, precisamente porque la capa de abajo todavía no aguanta el peso.

El modelo es un componente que se verifica, no un testigo al que se contrainterroga. La investigación puede mover ese techo — el ritmo del trabajo mecanicista es genuinamente rápido — pero se construye para el techo que existe.

Lo que sigue en esta serie: generación aumentada por recuperación — cómo funciona RAG mecánicamente, y los lugares específicos donde falla sin avisarle.