El mismo modelo no rinde igual según quién lo sirva

Eliges un modelo mirando un ranking. Después lo llamas por el proveedor que tenías a mano. Y resulta que esa segunda decisión, la que nadie te ayuda a tomar, te puede costar más calidad que la primera.

Hoy ningún modelo medido por más de un camino cambia más de 1 punto de calidad según el proveedor. La velocidad y la latencia sí cambian, y bastante — mira la tabla.

Los datos

Estos son todos los modelos que medimos por más de un camino, con al menos 50 runs en cada uno. La columna Δ calidad es la diferencia entre el mejor y el peor proveedor del mismo modelo. Si el modelo fuera lo único que importa, esa columna sería cero en todas las filas.

La calidad es el promedio del juez sobre las tareas que ambos caminos rindieron (0-10): restar sus medias completas sería comparar exámenes distintos, porque a cada variante le tocaron suites diferentes. La latencia es el tiempo total de la respuesta, no el tiempo hasta el primer token. No usamos el score global del ranking acá a propósito: ese es un z-score contra toda la población y se recalcula cada vez que entra un modelo nuevo. Estas tres columnas son crudas — no se mueven.

Por qué pasa esto

Un proveedor no te entrega "el modelo". Te entrega su forma de servirlo, y ahí hay decisiones que cambian el resultado:

• Cuantización. Correr un modelo en menos bits es más barato y más rápido — y le baja la calidad. El proveedor rara vez lo dice en la portada.
• La infraestructura. La velocidad y la latencia son del hardware, no del modelo. En nuestros datos el mismo modelo llega a variar 6.7× en tokens por segundo según dónde corra.
• La configuración por defecto. Prompt de sistema, parámetros, truncados, versión del checkpoint. Todo eso viaja con el proveedor.

Qué hacer con esto

1. Cuando leas cualquier benchmark —incluido el nuestro— preguntá por dónde midieron. Un número sin proveedor es medio número. Nosotros medimos todo por OpenRouter justamente para que la comparación entre modelos sea limpia: si cada modelo se mide en su propia infra, no estás comparando modelos, estás comparando datacenters.
2. Si te cambiaste de proveedor y "el modelo empeoró", no era tu impresión. Medilo antes de culpar al prompt.
3. El proveedor más rápido no es gratis. A veces la velocidad viene de una cuantización que te está costando calidad. Esa es una decisión que puedes tomar — pero tienes que saber que la estás tomando.

Cómo salió este dato

Por un error nuestro, honestamente. Durante meses el benchmark midió unos modelos en OpenRouter y otros en NVIDIA NIM, Groq o la API directa del fabricante. Eso era un bug: el ranking estaba midiendo modelo × infraestructura y no el modelo, al punto de que un mismo modelo llegó a ocupar dos puestos distintos del ranking.

Al arreglarlo (todo se mide en un plano común) podríamos haber borrado las mediciones duplicadas. No lo hicimos: son el único experimento natural que tenemos sobre esto. El bug resultó ser el dato más útil.