Mercury 2.5: para qué sirve de verdad (benchmark en español)
Su fuerte es Coding (#4 de 107 entre los que rinden el examen completo), y donde menos rinde es Agentes (7.24 contra 9.84). Está en el tercio más barato del ranking: $0.237 por cada 1.000 llamadas.
Dónde está parado, pilar por pilar
La nota de la derecha es sobre 10. La barra compara contra los demás modelos del ranking, no contra el cero: entre el mejor y el peor de esta lista hay poco más de un punto, así que en escala 0-10 se verían todas iguales. La marca vertical es la mediana — quedar por debajo acá no es una mala nota, es estar en el promedio de un grupo muy parejo.
Medido con 143 runs que puntúan, juez Phi-4 local · actualizado 2026-09-14 · datos abiertos
Qué hace bien y qué no
Su media entre las 35 tareas medidas es 8.10. Un promedio esconde justo lo que te importa, así que acá están los extremos.
Donde rinde por encima de sí mismo
- Precisión literal (hex, JWT, configs) — 9.40 (+1.30 contra su media).
- Encontrar el sitio oficial de una empresa — 9.38 (+1.28 contra su media).
- JSON estructurado (extracción, schemas) — 9.32 (+1.22 contra su media).
- OCR / extracción desde imágenes — 9.28 (+1.18 contra su media).
Donde se cae
- Resistencia a prompt injection — 5.28 (-2.82 contra su media).
- Contenido con datos verificables (no inventar) — 6.42 (-1.68 contra su media).
- No inventar herramientas (abstenerse cuando no hay) — 6.58 (-1.52 contra su media).
- Soporte al cliente (clasificar y responder) — 6.60 (-1.50 contra su media).
Si Mercury 2.5 no te cierra
| Modelo | Calidad | $/1k | Latencia | Por qué |
|---|---|---|---|---|
| Nex-N2-Mini | 8.13 | $0.158 | 17.1 s | misma nota o mejor, menos plata por llamada |
| Qwen 3.7 Flash | 8.49 | $0.204 | 28.5 s | hasta 30% más caro, pero rinde más |
La ficha: Mercury 2.5 en números
| Calidad medida | |
|---|---|
| Runs que puntúan | 143 |
| Tool calling | 8.18 |
| Resistencia a prompt injection | 4.32 |
| Precio | |
| Precio por millón · entrada | $0.040 |
| Precio por millón · salida | $0.150 |
| Rendimiento y límites | |
| Latencia total media | 5.2 s |
| Ventana de contexto | 260.000 |
| Contexto útil medido | 128.000 |
Contra los mejores del ranking, en plata
| Modelo | Calidad | $/1.000 llamadas |
|---|---|---|
| Mercury 2.5 | 8.24 | $0.237 |
| Qwen 3.8 Flash | 8.53 | $0.750 |
| Claude Opus 4.8 | 8.48 | $39.00 |
- Qwen 3.8 Flash (el techo medido) rinde 4% más (8.53 contra 8.24) y cuesta 3 veces más por llamada.
- Claude Opus 4.8 (el caro que todos conocen) rinde 3% más (8.48 contra 8.24) y cuesta 165 veces más por llamada.
Cuánto max_tokens darle, por tarea
| Tarea | Mediana | Peor caso medido | max_tokens sugerido |
|---|---|---|---|
| Tareas largas (sostener el hilo 8-12 turnos) | 8.598 | 15.750 | 19.687 |
| Noticias + SEO (artículos completos) | 3.268 | 5.142 | 6.427 |
| Decisiones de negocio (prioridades. plan) | 1.748 | 3.682 | 4.602 |
| Razonamiento general (lógica. decisiones) | 3.155 | 3.542 | 4.427 |
| Creatividad (hooks. analogías. narrativa) | 2.607 | 3.533 | 4.416 |
| Gestión de tareas (action items. planes) | 1.939 | 3.275 | 4.093 |
| Integridad de idioma (no mezclar idiomas) | 3.020 | 3.265 | 4.081 |
| Generación de código (Python. SQL. debug) | 2.837 | 3.217 | 4.021 |
| Verificar VARIOS datos de una vez (lote) | 2.804 | 3.158 | 3.947 |
| OCR / extracción desde imágenes | 1.862 | 3.073 | 3.841 |
| Presentaciones (slides. reportes) | 2.978 | 2.978 | 3.722 |
| Razonamiento profundo (matemática. Fermi) | 2.688 | 2.966 | 3.707 |
| Contenido con datos verificables (no inventar) | 2.543 | 2.855 | 3.568 |
| Estrategia (pricing. planificación) | 2.738 | 2.781 | 3.476 |
| Contenido startup (newsletter. actualidad) | 2.494 | 2.746 | 3.432 |
| Auditar números (detectar el error plantado) | 1.899 | 2.720 | 3.400 |
| Extraer los datos verificables de un texto | 2.343 | 2.657 | 3.321 |
| Resistencia a prompt injection | 1.118 | 2.551 | 3.188 |
| Ventas en frío (cold email. campañas) | 1.859 | 2.497 | 3.121 |
| Orquestación (flujos de varios pasos) | 1.356 | 2.494 | 3.117 |
| Traducción (es↔en) | 1.576 | 2.448 | 3.060 |
| Anti-alucinación (citas. contexto) | 1.196 | 2.354 | 2.942 |
| JSON estructurado (extracción. schemas) | 1.094 | 2.200 | 2.750 |
| Verificar un dato contra su fuente | 1.111 | 2.086 | 2.607 |
| Capacidades de agente (delegación. skills) | 924 | 2.079 | 2.598 |
| Seguir instrucciones al pie de la letra | 1.345 | 2.024 | 2.530 |
| Contenido genérico (blog. email. social) | 1.685 | 1.812 | 2.265 |
| Multi-turno (debugging. requisitos) | 1.285 | 1.648 | 2.060 |
| Resúmenes y extracción de datos | 1.593 | 1.593 | 1.991 |
| Precisión literal (hex. JWT. configs) | 789 | 1.247 | 1.558 |
| Encontrar el sitio oficial de una empresa | 810 | 1.204 | 1.505 |
| Aguja en el pajar (contexto largo en español) | 719 | 1.200 | 1.500 |
| Soporte al cliente (clasificar y responder) | 613 | 988 | 1.235 |
| Tool calling (llamada de funciones) | 579 | 980 | 1.225 |
| No inventar herramientas (abstenerse cuando no hay) | 473 | 815 | 1.018 |
Los números oficiales de Mercury 2.5
Acá no los repetimos, y es a propósito. MMLU, GPQA, SWE-bench y la tabla del lanzamiento las publica quien hizo el modelo, con más recursos y antes que nadie: ese enlace es mejor que cualquier copia nuestra, y no envejece.
Lo que sí medimos acá es lo otro: qué pasa cuando este modelo tiene que decidir algo de un negocio chico, en español y a un precio que se pueda pagar. Verificar un dato antes de publicarlo, emitir el JSON que espera un workflow, llamar la herramienta correcta. Eso no está en la tarjeta del fabricante.
¿Es el mejor para TU caso?
Filtra por presupuesto, calidad mínima y tipo de tarea. En 30 segundos sabes si Mercury 2.5 es tu opción o hay algo mejor para lo que haces.
Ir a la calculadora →