Hermes 4 70B: para qué sirve de verdad (benchmark en español)
Lo mejor que tiene es Coding, y aun así queda abajo (#70 de 97 entre los que rinden el examen completo), y donde menos rinde es Razonamiento (6.90 contra 8.82). Está en el tercio más barato del ranking: $0.639 por cada 1.000 llamadas.
Dónde está parado, pilar por pilar
La nota de la derecha es sobre 10. La barra compara contra los demás modelos del ranking, no contra el cero: entre el mejor y el peor de esta lista hay poco más de un punto, así que en escala 0-10 se verían todas iguales. La marca vertical es la mediana — quedar por debajo acá no es una mala nota, es estar en el promedio de un grupo muy parejo.
Medido con 487 runs que puntúan, juez Phi-4 local · actualizado 2026-08-23 · datos abiertos
Qué hace bien y qué no
Su media entre las 34 tareas medidas es 7.47. Un promedio esconde justo lo que te importa, así que acá están los extremos.
Donde rinde por encima de sí mismo
- Encontrar el sitio oficial de una empresa — 9.37 (+1.90 contra su media).
- JSON estructurado (extracción, schemas) — 9.02 (+1.55 contra su media).
- Integridad de idioma (no mezclar idiomas) — 8.68 (+1.21 contra su media).
- Extraer los datos verificables de un texto — 8.58 (+1.11 contra su media).
Donde se cae
- Resistencia a prompt injection — 2.65 (-4.82 contra su media).
- Auditar números (detectar el error plantado) — 6.15 (-1.32 contra su media).
- Tool calling (llamada de funciones) — 6.38 (-1.09 contra su media).
- Seguir instrucciones al pie de la letra — 6.51 (-0.96 contra su media).
Si Hermes 4 70B no te cierra
| Modelo | Calidad | $/1k | Latencia | Por qué |
|---|---|---|---|---|
| Ling 3.0 Flash | 7.98 | $0.101 | 12.1 s | misma nota o mejor, menos plata por llamada |
| Qwen 3.7 Flash | 8.49 | $0.204 | 28.5 s | hasta 30% más caro, pero rinde más |
La ficha: Hermes 4 70B en números
| Calidad medida | |
|---|---|
| Runs que puntúan | 487 |
| Tool calling | 3.74 |
| Resistencia a prompt injection | 1.00 |
| Precio | |
| Precio por millón · entrada | $0.130 |
| Precio por millón · salida | $0.400 |
| Rendimiento y límites | |
| Latencia total media | 6.7 s |
| Ventana de contexto | 131.072 |
| Contexto útil medido | 64.000 |
Contra los mejores del ranking, en plata
| Modelo | Calidad | $/1.000 llamadas |
|---|---|---|
| Hermes 4 70B | 7.78 | $0.639 |
| GPT-5.6 Luna | 8.52 | $0.930 |
| Claude Opus 4.8 | 8.48 | $39.00 |
- GPT-5.6 Luna (el techo medido) rinde 10% más (8.52 contra 7.78) y cuesta 1 veces más por llamada.
- Claude Opus 4.8 (el caro que todos conocen) rinde 9% más (8.48 contra 7.78) y cuesta 61 veces más por llamada.
Cuánto max_tokens darle, por tarea
| Tarea | Mediana | Peor caso medido | max_tokens sugerido |
|---|---|---|---|
| Tareas largas (sostener el hilo 8-12 turnos) | 1.952 | 4.733 | 5.916 |
| Contenido startup (newsletter. actualidad) | 992 | 1.907 | 2.383 |
| Noticias + SEO (artículos completos) | 964 | 1.543 | 1.928 |
| Presentaciones (slides. reportes) | 1.431 | 1.431 | 1.788 |
| Razonamiento profundo (matemática. Fermi) | 488 | 1.006 | 1.257 |
| Estrategia (pricing. planificación) | 718 | 978 | 1.222 |
| Generación de código (Python. SQL. debug) | 490 | 966 | 1.207 |
| Decisiones de negocio (prioridades. plan) | 502 | 964 | 1.205 |
| Integridad de idioma (no mezclar idiomas) | 658 | 922 | 1.152 |
| Razonamiento general (lógica. decisiones) | 540 | 838 | 1.047 |
| Contenido genérico (blog. email. social) | 629 | 815 | 1.018 |
| Creatividad (hooks. analogías. narrativa) | 345 | 765 | 956 |
| Contenido con datos verificables (no inventar) | 250 | 728 | 910 |
| JSON estructurado (extracción. schemas) | 135 | 666 | 832 |
| Gestión de tareas (action items. planes) | 491 | 664 | 830 |
| OCR / extracción desde imágenes | 283 | 658 | 822 |
| Ventas en frío (cold email. campañas) | 396 | 622 | 777 |
| Orquestación (flujos de varios pasos) | 277 | 560 | 700 |
| Auditar números (detectar el error plantado) | 463 | 552 | 690 |
| Capacidades de agente (delegación. skills) | 313 | 408 | 510 |
| Resúmenes y extracción de datos | 358 | 358 | 447 |
| Anti-alucinación (citas. contexto) | 158 | 273 | 341 |
| Multi-turno (debugging. requisitos) | 170 | 267 | 333 |
| Seguir instrucciones al pie de la letra | 264 | 266 | 332 |
| Traducción (es↔en) | 131 | 264 | 330 |
| No inventar herramientas (abstenerse cuando no hay) | 61 | 258 | 322 |
| Extraer los datos verificables de un texto | 66 | 221 | 276 |
| Precisión literal (hex. JWT. configs) | 42 | 189 | 236 |
| Soporte al cliente (clasificar y responder) | 142 | 186 | 232 |
| Tool calling (llamada de funciones) | 102 | 111 | 138 |
| Aguja en el pajar (contexto largo en español) | 43 | 96 | 120 |
| Verificar un dato contra su fuente | 51 | 77 | 96 |
| Encontrar el sitio oficial de una empresa | 47 | 56 | 70 |
| Resistencia a prompt injection | 31 | 47 | 58 |
Los números oficiales de Hermes 4 70B
Acá no los repetimos, y es a propósito. MMLU, GPQA, SWE-bench y la tabla del lanzamiento las publica quien hizo el modelo, con más recursos y antes que nadie: ese enlace es mejor que cualquier copia nuestra, y no envejece.
Lo que sí medimos acá es lo otro: qué pasa cuando este modelo tiene que decidir algo de un negocio chico, en español y a un precio que se pueda pagar. Verificar un dato antes de publicarlo, emitir el JSON que espera un workflow, llamar la herramienta correcta. Eso no está en la tarjeta del fabricante.
¿Es el mejor para TU caso?
Filtra por presupuesto, calidad mínima y tipo de tarea. En 30 segundos sabes si Hermes 4 70B es tu opción o hay algo mejor para lo que haces.
Ir a la calculadora →