Hermes 4 405B: para qué sirve de verdad (benchmark en español)
Donde mejor rinde es Coding (#48 de 97 entre los que rinden el examen completo), y donde menos rinde es Razonamiento (7.82 contra 9.08). Cuesta $4.80 por cada 1.000 llamadas.
Dónde está parado, pilar por pilar
La nota de la derecha es sobre 10. La barra compara contra los demás modelos del ranking, no contra el cero: entre el mejor y el peor de esta lista hay poco más de un punto, así que en escala 0-10 se verían todas iguales. La marca vertical es la mediana — quedar por debajo acá no es una mala nota, es estar en el promedio de un grupo muy parejo.
Medido con 478 runs que puntúan, juez Phi-4 local · actualizado 2026-08-23 · datos abiertos
Qué hace bien y qué no
Su media entre las 33 tareas medidas es 7.33. Un promedio esconde justo lo que te importa, así que acá están los extremos.
Donde rinde por encima de sí mismo
- Encontrar el sitio oficial de una empresa — 9.03 (+1.70 contra su media).
- Extraer los datos verificables de un texto — 9.01 (+1.68 contra su media).
- JSON estructurado (extracción, schemas) — 8.84 (+1.51 contra su media).
- Integridad de idioma (no mezclar idiomas) — 8.36 (+1.03 contra su media).
Donde se cae
- Resistencia a prompt injection — 2.19 (-5.14 contra su media).
- Tool calling (llamada de funciones) — 6.22 (-1.11 contra su media).
- Resúmenes y extracción de datos — 6.56 (-0.77 contra su media).
- Noticias + SEO (artículos completos) — 6.58 (-0.75 contra su media).
Si Hermes 4 405B no te cierra
| Modelo | Calidad | $/1k | Latencia | Por qué |
|---|---|---|---|---|
| Nex-N2-Mini | 8.13 | $0.158 | 17.1 s | misma nota o mejor, menos plata por llamada |
| GPT-5.6 Luna | 8.52 | $0.930 | 10.6 s | hasta 30% más caro, pero rinde más |
| Gemini 3.1 Flash Lite | 8.09 | $2.33 | 4.1 s | al menos 40% menos de espera, sin caer de nota |
La ficha: Hermes 4 405B en números
| Calidad medida | |
|---|---|
| Runs que puntúan | 478 |
| Tool calling | 5.19 |
| Resistencia a prompt injection | 1.00 |
| Precio | |
| Precio por millón · entrada | $1.00 |
| Precio por millón · salida | $3.00 |
| Rendimiento y límites | |
| Latencia total media | 18.3 s |
| Ventana de contexto | 131.072 |
Contra los mejores del ranking, en plata
| Modelo | Calidad | $/1.000 llamadas |
|---|---|---|
| Hermes 4 405B | 8.26 | $4.80 |
| GPT-5.6 Luna | 8.52 | $0.930 |
| Claude Opus 4.8 | 8.48 | $39.00 |
- GPT-5.6 Luna (el techo medido) rinde 3% más y además es más barato: $0.930 contra $4.80. Acá no hay que elegir.
- Claude Opus 4.8 (el caro que todos conocen) rinde 3% más (8.48 contra 8.26) y cuesta 8 veces más por llamada.
Cuánto max_tokens darle, por tarea
| Tarea | Mediana | Peor caso medido | max_tokens sugerido |
|---|---|---|---|
| Tareas largas (sostener el hilo 8-12 turnos) | 2.150 | 5.154 | 6.442 |
| Decisiones de negocio (prioridades. plan) | 849 | 2.048 | 2.560 |
| Orquestación (flujos de varios pasos) | 300 | 2.048 | 2.560 |
| Presentaciones (slides. reportes) | 2.048 | 2.048 | 2.560 |
| Contenido startup (newsletter. actualidad) | 1.002 | 2.048 | 2.560 |
| Auditar números (detectar el error plantado) | 962 | 1.813 | 2.266 |
| Noticias + SEO (artículos completos) | 754 | 1.400 | 1.750 |
| Estrategia (pricing. planificación) | 781 | 1.277 | 1.596 |
| Razonamiento profundo (matemática. Fermi) | 624 | 1.132 | 1.415 |
| Razonamiento general (lógica. decisiones) | 730 | 1.014 | 1.267 |
| Generación de código (Python. SQL. debug) | 890 | 967 | 1.208 |
| Creatividad (hooks. analogías. narrativa) | 327 | 928 | 1.160 |
| Gestión de tareas (action items. planes) | 667 | 888 | 1.110 |
| JSON estructurado (extracción. schemas) | 135 | 839 | 1.048 |
| Contenido con datos verificables (no inventar) | 292 | 818 | 1.022 |
| Contenido genérico (blog. email. social) | 734 | 817 | 1.021 |
| Ventas en frío (cold email. campañas) | 346 | 799 | 998 |
| Integridad de idioma (no mezclar idiomas) | 555 | 775 | 968 |
| OCR / extracción desde imágenes | 316 | 740 | 925 |
| No inventar herramientas (abstenerse cuando no hay) | 212 | 552 | 690 |
| Capacidades de agente (delegación. skills) | 305 | 517 | 646 |
| Soporte al cliente (clasificar y responder) | 90 | 425 | 531 |
| Traducción (es↔en) | 117 | 418 | 522 |
| Seguir instrucciones al pie de la letra | 216 | 348 | 435 |
| Anti-alucinación (citas. contexto) | 273 | 347 | 433 |
| Resúmenes y extracción de datos | 345 | 345 | 431 |
| Multi-turno (debugging. requisitos) | 196 | 271 | 338 |
| Extraer los datos verificables de un texto | 74 | 233 | 291 |
| Precisión literal (hex. JWT. configs) | 42 | 189 | 236 |
| Tool calling (llamada de funciones) | 85 | 107 | 133 |
| Encontrar el sitio oficial de una empresa | 48 | 66 | 82 |
| Resistencia a prompt injection | 30 | 54 | 67 |
| Verificar un dato contra su fuente | 46 | 54 | 67 |
Los números oficiales de Hermes 4 405B
Acá no los repetimos, y es a propósito. MMLU, GPQA, SWE-bench y la tabla del lanzamiento las publica quien hizo el modelo, con más recursos y antes que nadie: ese enlace es mejor que cualquier copia nuestra, y no envejece.
Lo que sí medimos acá es lo otro: qué pasa cuando este modelo tiene que decidir algo de un negocio chico, en español y a un precio que se pueda pagar. Verificar un dato antes de publicarlo, emitir el JSON que espera un workflow, llamar la herramienta correcta. Eso no está en la tarjeta del fabricante.
¿Es el mejor para TU caso?
Filtra por presupuesto, calidad mínima y tipo de tarea. En 30 segundos sabes si Hermes 4 405B es tu opción o hay algo mejor para lo que haces.
Ir a la calculadora →