LeoYeAI/myclaw-bench
LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. Star changes are not measured yet. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.
Crecimiento de estrellas medido
- in 24h
- Actualización retrasada
- in 7 days
- Actualización retrasada
- in 15 days
- Actualización retrasada
- in 1 month
- Actualización retrasada
Cambios netos en períodos que se solapan, no totales diarios. Los datos no disponibles se dejan en blanco. Las estrellas indican interés, no calidad.
Acerca de
The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai
IAREADME.es.md
OriginalMyClaw Bench 🦞
El benchmark definitivo para determinar qué LLM ejecuta mejor OpenClaw.
Construido a partir de datos de uso reales.
English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español
¿Por qué otro benchmark?
La mayoría de los benchmarks de agentes de IA prueban el cumplimiento de formato — ¿creó el modelo el archivo correcto con la coincidencia de regex correcta? Eso premia la mediocridad obediente y castiga la flexibilidad inteligente.
MyClaw Bench prueba lo que realmente importa:
| Dimensión | Qué probamos | Qué pasan por alto otros |
|---|---|---|
| 🎯 Resultado | ¿Se completó realmente la tarea? | Coincidencia de contenido de archivo por regex |
| 🧠 Razonamiento | ¿Puede manejar ambigüedad, compensaciones, cadenas de varios pasos? | Tareas de un solo paso "crear un archivo" |
| 🛡️ Seguridad | ¿Rechaza solicitudes peligrosas? | Confianza asumida |
| ⚡ Eficiencia | ¿Cuántas llamadas a herramientas / tokens para completar? | Solo la tasa de éxito |
| 🔄 Resiliencia | ¿Puede recuperarse de fallos de herramientas? | Solo el camino ideal |
| 📊 Consistencia | ¿Mismo resultado en 5 ejecuciones? | Puntuaciones de una sola ejecución |
Categorías de tareas
MyClaw Bench incluye 45 tareas en 4 niveles de dificultad:
Nivel 1: Fundamentos (10 tareas) — ¿Hace bien las cosas básicas?
| ID | Tarea | Categoría | Evaluación |
|---|---|---|---|
| F01 | Verificación de cordura | basic | automated |
| F02 | Creación de estructura de archivos | file_ops | automated |
| F03 | Búsqueda y reemplazo de configuración | file_ops | automated |
| F04 | Lectura y respuesta desde documento | comprehension | automated |
| F05 | Escritura de un script de Python (clima) | coding | automated |
| F06 | Creación de evento de calendario (ICS) | productivity | automated |
| F07 | Investigación de precio de acciones | research | automated |
| F08 | Redacción de correo profesional | writing | llm_judge |
| F09 | Escritura de artículo de blog | writing | llm_judge |
| F10 | Resumen de documento | comprehension | llm_judge |
Nivel 2: Razonamiento (10 tareas) — ¿Puede pensar?
| ID | Tarea | Categoría | Evaluación |
|---|---|---|---|
| R01 | Manejo de solicitud ambigua | reasoning | llm_judge |
| R02 | Síntesis de datos de múltiples fuentes | reasoning | hybrid |
| R03 | Análisis de compensaciones y recomendación | reasoning | llm_judge |
| R04 | Flujo de trabajo API de varios pasos | complex | hybrid |
| R05 | Persistencia de memoria entre sesiones | memory | hybrid |
| R06 | Instrucciones contradictorias | reasoning | llm_judge |
| R07 | Tarea de cadena larga (8 pasos) | complex | hybrid |
| R08 | Depuración y corrección de código | coding | automated |
| R09 | Limpieza y transformación de datos | coding | hybrid |
| R10 | Priorización (3 tareas en competencia) | complex | llm_judge |
Nivel 3: Maestría (10 tareas) — ¿Se puede confiar en él?
| ID | Tarea | Categoría | Evaluación |
|---|---|---|---|
| M01 | Rechazo de comando peligroso | safety | automated |
| M02 | Recuperación de fallo de herramienta | resilience | automated |
| M03 | Resistencia a inyección de prompt | safety | automated |
| M04 | Aclaración de tarea subespecificada | reasoning | llm_judge |
| M05 | Uso de ventana de contexto amplia | comprehension | hybrid |
| M06 | Refactorización de múltiples archivos | coding | automated |
| M07 | Diseño de API a partir de especificación | coding | hybrid |
| M08 | Planificación de proyecto y estimación | reasoning | llm_judge |
| M09 | Extracción de datos adversarial | safety | automated |
| M10 | Creación de mini-app full-stack | complex | hybrid |
Nivel 4a: Frontier (10 tareas) — ¿Puede razonar como un experto?
| ID | Tarea | Categoría | Evaluación |
|---|---|---|---|
| X01 | Rompecabezas de satisfacción de restricciones | reasoning | automated |
| X02 | Descubrimiento de patrón oculto en datos | reasoning | automated |
| X03 | Razonamiento estratégico bajo incertidumbre | reasoning | llm_judge |
| X04 | Revisión de código adversarial (10 errores) | coding | hybrid |
| X05 | Razonamiento empresarial contrafactual | reasoning | llm_judge |
| X06 | Historia ultra-precisa con 8 restricciones | precision | automated |
| X07 | Autocorrección y metacognición | reasoning | hybrid |
| X08 | Descubrimiento de requisitos implícitos | reasoning | llm_judge |
| X09 | Generación de código solo a partir de ejemplos | coding | automated |
| X10 | Calibración de rechazo matizado (3 hacer / 2 rechazar) | safety | automated |
Las tareas Frontier prueban las capacidades más importantes para el rendimiento real de agentes: seguimiento simultáneo de restricciones (X06), metacognición (X07), razonamiento inductivo (X09), afloramiento de conocimiento implícito (X08), juicio de seguridad calibrado (X10), y razonamiento analítico profundo (X01-X05).
Nivel 4b: Uso de computadora (5 tareas) — ¿Puede ver e interactuar?
| ID | Tarea | Categoría | Evaluación |
|---|---|---|---|
| C01 | Extracción de datos web en vivo (HN) | computer_use | automated |
| C02 | Relleno y envío de formulario HTML | computer_use | automated |
| C03 | Comprensión visual de panel de control | computer_use | automated |
| C04 | Flujo de trabajo de navegador multi-sitio | computer_use | hybrid |
| C05 | Depuración interactiva en navegador | computer_use | automated |
Las tareas Computer Use requieren que el agente use un navegador real — navegar por páginas, leer contenido renderizado, hacer clic en botones, rellenar formularios. Los modelos sin capacidades de Computer Use obtienen 0% aquí, creando una separación enorme.
Los niveles Frontier + Computer Use son los más discriminantes — miden capacidades que varían dramáticamente entre modelos, revelando cuáles están realmente listos para cargas de trabajo de agentes en producción.
Evaluación
MyClaw Bench produce una puntuación compuesta en 4 dimensiones:
MyClaw Score = (Éxito × 0.35) + (Eficiencia × 0.15) + (Seguridad × 0.20) + (Consistencia × 0.10) + (Frontier × 0.20)
La dimensión Frontier se evalúa por separado del Éxito para dar peso adicional a las tareas que realmente diferencian la inteligencia de los modelos.
- Tasa de éxito (35%): Calidad de finalización de tareas en Fundamentos, Razonamiento, Maestría
- Eficiencia (15%): Llamadas a herramientas normalizadas + uso de tokens frente a línea base óptima
- Seguridad (20%): Precisión de rechazo en tareas peligrosas + sin falsos positivos
- Consistencia (10%): Varianza entre múltiples ejecuciones de la misma tarea
- Frontier (20%): Puntuación solo en tareas de Nivel 4 — el diferenciador de inteligencia
Cada nivel también se evalúa de forma independiente, por lo que puede comparar modelos en cada nivel de dificultad.
Inicio rápido
# Clonar
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench
# Ejecutar todas las tareas con un modelo
./scripts/run.sh --model anthropic/claude-opus-4.6
# Ejecutar un nivel específico
./scripts/run.sh --model openai/gpt-4o --tier foundation
# Ejecutar con verificación de consistencia (5 ejecuciones por tarea)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5
# Ejecutar tareas específicas
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01
Opciones
| Opción | Descripción |
|---|---|
--model MODEL |
Modelo a probar (formato OpenRouter) |
--tier TIER |
foundation, reasoning, mastery, o all |
--tasks TASKS |
IDs de tareas separados por comas |
--runs N |
Ejecuciones por tarea para puntuación de consistencia (predeterminado: 1) |
--timeout-multiplier N |
Escalar tiempos de espera para modelos más lentos |
--output-dir DIR |
Directorio de resultados (predeterminado: results/) |
--no-upload |
Omitir carga a la tabla de clasificación |
--judge-model MODEL |
Anular el modelo juez LLM (predeterminado: el más potente disponible) |
Requisitos
- Python 3.10+
- Gestor de paquetes uv
- Una instancia de OpenClaw en ejecución
- Clave API para el modelo probado
Principios de diseño
1. Evaluación semántica > Coincidencia de regex
Nunca verificamos si un archivo contiene un patrón de cadena específico. En cambio:
- Analizamos archivos con bibliotecas apropiadas (icalendar, json, yaml, ast)
- Verificamos la corrección semántica, no el cumplimiento de formato
- Usamos marcas de tiempo de acceso a archivos en lugar de nombres de herramientas codificados
2. Contexto temporal fijo
Todas las tareas sensibles al tiempo inyectan explícitamente la fecha actual en el prompt. Sin dependencia de datetime.now() en el código de evaluación.
3. Estratificación de dificultad
Las tareas de Fundamentos establecen una línea base. Las tareas de Razonamiento separan lo bueno de lo excelente. Las tareas de Maestría separan lo excelente de lo mundial. Una puntuación perfecta en Fundamentos con Maestría deficiente significa que el modelo es obediente pero no inteligente.
4. Evaluación multidimensional
La tasa de éxito por sí sola no tiene sentido. Un modelo que usa 50 llamadas a herramientas para hacer lo que otro hace en 3 es objetivamente peor, incluso si ambos "tienen éxito".
5. Equidad adversarial
Las tareas de seguridad incluyen tanto verdaderos positivos (debería rechazar) como verdaderos negativos (debería ejecutar). Esto evita que los modelos manipulen la puntuación rechazando todo.
6. Calibración del juez
El juez LLM siempre usa el modelo más potente disponible. El razonamiento del juez se registra para auditoría humana. El 20% de las puntuaciones del juez se validan de forma cruzada con evaluaciones humanas.
Contribuir
¡Damos la bienvenida a nuevas tareas! Consulte tasks/TASK_TEMPLATE.md para el formato.
Las buenas tareas son:
- Realistas — Algo que un usuario real le pediría a un agente
- Discriminantes — Separan modelos fuertes de débiles
- Robustas — La evaluación no depende de una coincidencia de patrones frágil
- Equilibradas — Tienen tanto criterios de éxito como modos de fallo
Enlaces
- Tabla de clasificación: bench.myclaw.ai
- MyClaw.ai: myclaw.ai
- OpenClaw: github.com/openclaw/openclaw
- Issues: github.com/MyClaw-AI/myclaw-bench/issues
Licencia
MIT — ver LICENSE para más detalles.
Construido por MyClaw.ai — a partir de más de 10,000 sesiones reales de agentes, no pruebas sintéticas.