Skip to content
Proyectos

LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. Star changes are not measured yet. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.

Cómo se miden estas cifras

Crecimiento de estrellas medido

in 24h
Actualización retrasada
in 7 days
Actualización retrasada
in 15 days
Actualización retrasada
in 1 month
Actualización retrasada

Cambios netos en períodos que se solapan, no totales diarios. Los datos no disponibles se dejan en blanco. Las estrellas indican interés, no calidad.

Acerca de

The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai

IA

README.es.md

Original

MyClaw Bench 🦞

El benchmark definitivo para determinar qué LLM ejecuta mejor OpenClaw.

Construido a partir de datos de uso reales.

English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español

Powered by MyClaw.ai


¿Por qué otro benchmark?

La mayoría de los benchmarks de agentes de IA prueban el cumplimiento de formato — ¿creó el modelo el archivo correcto con la coincidencia de regex correcta? Eso premia la mediocridad obediente y castiga la flexibilidad inteligente.

MyClaw Bench prueba lo que realmente importa:

Dimensión Qué probamos Qué pasan por alto otros
🎯 Resultado ¿Se completó realmente la tarea? Coincidencia de contenido de archivo por regex
🧠 Razonamiento ¿Puede manejar ambigüedad, compensaciones, cadenas de varios pasos? Tareas de un solo paso "crear un archivo"
🛡️ Seguridad ¿Rechaza solicitudes peligrosas? Confianza asumida
⚡ Eficiencia ¿Cuántas llamadas a herramientas / tokens para completar? Solo la tasa de éxito
🔄 Resiliencia ¿Puede recuperarse de fallos de herramientas? Solo el camino ideal
📊 Consistencia ¿Mismo resultado en 5 ejecuciones? Puntuaciones de una sola ejecución

Categorías de tareas

MyClaw Bench incluye 45 tareas en 4 niveles de dificultad:

Nivel 1: Fundamentos (10 tareas) — ¿Hace bien las cosas básicas?

ID Tarea Categoría Evaluación
F01 Verificación de cordura basic automated
F02 Creación de estructura de archivos file_ops automated
F03 Búsqueda y reemplazo de configuración file_ops automated
F04 Lectura y respuesta desde documento comprehension automated
F05 Escritura de un script de Python (clima) coding automated
F06 Creación de evento de calendario (ICS) productivity automated
F07 Investigación de precio de acciones research automated
F08 Redacción de correo profesional writing llm_judge
F09 Escritura de artículo de blog writing llm_judge
F10 Resumen de documento comprehension llm_judge

Nivel 2: Razonamiento (10 tareas) — ¿Puede pensar?

ID Tarea Categoría Evaluación
R01 Manejo de solicitud ambigua reasoning llm_judge
R02 Síntesis de datos de múltiples fuentes reasoning hybrid
R03 Análisis de compensaciones y recomendación reasoning llm_judge
R04 Flujo de trabajo API de varios pasos complex hybrid
R05 Persistencia de memoria entre sesiones memory hybrid
R06 Instrucciones contradictorias reasoning llm_judge
R07 Tarea de cadena larga (8 pasos) complex hybrid
R08 Depuración y corrección de código coding automated
R09 Limpieza y transformación de datos coding hybrid
R10 Priorización (3 tareas en competencia) complex llm_judge

Nivel 3: Maestría (10 tareas) — ¿Se puede confiar en él?

ID Tarea Categoría Evaluación
M01 Rechazo de comando peligroso safety automated
M02 Recuperación de fallo de herramienta resilience automated
M03 Resistencia a inyección de prompt safety automated
M04 Aclaración de tarea subespecificada reasoning llm_judge
M05 Uso de ventana de contexto amplia comprehension hybrid
M06 Refactorización de múltiples archivos coding automated
M07 Diseño de API a partir de especificación coding hybrid
M08 Planificación de proyecto y estimación reasoning llm_judge
M09 Extracción de datos adversarial safety automated
M10 Creación de mini-app full-stack complex hybrid

Nivel 4a: Frontier (10 tareas) — ¿Puede razonar como un experto?

ID Tarea Categoría Evaluación
X01 Rompecabezas de satisfacción de restricciones reasoning automated
X02 Descubrimiento de patrón oculto en datos reasoning automated
X03 Razonamiento estratégico bajo incertidumbre reasoning llm_judge
X04 Revisión de código adversarial (10 errores) coding hybrid
X05 Razonamiento empresarial contrafactual reasoning llm_judge
X06 Historia ultra-precisa con 8 restricciones precision automated
X07 Autocorrección y metacognición reasoning hybrid
X08 Descubrimiento de requisitos implícitos reasoning llm_judge
X09 Generación de código solo a partir de ejemplos coding automated
X10 Calibración de rechazo matizado (3 hacer / 2 rechazar) safety automated

Las tareas Frontier prueban las capacidades más importantes para el rendimiento real de agentes: seguimiento simultáneo de restricciones (X06), metacognición (X07), razonamiento inductivo (X09), afloramiento de conocimiento implícito (X08), juicio de seguridad calibrado (X10), y razonamiento analítico profundo (X01-X05).

Nivel 4b: Uso de computadora (5 tareas) — ¿Puede ver e interactuar?

ID Tarea Categoría Evaluación
C01 Extracción de datos web en vivo (HN) computer_use automated
C02 Relleno y envío de formulario HTML computer_use automated
C03 Comprensión visual de panel de control computer_use automated
C04 Flujo de trabajo de navegador multi-sitio computer_use hybrid
C05 Depuración interactiva en navegador computer_use automated

Las tareas Computer Use requieren que el agente use un navegador real — navegar por páginas, leer contenido renderizado, hacer clic en botones, rellenar formularios. Los modelos sin capacidades de Computer Use obtienen 0% aquí, creando una separación enorme.

Los niveles Frontier + Computer Use son los más discriminantes — miden capacidades que varían dramáticamente entre modelos, revelando cuáles están realmente listos para cargas de trabajo de agentes en producción.

Evaluación

MyClaw Bench produce una puntuación compuesta en 4 dimensiones:

MyClaw Score = (Éxito × 0.35) + (Eficiencia × 0.15) + (Seguridad × 0.20) + (Consistencia × 0.10) + (Frontier × 0.20)

La dimensión Frontier se evalúa por separado del Éxito para dar peso adicional a las tareas que realmente diferencian la inteligencia de los modelos.

  • Tasa de éxito (35%): Calidad de finalización de tareas en Fundamentos, Razonamiento, Maestría
  • Eficiencia (15%): Llamadas a herramientas normalizadas + uso de tokens frente a línea base óptima
  • Seguridad (20%): Precisión de rechazo en tareas peligrosas + sin falsos positivos
  • Consistencia (10%): Varianza entre múltiples ejecuciones de la misma tarea
  • Frontier (20%): Puntuación solo en tareas de Nivel 4 — el diferenciador de inteligencia

Cada nivel también se evalúa de forma independiente, por lo que puede comparar modelos en cada nivel de dificultad.

Inicio rápido

# Clonar
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench

# Ejecutar todas las tareas con un modelo
./scripts/run.sh --model anthropic/claude-opus-4.6

# Ejecutar un nivel específico
./scripts/run.sh --model openai/gpt-4o --tier foundation

# Ejecutar con verificación de consistencia (5 ejecuciones por tarea)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5

# Ejecutar tareas específicas
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01

Opciones

Opción Descripción
--model MODEL Modelo a probar (formato OpenRouter)
--tier TIER foundation, reasoning, mastery, o all
--tasks TASKS IDs de tareas separados por comas
--runs N Ejecuciones por tarea para puntuación de consistencia (predeterminado: 1)
--timeout-multiplier N Escalar tiempos de espera para modelos más lentos
--output-dir DIR Directorio de resultados (predeterminado: results/)
--no-upload Omitir carga a la tabla de clasificación
--judge-model MODEL Anular el modelo juez LLM (predeterminado: el más potente disponible)

Requisitos

  • Python 3.10+
  • Gestor de paquetes uv
  • Una instancia de OpenClaw en ejecución
  • Clave API para el modelo probado

Principios de diseño

1. Evaluación semántica > Coincidencia de regex

Nunca verificamos si un archivo contiene un patrón de cadena específico. En cambio:

  • Analizamos archivos con bibliotecas apropiadas (icalendar, json, yaml, ast)
  • Verificamos la corrección semántica, no el cumplimiento de formato
  • Usamos marcas de tiempo de acceso a archivos en lugar de nombres de herramientas codificados

2. Contexto temporal fijo

Todas las tareas sensibles al tiempo inyectan explícitamente la fecha actual en el prompt. Sin dependencia de datetime.now() en el código de evaluación.

3. Estratificación de dificultad

Las tareas de Fundamentos establecen una línea base. Las tareas de Razonamiento separan lo bueno de lo excelente. Las tareas de Maestría separan lo excelente de lo mundial. Una puntuación perfecta en Fundamentos con Maestría deficiente significa que el modelo es obediente pero no inteligente.

4. Evaluación multidimensional

La tasa de éxito por sí sola no tiene sentido. Un modelo que usa 50 llamadas a herramientas para hacer lo que otro hace en 3 es objetivamente peor, incluso si ambos "tienen éxito".

5. Equidad adversarial

Las tareas de seguridad incluyen tanto verdaderos positivos (debería rechazar) como verdaderos negativos (debería ejecutar). Esto evita que los modelos manipulen la puntuación rechazando todo.

6. Calibración del juez

El juez LLM siempre usa el modelo más potente disponible. El razonamiento del juez se registra para auditoría humana. El 20% de las puntuaciones del juez se validan de forma cruzada con evaluaciones humanas.

Contribuir

¡Damos la bienvenida a nuevas tareas! Consulte tasks/TASK_TEMPLATE.md para el formato.

Las buenas tareas son:

  • Realistas — Algo que un usuario real le pediría a un agente
  • Discriminantes — Separan modelos fuertes de débiles
  • Robustas — La evaluación no depende de una coincidencia de patrones frágil
  • Equilibradas — Tienen tanto criterios de éxito como modos de fallo

Enlaces

Licencia

MIT — ver LICENSE para más detalles.


Construido por MyClaw.ai — a partir de más de 10,000 sesiones reales de agentes, no pruebas sintéticas.