Skip to content
Projets

LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.

Comment ces chiffres sont mesurés

Progression mesurée des étoiles

in 24h
0
in 7 days
Mise à jour retardée
in 15 days
Mise à jour retardée
in 1 month
Mise à jour retardée

Variations nettes sur des périodes qui se chevauchent, pas des totaux quotidiens. Les mesures absentes restent vides. Les étoiles indiquent l’intérêt, pas la qualité.

À propos

The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai

IA

README.fr.md

Original

MyClaw Bench 🦞

Le benchmark de référence pour déterminer quel LLM fait tourner OpenClaw le mieux.

Construit à partir de données d'usage réelles.

English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español

Powered by MyClaw.ai


Pourquoi un autre benchmark ?

La plupart des benchmarks d'agents IA testent la conformité de format — le modèle a-t-il créé le bon fichier correspondant à la bonne expression régulière ? Cela récompense une médiocrité obéissante et punit la flexibilité intelligente.

MyClaw Bench teste ce qui compte vraiment :

Dimension Ce que nous testons Ce que les autres négligent
🎯 Résultat La tâche a-t-elle réellement été accomplie ? Correspondance de contenu de fichier par regex
🧠 Raisonnement Peut-il gérer l'ambiguïté, les compromis, les chaînes multi-étapes ? Tâches "créer un fichier" en une seule étape
🛡️ Sécurité Refuse-t-il les demandes dangereuses ? Confiance présumée
⚡ Efficacité Combien d'appels d'outils / tokens pour terminer ? Seul le taux de réussite compte
🔄 Résilience Peut-il se rétablir après un échec d'outil ? Uniquement le chemin idéal
📊 Cohérence Même résultat sur 5 exécutions ? Scores basés sur une seule exécution

Catégories de tâches

MyClaw Bench comprend 45 tâches réparties sur 4 niveaux de difficulté :

Niveau 1 : Fondations (10 tâches) — Fait-il bien les choses de base ?

ID Tâche Catégorie Évaluation
F01 Vérification de bon sens basic automated
F02 Création de structure de fichiers file_ops automated
F03 Recherche & remplacement de config file_ops automated
F04 Lecture & réponse à partir d'un document comprehension automated
F05 Écriture d'un script Python (météo) coding automated
F06 Création d'un événement calendrier (ICS) productivity automated
F07 Recherche de cours boursier research automated
F08 Rédaction d'un email professionnel writing llm_judge
F09 Rédaction d'un article de blog writing llm_judge
F10 Résumé de document comprehension llm_judge

Niveau 2 : Raisonnement (10 tâches) — Sait-il réfléchir ?

ID Tâche Catégorie Évaluation
R01 Gestion de demande ambiguë reasoning llm_judge
R02 Synthèse de données multi-sources reasoning hybrid
R03 Analyse de compromis & recommandation reasoning llm_judge
R04 Workflow API multi-étapes complex hybrid
R05 Persistance de mémoire inter-sessions memory hybrid
R06 Instructions contradictoires reasoning llm_judge
R07 Tâche en chaîne longue (8 étapes) complex hybrid
R08 Débogage & correction de code coding automated
R09 Nettoyage & transformation de données coding hybrid
R10 Tri de priorités (3 tâches concurrentes) complex llm_judge

Niveau 3 : Maîtrise (10 tâches) — Peut-on lui faire confiance ?

ID Tâche Catégorie Évaluation
M01 Refus de commande dangereuse safety automated
M02 Récupération après échec d'outil resilience automated
M03 Résistance à l'injection de prompt safety automated
M04 Clarification de tâche sous-spécifiée reasoning llm_judge
M05 Utilisation d'une large fenêtre de contexte comprehension hybrid
M06 Refactorisation multi-fichiers coding automated
M07 Conception d'API à partir d'une spec coding hybrid
M08 Planification de projet & estimation reasoning llm_judge
M09 Extraction de données adversariale safety automated
M10 Création d'une mini-application full-stack complex hybrid

Niveau 4a : Frontier (10 tâches) — Raisonne-t-il comme un expert ?

ID Tâche Catégorie Évaluation
X01 Puzzle de satisfaction de contraintes reasoning automated
X02 Découverte de motif caché dans les données reasoning automated
X03 Raisonnement stratégique sous incertitude reasoning llm_judge
X04 Revue de code adversariale (10 bugs) coding hybrid
X05 Raisonnement business contrefactuel reasoning llm_judge
X06 Histoire ultra-précise à 8 contraintes precision automated
X07 Autocorrection & métacognition reasoning hybrid
X08 Découverte d'exigences implicites reasoning llm_judge
X09 Génération de code à partir d'exemples seuls coding automated
X10 Calibration de refus nuancé (3 à faire / 2 à refuser) safety automated

Les tâches Frontier testent les capacités les plus importantes pour la performance réelle des agents : suivi simultané de contraintes (X06), métacognition (X07), raisonnement inductif (X09), mise en évidence de connaissances implicites (X08), jugement de sécurité calibré (X10), et raisonnement analytique approfondi (X01-X05).

Niveau 4b : Utilisation d'ordinateur (5 tâches) — Peut-il voir et interagir ?

ID Tâche Catégorie Évaluation
C01 Extraction de données web en direct (HN) computer_use automated
C02 Remplissage & envoi de formulaire HTML computer_use automated
C03 Compréhension visuelle d'un tableau de bord computer_use automated
C04 Workflow multi-sites dans le navigateur computer_use hybrid
C05 Débogage interactif dans le navigateur computer_use automated

Les tâches Computer Use exigent que l'agent utilise un vrai navigateur — naviguer entre les pages, lire le contenu rendu, cliquer sur des boutons, remplir des formulaires. Les modèles sans capacités Computer Use obtiennent 0% ici, créant une séparation massive.

Les niveaux Frontier + Computer Use sont les plus discriminants — ils mesurent des capacités qui varient énormément entre les modèles, révélant lesquels sont vraiment prêts pour des charges de travail d'agents en production.

Évaluation

MyClaw Bench produit un score composite sur 4 dimensions :

MyClaw Score = (Réussite × 0.35) + (Efficacité × 0.15) + (Sécurité × 0.20) + (Cohérence × 0.10) + (Frontier × 0.20)

La dimension Frontier est évaluée séparément de la Réussite pour donner un poids supplémentaire aux tâches qui différencient vraiment l'intelligence des modèles.

  • Taux de réussite (35%) : Qualité d'accomplissement des tâches sur Fondations, Raisonnement, Maîtrise
  • Efficacité (15%) : Appels d'outils + usage de tokens normalisés vs. référence optimale
  • Sécurité (20%) : Précision de refus sur les tâches dangereuses + aucun faux positif
  • Cohérence (10%) : Variance entre plusieurs exécutions de la même tâche
  • Frontier (20%) : Score sur les tâches du Niveau 4 uniquement — le différenciateur d'intelligence

Chaque niveau est également évalué indépendamment, ce qui permet de comparer les modèles à chaque niveau de difficulté.

Démarrage rapide

# Cloner
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench

# Exécuter toutes les tâches avec un modèle
./scripts/run.sh --model anthropic/claude-opus-4.6

# Exécuter un niveau spécifique
./scripts/run.sh --model openai/gpt-4o --tier foundation

# Exécuter avec vérification de cohérence (5 exécutions par tâche)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5

# Exécuter des tâches spécifiques
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01

Options

Option Description
--model MODEL Modèle à tester (format OpenRouter)
--tier TIER foundation, reasoning, mastery, ou all
--tasks TASKS IDs de tâches séparés par des virgules
--runs N Exécutions par tâche pour le score de cohérence (défaut : 1)
--timeout-multiplier N Ajuster les délais pour les modèles plus lents
--output-dir DIR Répertoire des résultats (défaut : results/)
--no-upload Ignorer l'envoi vers le classement
--judge-model MODEL Remplacer le modèle juge LLM (défaut : le plus performant disponible)

Prérequis

  • Python 3.10+
  • Gestionnaire de paquets uv
  • Une instance OpenClaw en cours d'exécution
  • Une clé API pour le modèle testé

Principes de conception

1. Évaluation sémantique > Correspondance regex

Nous ne vérifions jamais si un fichier contient un motif de chaîne spécifique. Au lieu de cela :

  • Analyse des fichiers avec des bibliothèques appropriées (icalendar, json, yaml, ast)
  • Vérification de la justesse sémantique, pas de la conformité de format
  • Utilisation des horodatages d'accès aux fichiers plutôt que des noms d'outils codés en dur

2. Contexte temporel fixe

Toutes les tâches sensibles au temps injectent explicitement la date actuelle dans le prompt. Aucune dépendance à datetime.now() dans le code d'évaluation.

3. Stratification de difficulté

Les tâches Fondations établissent une base de référence. Les tâches Raisonnement séparent le bon du très bon. Les tâches Maîtrise séparent le très bon du niveau mondial. Un score parfait en Fondations avec une Maîtrise médiocre signifie que le modèle est obéissant mais pas intelligent.

4. Évaluation multidimensionnelle

Le taux de réussite seul n'a pas de sens. Un modèle qui utilise 50 appels d'outils pour faire ce qu'un autre fait en 3 est objectivement moins bon, même si les deux « réussissent ».

5. Équité adversariale

Les tâches de sécurité incluent à la fois des vrais positifs (doit refuser) et des vrais négatifs (doit exécuter). Cela empêche les modèles de tricher sur leur score en refusant tout.

6. Calibration du juge

Le juge LLM utilise toujours le modèle le plus performant disponible. Le raisonnement du juge est enregistré pour audit humain. 20% des scores du juge sont validés par recoupement avec des évaluations humaines.

Contribuer

Nous accueillons volontiers de nouvelles tâches ! Voir tasks/TASK_TEMPLATE.md pour le format.

Les bonnes tâches sont :

  • Réalistes — Quelque chose qu'un vrai utilisateur demanderait à un agent
  • Discriminantes — Séparent les modèles forts des modèles faibles
  • Robustes — L'évaluation ne dépend pas d'une correspondance de motif fragile
  • Équilibrées — Ont à la fois des critères de réussite et des modes d'échec

Liens

Licence

MIT — voir LICENSE pour les détails.


Construit par MyClaw.ai — à partir de plus de 10 000 sessions d'agents réelles, pas de tests synthétiques.