LeoYeAI/myclaw-bench
LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.
Progression mesurée des étoiles
- in 24h
- 0
- in 7 days
- Mise à jour retardée
- in 15 days
- Mise à jour retardée
- in 1 month
- Mise à jour retardée
Variations nettes sur des périodes qui se chevauchent, pas des totaux quotidiens. Les mesures absentes restent vides. Les étoiles indiquent l’intérêt, pas la qualité.
À propos
The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai
IAREADME.fr.md
OriginalMyClaw Bench 🦞
Le benchmark de référence pour déterminer quel LLM fait tourner OpenClaw le mieux.
Construit à partir de données d'usage réelles.
English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español
Pourquoi un autre benchmark ?
La plupart des benchmarks d'agents IA testent la conformité de format — le modèle a-t-il créé le bon fichier correspondant à la bonne expression régulière ? Cela récompense une médiocrité obéissante et punit la flexibilité intelligente.
MyClaw Bench teste ce qui compte vraiment :
| Dimension | Ce que nous testons | Ce que les autres négligent |
|---|---|---|
| 🎯 Résultat | La tâche a-t-elle réellement été accomplie ? | Correspondance de contenu de fichier par regex |
| 🧠 Raisonnement | Peut-il gérer l'ambiguïté, les compromis, les chaînes multi-étapes ? | Tâches "créer un fichier" en une seule étape |
| 🛡️ Sécurité | Refuse-t-il les demandes dangereuses ? | Confiance présumée |
| ⚡ Efficacité | Combien d'appels d'outils / tokens pour terminer ? | Seul le taux de réussite compte |
| 🔄 Résilience | Peut-il se rétablir après un échec d'outil ? | Uniquement le chemin idéal |
| 📊 Cohérence | Même résultat sur 5 exécutions ? | Scores basés sur une seule exécution |
Catégories de tâches
MyClaw Bench comprend 45 tâches réparties sur 4 niveaux de difficulté :
Niveau 1 : Fondations (10 tâches) — Fait-il bien les choses de base ?
| ID | Tâche | Catégorie | Évaluation |
|---|---|---|---|
| F01 | Vérification de bon sens | basic | automated |
| F02 | Création de structure de fichiers | file_ops | automated |
| F03 | Recherche & remplacement de config | file_ops | automated |
| F04 | Lecture & réponse à partir d'un document | comprehension | automated |
| F05 | Écriture d'un script Python (météo) | coding | automated |
| F06 | Création d'un événement calendrier (ICS) | productivity | automated |
| F07 | Recherche de cours boursier | research | automated |
| F08 | Rédaction d'un email professionnel | writing | llm_judge |
| F09 | Rédaction d'un article de blog | writing | llm_judge |
| F10 | Résumé de document | comprehension | llm_judge |
Niveau 2 : Raisonnement (10 tâches) — Sait-il réfléchir ?
| ID | Tâche | Catégorie | Évaluation |
|---|---|---|---|
| R01 | Gestion de demande ambiguë | reasoning | llm_judge |
| R02 | Synthèse de données multi-sources | reasoning | hybrid |
| R03 | Analyse de compromis & recommandation | reasoning | llm_judge |
| R04 | Workflow API multi-étapes | complex | hybrid |
| R05 | Persistance de mémoire inter-sessions | memory | hybrid |
| R06 | Instructions contradictoires | reasoning | llm_judge |
| R07 | Tâche en chaîne longue (8 étapes) | complex | hybrid |
| R08 | Débogage & correction de code | coding | automated |
| R09 | Nettoyage & transformation de données | coding | hybrid |
| R10 | Tri de priorités (3 tâches concurrentes) | complex | llm_judge |
Niveau 3 : Maîtrise (10 tâches) — Peut-on lui faire confiance ?
| ID | Tâche | Catégorie | Évaluation |
|---|---|---|---|
| M01 | Refus de commande dangereuse | safety | automated |
| M02 | Récupération après échec d'outil | resilience | automated |
| M03 | Résistance à l'injection de prompt | safety | automated |
| M04 | Clarification de tâche sous-spécifiée | reasoning | llm_judge |
| M05 | Utilisation d'une large fenêtre de contexte | comprehension | hybrid |
| M06 | Refactorisation multi-fichiers | coding | automated |
| M07 | Conception d'API à partir d'une spec | coding | hybrid |
| M08 | Planification de projet & estimation | reasoning | llm_judge |
| M09 | Extraction de données adversariale | safety | automated |
| M10 | Création d'une mini-application full-stack | complex | hybrid |
Niveau 4a : Frontier (10 tâches) — Raisonne-t-il comme un expert ?
| ID | Tâche | Catégorie | Évaluation |
|---|---|---|---|
| X01 | Puzzle de satisfaction de contraintes | reasoning | automated |
| X02 | Découverte de motif caché dans les données | reasoning | automated |
| X03 | Raisonnement stratégique sous incertitude | reasoning | llm_judge |
| X04 | Revue de code adversariale (10 bugs) | coding | hybrid |
| X05 | Raisonnement business contrefactuel | reasoning | llm_judge |
| X06 | Histoire ultra-précise à 8 contraintes | precision | automated |
| X07 | Autocorrection & métacognition | reasoning | hybrid |
| X08 | Découverte d'exigences implicites | reasoning | llm_judge |
| X09 | Génération de code à partir d'exemples seuls | coding | automated |
| X10 | Calibration de refus nuancé (3 à faire / 2 à refuser) | safety | automated |
Les tâches Frontier testent les capacités les plus importantes pour la performance réelle des agents : suivi simultané de contraintes (X06), métacognition (X07), raisonnement inductif (X09), mise en évidence de connaissances implicites (X08), jugement de sécurité calibré (X10), et raisonnement analytique approfondi (X01-X05).
Niveau 4b : Utilisation d'ordinateur (5 tâches) — Peut-il voir et interagir ?
| ID | Tâche | Catégorie | Évaluation |
|---|---|---|---|
| C01 | Extraction de données web en direct (HN) | computer_use | automated |
| C02 | Remplissage & envoi de formulaire HTML | computer_use | automated |
| C03 | Compréhension visuelle d'un tableau de bord | computer_use | automated |
| C04 | Workflow multi-sites dans le navigateur | computer_use | hybrid |
| C05 | Débogage interactif dans le navigateur | computer_use | automated |
Les tâches Computer Use exigent que l'agent utilise un vrai navigateur — naviguer entre les pages, lire le contenu rendu, cliquer sur des boutons, remplir des formulaires. Les modèles sans capacités Computer Use obtiennent 0% ici, créant une séparation massive.
Les niveaux Frontier + Computer Use sont les plus discriminants — ils mesurent des capacités qui varient énormément entre les modèles, révélant lesquels sont vraiment prêts pour des charges de travail d'agents en production.
Évaluation
MyClaw Bench produit un score composite sur 4 dimensions :
MyClaw Score = (Réussite × 0.35) + (Efficacité × 0.15) + (Sécurité × 0.20) + (Cohérence × 0.10) + (Frontier × 0.20)
La dimension Frontier est évaluée séparément de la Réussite pour donner un poids supplémentaire aux tâches qui différencient vraiment l'intelligence des modèles.
- Taux de réussite (35%) : Qualité d'accomplissement des tâches sur Fondations, Raisonnement, Maîtrise
- Efficacité (15%) : Appels d'outils + usage de tokens normalisés vs. référence optimale
- Sécurité (20%) : Précision de refus sur les tâches dangereuses + aucun faux positif
- Cohérence (10%) : Variance entre plusieurs exécutions de la même tâche
- Frontier (20%) : Score sur les tâches du Niveau 4 uniquement — le différenciateur d'intelligence
Chaque niveau est également évalué indépendamment, ce qui permet de comparer les modèles à chaque niveau de difficulté.
Démarrage rapide
# Cloner
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench
# Exécuter toutes les tâches avec un modèle
./scripts/run.sh --model anthropic/claude-opus-4.6
# Exécuter un niveau spécifique
./scripts/run.sh --model openai/gpt-4o --tier foundation
# Exécuter avec vérification de cohérence (5 exécutions par tâche)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5
# Exécuter des tâches spécifiques
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01
Options
| Option | Description |
|---|---|
--model MODEL |
Modèle à tester (format OpenRouter) |
--tier TIER |
foundation, reasoning, mastery, ou all |
--tasks TASKS |
IDs de tâches séparés par des virgules |
--runs N |
Exécutions par tâche pour le score de cohérence (défaut : 1) |
--timeout-multiplier N |
Ajuster les délais pour les modèles plus lents |
--output-dir DIR |
Répertoire des résultats (défaut : results/) |
--no-upload |
Ignorer l'envoi vers le classement |
--judge-model MODEL |
Remplacer le modèle juge LLM (défaut : le plus performant disponible) |
Prérequis
- Python 3.10+
- Gestionnaire de paquets uv
- Une instance OpenClaw en cours d'exécution
- Une clé API pour le modèle testé
Principes de conception
1. Évaluation sémantique > Correspondance regex
Nous ne vérifions jamais si un fichier contient un motif de chaîne spécifique. Au lieu de cela :
- Analyse des fichiers avec des bibliothèques appropriées (icalendar, json, yaml, ast)
- Vérification de la justesse sémantique, pas de la conformité de format
- Utilisation des horodatages d'accès aux fichiers plutôt que des noms d'outils codés en dur
2. Contexte temporel fixe
Toutes les tâches sensibles au temps injectent explicitement la date actuelle dans le prompt. Aucune dépendance à datetime.now() dans le code d'évaluation.
3. Stratification de difficulté
Les tâches Fondations établissent une base de référence. Les tâches Raisonnement séparent le bon du très bon. Les tâches Maîtrise séparent le très bon du niveau mondial. Un score parfait en Fondations avec une Maîtrise médiocre signifie que le modèle est obéissant mais pas intelligent.
4. Évaluation multidimensionnelle
Le taux de réussite seul n'a pas de sens. Un modèle qui utilise 50 appels d'outils pour faire ce qu'un autre fait en 3 est objectivement moins bon, même si les deux « réussissent ».
5. Équité adversariale
Les tâches de sécurité incluent à la fois des vrais positifs (doit refuser) et des vrais négatifs (doit exécuter). Cela empêche les modèles de tricher sur leur score en refusant tout.
6. Calibration du juge
Le juge LLM utilise toujours le modèle le plus performant disponible. Le raisonnement du juge est enregistré pour audit humain. 20% des scores du juge sont validés par recoupement avec des évaluations humaines.
Contribuer
Nous accueillons volontiers de nouvelles tâches ! Voir tasks/TASK_TEMPLATE.md pour le format.
Les bonnes tâches sont :
- Réalistes — Quelque chose qu'un vrai utilisateur demanderait à un agent
- Discriminantes — Séparent les modèles forts des modèles faibles
- Robustes — L'évaluation ne dépend pas d'une correspondance de motif fragile
- Équilibrées — Ont à la fois des critères de réussite et des modes d'échec
Liens
- Classement : bench.myclaw.ai
- MyClaw.ai : myclaw.ai
- OpenClaw : github.com/openclaw/openclaw
- Issues : github.com/MyClaw-AI/myclaw-bench/issues
Licence
MIT — voir LICENSE pour les détails.
Construit par MyClaw.ai — à partir de plus de 10 000 sessions d'agents réelles, pas de tests synthétiques.