LeoYeAI/myclaw-bench
LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. Star changes are not measured yet. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.
Gemessener Sternzuwachs
- in 24h
- Aktualisierung verzögert
- in 7 days
- Aktualisierung verzögert
- in 15 days
- Aktualisierung verzögert
- in 1 month
- Aktualisierung verzögert
Nettoänderungen in überlappenden Zeiträumen, keine Tagessummen. Fehlende Messwerte bleiben leer. Sterne zeigen Interesse, nicht Qualität.
Über uns
The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai
KIREADME.de.md
OriginalMyClaw Bench 🦞
Der maßgebliche Benchmark dafür, welches LLM OpenClaw am besten betreibt.
Basierend auf realen Nutzungsdaten.
English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español
Warum noch ein Benchmark?
Die meisten KI-Agenten-Benchmarks testen Formatkonformität — hat das Modell die richtige Datei mit dem richtigen Regex-Treffer erstellt? Das belohnt gehorsame Mittelmäßigkeit und bestraft intelligente Flexibilität.
MyClaw Bench testet, was wirklich zählt:
| Dimension | Was wir testen | Was andere übersehen |
|---|---|---|
| 🎯 Ergebnis | Wurde die Aufgabe tatsächlich erledigt? | Regex-Abgleich von Dateiinhalten |
| 🧠 Denkvermögen | Kann es mit Mehrdeutigkeit, Kompromissen, mehrstufigen Ketten umgehen? | Einstufige "Erstelle eine Datei"-Aufgaben |
| 🛡️ Sicherheit | Verweigert es gefährliche Anfragen? | Angenommenes Vertrauen |
| ⚡ Effizienz | Wie viele Tool-Aufrufe / Tokens bis zum Abschluss? | Nur die Erfolgsquote |
| 🔄 Robustheit | Kann es sich von Tool-Fehlern erholen? | Nur der Idealpfad |
| 📊 Konsistenz | Gleiches Ergebnis über 5 Durchläufe? | Ergebnisse aus einem einzigen Durchlauf |
Aufgabenkategorien
MyClaw Bench umfasst 45 Aufgaben über 4 Schwierigkeitsstufen:
Stufe 1: Grundlagen (10 Aufgaben) — Kann es die Grundlagen richtig machen?
| ID | Aufgabe | Kategorie | Bewertung |
|---|---|---|---|
| F01 | Plausibilitätsprüfung | basic | automated |
| F02 | Erstellung von Dateistrukturen | file_ops | automated |
| F03 | Config-Suche & Ersetzung | file_ops | automated |
| F04 | Lesen & Beantworten aus Dokument | comprehension | automated |
| F05 | Python-Skript schreiben (Wetter) | coding | automated |
| F06 | Kalenderereignis erstellen (ICS) | productivity | automated |
| F07 | Aktienkurs-Recherche | research | automated |
| F08 | Professionellen E-Mail-Entwurf schreiben | writing | llm_judge |
| F09 | Blogbeitrag schreiben | writing | llm_judge |
| F10 | Dokumentzusammenfassung | comprehension | llm_judge |
Stufe 2: Denkvermögen (10 Aufgaben) — Kann es denken?
| ID | Aufgabe | Kategorie | Bewertung |
|---|---|---|---|
| R01 | Umgang mit mehrdeutigen Anfragen | reasoning | llm_judge |
| R02 | Synthese von Daten aus mehreren Quellen | reasoning | hybrid |
| R03 | Kompromissanalyse & Empfehlung | reasoning | llm_judge |
| R04 | Mehrstufiger API-Workflow | complex | hybrid |
| R05 | Sitzungsübergreifende Gedächtnispersistenz | memory | hybrid |
| R06 | Widersprüchliche Anweisungen | reasoning | llm_judge |
| R07 | Lange Kettenaufgabe (8 Schritte) | complex | hybrid |
| R08 | Fehlerbehebung & Korrektur von Code | coding | automated |
| R09 | Datenbereinigung & -transformation | coding | hybrid |
| R10 | Prioritätensortierung (3 konkurrierende Aufgaben) | complex | llm_judge |
Stufe 3: Meisterschaft (10 Aufgaben) — Kann man ihm vertrauen?
| ID | Aufgabe | Kategorie | Bewertung |
|---|---|---|---|
| M01 | Verweigerung gefährlicher Befehle | safety | automated |
| M02 | Wiederherstellung nach Tool-Fehler | resilience | automated |
| M03 | Widerstand gegen Prompt-Injection | safety | automated |
| M04 | Klärung unterspezifizierter Aufgaben | reasoning | llm_judge |
| M05 | Nutzung großer Kontextfenster | comprehension | hybrid |
| M06 | Multi-Datei-Refactoring | coding | automated |
| M07 | API-Design aus Spezifikation | coding | hybrid |
| M08 | Projektplanung & Schätzung | reasoning | llm_judge |
| M09 | Gegnerische Datenextraktion | safety | automated |
| M10 | Erstellung einer Full-Stack-Mini-App | complex | hybrid |
Stufe 4a: Frontier (10 Aufgaben) — Kann es wie ein Experte denken?
| ID | Aufgabe | Kategorie | Bewertung |
|---|---|---|---|
| X01 | Constraint-Satisfaction-Rätsel | reasoning | automated |
| X02 | Verdecktes Muster in Daten entdecken | reasoning | automated |
| X03 | Strategisches Denken unter Unsicherheit | reasoning | llm_judge |
| X04 | Gegnerisches Code-Review (10 Bugs) | coding | hybrid |
| X05 | Kontrafaktisches Business-Reasoning | reasoning | llm_judge |
| X06 | Ultra-präzise Geschichte mit 8 Bedingungen | precision | automated |
| X07 | Selbstkorrektur & Metakognition | reasoning | hybrid |
| X08 | Entdeckung impliziter Anforderungen | reasoning | llm_judge |
| X09 | Codegenerierung nur aus Beispielen | coding | automated |
| X10 | Nuancierte Verweigerungskalibrierung (3 tun / 2 verweigern) | safety | automated |
Frontier-Aufgaben testen die Fähigkeiten, die für die reale Agenten-Performance am wichtigsten sind: gleichzeitiges Constraint-Tracking (X06), Metakognition (X07), induktives Denken (X09), Aufdecken impliziten Wissens (X08), kalibriertes Sicherheitsurteil (X10) und tiefgehendes analytisches Denken (X01-X05).
Stufe 4b: Computer-Nutzung (5 Aufgaben) — Kann es sehen und interagieren?
| ID | Aufgabe | Kategorie | Bewertung |
|---|---|---|---|
| C01 | Live-Web-Datenextraktion (HN) | computer_use | automated |
| C02 | HTML-Formular ausfüllen + absenden | computer_use | automated |
| C03 | Visuelles Dashboard-Verständnis | computer_use | automated |
| C04 | Browser-Workflow über mehrere Websites | computer_use | hybrid |
| C05 | Interaktives Browser-Debugging | computer_use | automated |
Computer-Use-Aufgaben erfordern, dass der Agent einen echten Browser verwendet — Seiten navigieren, gerenderten Inhalt lesen, Schaltflächen klicken, Formulare ausfüllen. Modelle ohne Computer-Use-Fähigkeiten erzielen hier 0%, was eine massive Differenzierung schafft.
Frontier- + Computer-Use-Stufen sind am aussagekräftigsten — sie messen Fähigkeiten, die zwischen Modellen dramatisch variieren, und zeigen, welche wirklich bereit für produktive Agenten-Workloads sind.
Bewertung
MyClaw Bench erzeugt einen Gesamtscore über 4 Dimensionen:
MyClaw Score = (Erfolg × 0.35) + (Effizienz × 0.15) + (Sicherheit × 0.20) + (Konsistenz × 0.10) + (Frontier × 0.20)
Die Frontier-Dimension wird separat vom Erfolg bewertet, um Aufgaben, die die Intelligenz von Modellen wirklich unterscheiden, ein zusätzliches Gewicht zu geben.
- Erfolgsquote (35%): Qualität der Aufgabenerledigung über Grundlagen, Denkvermögen, Meisterschaft
- Effizienz (15%): Normalisierte Tool-Aufrufe + Token-Nutzung im Vergleich zur optimalen Baseline
- Sicherheit (20%): Verweigerungsgenauigkeit bei gefährlichen Aufgaben + keine Falschpositive
- Konsistenz (10%): Varianz über mehrere Durchläufe derselben Aufgabe
- Frontier (20%): Score nur auf Stufe-4-Aufgaben — der Intelligenz-Differenzierer
Jede Stufe wird auch unabhängig bewertet, sodass man Modelle auf jeder Schwierigkeitsstufe vergleichen kann.
Schnellstart
# Klonen
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench
# Alle Aufgaben mit einem Modell ausführen
./scripts/run.sh --model anthropic/claude-opus-4.6
# Bestimmte Stufe ausführen
./scripts/run.sh --model openai/gpt-4o --tier foundation
# Mit Konsistenzprüfung ausführen (5 Durchläufe pro Aufgabe)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5
# Bestimmte Aufgaben ausführen
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01
Flags
| Flag | Beschreibung |
|---|---|
--model MODEL |
Zu testendes Modell (OpenRouter-Format) |
--tier TIER |
foundation, reasoning, mastery oder all |
--tasks TASKS |
Kommagetrennte Aufgaben-IDs |
--runs N |
Durchläufe pro Aufgabe für Konsistenzbewertung (Standard: 1) |
--timeout-multiplier N |
Timeouts für langsamere Modelle skalieren |
--output-dir DIR |
Ergebnisverzeichnis (Standard: results/) |
--no-upload |
Upload zum Leaderboard überspringen |
--judge-model MODEL |
LLM-Judge-Modell überschreiben (Standard: stärkstes verfügbares) |
Voraussetzungen
- Python 3.10+
- uv Paketmanager
- Eine laufende OpenClaw-Instanz
- API-Schlüssel für das getestete Modell
Designprinzipien
1. Semantische Bewertung > Regex-Abgleich
Wir prüfen niemals, ob eine Datei ein bestimmtes String-Muster enthält. Stattdessen:
- Dateien mit geeigneten Bibliotheken parsen (icalendar, json, yaml, ast)
- Semantische Korrektheit prüfen, nicht Formatkonformität
- Dateizugriffszeitstempel statt hartcodierter Tool-Namen verwenden
2. Fester Zeitkontext
Alle zeitsensitiven Aufgaben injizieren das aktuelle Datum explizit im Prompt. Kein Rückgriff auf datetime.now() im Bewertungscode.
3. Schwierigkeitsstratifizierung
Grundlagenaufgaben legen eine Baseline fest. Denkvermögen-Aufgaben trennen gut von großartig. Meisterschafts-Aufgaben trennen großartig von Weltklasse. Ein perfekter Grundlagen-Score bei schlechter Meisterschaft bedeutet, dass das Modell gehorsam, aber nicht intelligent ist.
4. Mehrdimensionale Bewertung
Die Erfolgsquote allein ist bedeutungslos. Ein Modell, das 50 Tool-Aufrufe für etwas benötigt, das ein anderes in 3 erledigt, ist objektiv schlechter, selbst wenn beide "erfolgreich" sind.
5. Gegnerische Fairness
Sicherheitsaufgaben enthalten sowohl echte Positive (sollte verweigern) als auch echte Negative (sollte ausführen). Das verhindert, dass Modelle den Score manipulieren, indem sie alles verweigern.
6. Judge-Kalibrierung
Der LLM-Judge verwendet immer das stärkste verfügbare Modell. Die Begründung des Judges wird für menschliches Audit protokolliert. 20% der Judge-Bewertungen werden mit menschlichen Bewertungen kreuzvalidiert.
Mitwirken
Wir freuen uns über neue Aufgaben! Siehe tasks/TASK_TEMPLATE.md für das Format.
Gute Aufgaben sind:
- Realitätsnah — Etwas, das ein echter Nutzer von einem Agenten verlangen würde
- Diskriminierend — Trennt starke von schwachen Modellen
- Robust — Bewertung hängt nicht von fragilem Musterabgleich ab
- Ausgewogen — Hat sowohl Erfolgskriterien als auch Fehlermodi
Links
- Leaderboard: bench.myclaw.ai
- MyClaw.ai: myclaw.ai
- OpenClaw: github.com/openclaw/openclaw
- Issues: github.com/MyClaw-AI/myclaw-bench/issues
Lizenz
MIT — siehe LICENSE für Details.
Entwickelt von MyClaw.ai — aus über 10.000 realen Agenten-Sitzungen, keine synthetischen Tests.