Skip to content
Projekte

LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. Star changes are not measured yet. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.

So werden diese Zahlen gemessen

Gemessener Sternzuwachs

in 24h
Aktualisierung verzögert
in 7 days
Aktualisierung verzögert
in 15 days
Aktualisierung verzögert
in 1 month
Aktualisierung verzögert

Nettoänderungen in überlappenden Zeiträumen, keine Tagessummen. Fehlende Messwerte bleiben leer. Sterne zeigen Interesse, nicht Qualität.

Über uns

The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai

KI

README.de.md

Original

MyClaw Bench 🦞

Der maßgebliche Benchmark dafür, welches LLM OpenClaw am besten betreibt.

Basierend auf realen Nutzungsdaten.

English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español

Powered by MyClaw.ai


Warum noch ein Benchmark?

Die meisten KI-Agenten-Benchmarks testen Formatkonformität — hat das Modell die richtige Datei mit dem richtigen Regex-Treffer erstellt? Das belohnt gehorsame Mittelmäßigkeit und bestraft intelligente Flexibilität.

MyClaw Bench testet, was wirklich zählt:

Dimension Was wir testen Was andere übersehen
🎯 Ergebnis Wurde die Aufgabe tatsächlich erledigt? Regex-Abgleich von Dateiinhalten
🧠 Denkvermögen Kann es mit Mehrdeutigkeit, Kompromissen, mehrstufigen Ketten umgehen? Einstufige "Erstelle eine Datei"-Aufgaben
🛡️ Sicherheit Verweigert es gefährliche Anfragen? Angenommenes Vertrauen
⚡ Effizienz Wie viele Tool-Aufrufe / Tokens bis zum Abschluss? Nur die Erfolgsquote
🔄 Robustheit Kann es sich von Tool-Fehlern erholen? Nur der Idealpfad
📊 Konsistenz Gleiches Ergebnis über 5 Durchläufe? Ergebnisse aus einem einzigen Durchlauf

Aufgabenkategorien

MyClaw Bench umfasst 45 Aufgaben über 4 Schwierigkeitsstufen:

Stufe 1: Grundlagen (10 Aufgaben) — Kann es die Grundlagen richtig machen?

ID Aufgabe Kategorie Bewertung
F01 Plausibilitätsprüfung basic automated
F02 Erstellung von Dateistrukturen file_ops automated
F03 Config-Suche & Ersetzung file_ops automated
F04 Lesen & Beantworten aus Dokument comprehension automated
F05 Python-Skript schreiben (Wetter) coding automated
F06 Kalenderereignis erstellen (ICS) productivity automated
F07 Aktienkurs-Recherche research automated
F08 Professionellen E-Mail-Entwurf schreiben writing llm_judge
F09 Blogbeitrag schreiben writing llm_judge
F10 Dokumentzusammenfassung comprehension llm_judge

Stufe 2: Denkvermögen (10 Aufgaben) — Kann es denken?

ID Aufgabe Kategorie Bewertung
R01 Umgang mit mehrdeutigen Anfragen reasoning llm_judge
R02 Synthese von Daten aus mehreren Quellen reasoning hybrid
R03 Kompromissanalyse & Empfehlung reasoning llm_judge
R04 Mehrstufiger API-Workflow complex hybrid
R05 Sitzungsübergreifende Gedächtnispersistenz memory hybrid
R06 Widersprüchliche Anweisungen reasoning llm_judge
R07 Lange Kettenaufgabe (8 Schritte) complex hybrid
R08 Fehlerbehebung & Korrektur von Code coding automated
R09 Datenbereinigung & -transformation coding hybrid
R10 Prioritätensortierung (3 konkurrierende Aufgaben) complex llm_judge

Stufe 3: Meisterschaft (10 Aufgaben) — Kann man ihm vertrauen?

ID Aufgabe Kategorie Bewertung
M01 Verweigerung gefährlicher Befehle safety automated
M02 Wiederherstellung nach Tool-Fehler resilience automated
M03 Widerstand gegen Prompt-Injection safety automated
M04 Klärung unterspezifizierter Aufgaben reasoning llm_judge
M05 Nutzung großer Kontextfenster comprehension hybrid
M06 Multi-Datei-Refactoring coding automated
M07 API-Design aus Spezifikation coding hybrid
M08 Projektplanung & Schätzung reasoning llm_judge
M09 Gegnerische Datenextraktion safety automated
M10 Erstellung einer Full-Stack-Mini-App complex hybrid

Stufe 4a: Frontier (10 Aufgaben) — Kann es wie ein Experte denken?

ID Aufgabe Kategorie Bewertung
X01 Constraint-Satisfaction-Rätsel reasoning automated
X02 Verdecktes Muster in Daten entdecken reasoning automated
X03 Strategisches Denken unter Unsicherheit reasoning llm_judge
X04 Gegnerisches Code-Review (10 Bugs) coding hybrid
X05 Kontrafaktisches Business-Reasoning reasoning llm_judge
X06 Ultra-präzise Geschichte mit 8 Bedingungen precision automated
X07 Selbstkorrektur & Metakognition reasoning hybrid
X08 Entdeckung impliziter Anforderungen reasoning llm_judge
X09 Codegenerierung nur aus Beispielen coding automated
X10 Nuancierte Verweigerungskalibrierung (3 tun / 2 verweigern) safety automated

Frontier-Aufgaben testen die Fähigkeiten, die für die reale Agenten-Performance am wichtigsten sind: gleichzeitiges Constraint-Tracking (X06), Metakognition (X07), induktives Denken (X09), Aufdecken impliziten Wissens (X08), kalibriertes Sicherheitsurteil (X10) und tiefgehendes analytisches Denken (X01-X05).

Stufe 4b: Computer-Nutzung (5 Aufgaben) — Kann es sehen und interagieren?

ID Aufgabe Kategorie Bewertung
C01 Live-Web-Datenextraktion (HN) computer_use automated
C02 HTML-Formular ausfüllen + absenden computer_use automated
C03 Visuelles Dashboard-Verständnis computer_use automated
C04 Browser-Workflow über mehrere Websites computer_use hybrid
C05 Interaktives Browser-Debugging computer_use automated

Computer-Use-Aufgaben erfordern, dass der Agent einen echten Browser verwendet — Seiten navigieren, gerenderten Inhalt lesen, Schaltflächen klicken, Formulare ausfüllen. Modelle ohne Computer-Use-Fähigkeiten erzielen hier 0%, was eine massive Differenzierung schafft.

Frontier- + Computer-Use-Stufen sind am aussagekräftigsten — sie messen Fähigkeiten, die zwischen Modellen dramatisch variieren, und zeigen, welche wirklich bereit für produktive Agenten-Workloads sind.

Bewertung

MyClaw Bench erzeugt einen Gesamtscore über 4 Dimensionen:

MyClaw Score = (Erfolg × 0.35) + (Effizienz × 0.15) + (Sicherheit × 0.20) + (Konsistenz × 0.10) + (Frontier × 0.20)

Die Frontier-Dimension wird separat vom Erfolg bewertet, um Aufgaben, die die Intelligenz von Modellen wirklich unterscheiden, ein zusätzliches Gewicht zu geben.

  • Erfolgsquote (35%): Qualität der Aufgabenerledigung über Grundlagen, Denkvermögen, Meisterschaft
  • Effizienz (15%): Normalisierte Tool-Aufrufe + Token-Nutzung im Vergleich zur optimalen Baseline
  • Sicherheit (20%): Verweigerungsgenauigkeit bei gefährlichen Aufgaben + keine Falschpositive
  • Konsistenz (10%): Varianz über mehrere Durchläufe derselben Aufgabe
  • Frontier (20%): Score nur auf Stufe-4-Aufgaben — der Intelligenz-Differenzierer

Jede Stufe wird auch unabhängig bewertet, sodass man Modelle auf jeder Schwierigkeitsstufe vergleichen kann.

Schnellstart

# Klonen
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench

# Alle Aufgaben mit einem Modell ausführen
./scripts/run.sh --model anthropic/claude-opus-4.6

# Bestimmte Stufe ausführen
./scripts/run.sh --model openai/gpt-4o --tier foundation

# Mit Konsistenzprüfung ausführen (5 Durchläufe pro Aufgabe)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5

# Bestimmte Aufgaben ausführen
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01

Flags

Flag Beschreibung
--model MODEL Zu testendes Modell (OpenRouter-Format)
--tier TIER foundation, reasoning, mastery oder all
--tasks TASKS Kommagetrennte Aufgaben-IDs
--runs N Durchläufe pro Aufgabe für Konsistenzbewertung (Standard: 1)
--timeout-multiplier N Timeouts für langsamere Modelle skalieren
--output-dir DIR Ergebnisverzeichnis (Standard: results/)
--no-upload Upload zum Leaderboard überspringen
--judge-model MODEL LLM-Judge-Modell überschreiben (Standard: stärkstes verfügbares)

Voraussetzungen

  • Python 3.10+
  • uv Paketmanager
  • Eine laufende OpenClaw-Instanz
  • API-Schlüssel für das getestete Modell

Designprinzipien

1. Semantische Bewertung > Regex-Abgleich

Wir prüfen niemals, ob eine Datei ein bestimmtes String-Muster enthält. Stattdessen:

  • Dateien mit geeigneten Bibliotheken parsen (icalendar, json, yaml, ast)
  • Semantische Korrektheit prüfen, nicht Formatkonformität
  • Dateizugriffszeitstempel statt hartcodierter Tool-Namen verwenden

2. Fester Zeitkontext

Alle zeitsensitiven Aufgaben injizieren das aktuelle Datum explizit im Prompt. Kein Rückgriff auf datetime.now() im Bewertungscode.

3. Schwierigkeitsstratifizierung

Grundlagenaufgaben legen eine Baseline fest. Denkvermögen-Aufgaben trennen gut von großartig. Meisterschafts-Aufgaben trennen großartig von Weltklasse. Ein perfekter Grundlagen-Score bei schlechter Meisterschaft bedeutet, dass das Modell gehorsam, aber nicht intelligent ist.

4. Mehrdimensionale Bewertung

Die Erfolgsquote allein ist bedeutungslos. Ein Modell, das 50 Tool-Aufrufe für etwas benötigt, das ein anderes in 3 erledigt, ist objektiv schlechter, selbst wenn beide "erfolgreich" sind.

5. Gegnerische Fairness

Sicherheitsaufgaben enthalten sowohl echte Positive (sollte verweigern) als auch echte Negative (sollte ausführen). Das verhindert, dass Modelle den Score manipulieren, indem sie alles verweigern.

6. Judge-Kalibrierung

Der LLM-Judge verwendet immer das stärkste verfügbare Modell. Die Begründung des Judges wird für menschliches Audit protokolliert. 20% der Judge-Bewertungen werden mit menschlichen Bewertungen kreuzvalidiert.

Mitwirken

Wir freuen uns über neue Aufgaben! Siehe tasks/TASK_TEMPLATE.md für das Format.

Gute Aufgaben sind:

  • Realitätsnah — Etwas, das ein echter Nutzer von einem Agenten verlangen würde
  • Diskriminierend — Trennt starke von schwachen Modellen
  • Robust — Bewertung hängt nicht von fragilem Musterabgleich ab
  • Ausgewogen — Hat sowohl Erfolgskriterien als auch Fehlermodi

Links

Lizenz

MIT — siehe LICENSE für Details.


Entwickelt von MyClaw.ai — aus über 10.000 realen Agenten-Sitzungen, keine synthetischen Tests.