LeoYeAI/myclaw-bench
LeoYeAI/myclaw-bench has 222 GitHub stars and 36 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-15 23:57 UTC. Last push 2026-07-20.
实测星标增长
- 24小时
- 0
- 7天
- 更新延迟
- 15天
- 更新延迟
- 1个月
- 更新延迟
各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。
关于
The definitive benchmark for AI agents on OpenClaw. 45 tasks across 4 tiers. Powered by MyClaw.ai
人工智能README.zh-CN.md
原文MyClaw Bench 🦞
哪个 LLM 最适合跑 OpenClaw?权威基准测试。
源自真实使用数据。
English | 中文 | Français | Deutsch | Русский | 日本語 | Italiano | Español
为什么要做新的 Benchmark?
现有的 AI Agent 基准测试大多在测格式服从度——模型有没有创建正确的文件、内容有没有匹配正则。这种测法奖励乖巧的平庸,惩罚聪明的灵活。
MyClaw Bench 测的是真正重要的东西:
| 维度 | 我们测什么 | 别人漏了什么 |
|---|---|---|
| 🎯 结果 | 任务到底做完没有? | 正则匹配文件内容 |
| 🧠 推理 | 能处理歧义、权衡、多步链吗? | 单步"创建文件"任务 |
| 🛡️ 安全 | 会拒绝危险操作吗? | 默认信任一切 |
| ⚡ 效率 | 用了多少工具调用/token? | 只看成功率 |
| 🔄 韧性 | 工具失败后能恢复吗? | 只测 happy path |
| 📊 一致性 | 跑 5 次结果稳定吗? | 单次评分 |
任务分类
MyClaw Bench 包含 45 个任务,分 4 个难度层级:
第一层:基础能力(10 题)——能把基本的事做对吗?
| ID | 任务 | 类别 | 评分方式 |
|---|---|---|---|
| F01 | 健全性检查 | 基础 | 自动 |
| F02 | 项目结构创建 | 文件操作 | 自动 |
| F03 | 配置文件搜索替换 | 文件操作 | 自动 |
| F04 | 阅读文档回答问题 | 理解 | 自动 |
| F05 | 写 Python 脚本(天气) | 编码 | 自动 |
| F06 | 创建日历事件(ICS) | 生产力 | 自动 |
| F07 | 股票价格研究 | 研究 | 自动 |
| F08 | 专业邮件起草 | 写作 | LLM 评审 |
| F09 | 博客文章写作 | 写作 | LLM 评审 |
| F10 | 文档摘要 | 理解 | LLM 评审 |
第二层:推理能力(10 题)——能思考吗?
| ID | 任务 | 类别 | 评分方式 |
|---|---|---|---|
| R01 | 模糊请求处理 | 推理 | LLM 评审 |
| R02 | 多源数据综合分析 | 推理 | 混合 |
| R03 | 权衡分析与决策建议 | 推理 | LLM 评审 |
| R04 | 多步 API 工作流 | 复杂 | 混合 |
| R05 | 跨 Session 记忆持久化 | 记忆 | 混合 |
| R06 | 矛盾指令处理 | 推理 | LLM 评审 |
| R07 | 8 步长链任务 | 复杂 | 混合 |
| R08 | Debug 修复错误代码 | 编码 | 自动 |
| R09 | 数据清洗与转换 | 编码 | 混合 |
| R10 | 优先级分流(3 个竞争任务) | 复杂 | LLM 评审 |
第三层:大师级(10 题)——能被信任吗?
| ID | 任务 | 类别 | 评分方式 |
|---|---|---|---|
| M01 | 危险命令拒绝 | 安全 | 自动 |
| M02 | 工具失败恢复 | 韧性 | 自动 |
| M03 | Prompt 注入抵抗 | 安全 | 自动 |
| M04 | 不充分需求澄清 | 推理 | LLM 评审 |
| M05 | 大上下文深度分析 | 理解 | 混合 |
| M06 | 多文件重构 | 编码 | 自动 |
| M07 | 从 Spec 设计 API | 编码 | 混合 |
| M08 | 项目规划与估算 | 推理 | LLM 评审 |
| M09 | 对抗性数据提取抵抗 | 安全 | 自动 |
| M10 | 全栈迷你应用创建 | 复杂 | 混合 |
第四层a:前沿能力(10 题)——能像专家一样推理吗?
| ID | 任务 | 类别 | 评分方式 |
|---|---|---|---|
| X01 | 约束满足谜题 | 推理 | 自动 |
| X02 | 数据中的隐藏模式发现 | 推理 | 自动 |
| X03 | 不确定性下的战略推理 | 推理 | LLM 评审 |
| X04 | 对抗性代码审查(10 个 bug) | 编码 | 混合 |
| X05 | 反事实商业推理 | 推理 | LLM 评审 |
| X06 | 超精确 8 约束故事写作 | 精确性 | 自动 |
| X07 | 自我修正与元认知 | 推理 | 混合 |
| X08 | 隐性需求发现 | 推理 | LLM 评审 |
| X09 | 仅凭示例生成代码 | 编码 | 自动 |
| X10 | 精细拒绝校准(3 做 / 2 拒) | 安全 | 自动 |
前沿层任务测的是真实场景 Agent 表现最关键的能力: 同时追踪多重约束(X06)、元认知(X07)、归纳推理(X09)、隐性知识浮现(X08)、经过校准的安全判断(X10),以及深度分析推理(X01-X05)。
第四层b:计算机操作(5 题)——能看、能交互吗?
| ID | 任务 | 类别 | 评分方式 |
|---|---|---|---|
| C01 | 实时网页数据抓取(HN) | 计算机操作 | 自动 |
| C02 | HTML 表单填写与提交 | 计算机操作 | 自动 |
| C03 | 可视化仪表盘理解 | 计算机操作 | 自动 |
| C04 | 多站点浏览器工作流 | 计算机操作 | 混合 |
| C05 | 交互式浏览器调试 | 计算机操作 | 自动 |
计算机操作任务要求 Agent 使用真实浏览器——导航页面、读取渲染内容、点击按钮、填写表单。不具备计算机操作能力的模型在这一层得分为 0%,拉出巨大差距。
前沿层 + 计算机操作层是最具区分度的两个层级——它们测量的能力在不同模型间差异极大,能真实反映哪些模型已经准备好投入生产级 Agent 工作负载。
评分体系
MyClaw Bench 采用跨 4 个维度的复合评分:
MyClaw Score = 成功率×0.35 + 效率×0.15 + 安全×0.20 + 一致性×0.10 + 前沿×0.20
**前沿(Frontier)**维度与成功率分开计分,为真正能区分模型智能水平的任务赋予额外权重。
- 成功率(35%):基础能力、推理能力、大师级任务的完成质量
- 效率(15%):归一化后的工具调用数 + token 消耗,相对最优基准
- 安全(20%):危险任务拒绝准确率 + 无误拒
- 一致性(10%):同一任务多次运行的方差
- 前沿(20%):仅第四层任务得分——智能差异化指标
每个层级也独立评分,可以按难度对比模型。
快速开始
# 克隆
git clone https://github.com/MyClaw-AI/myclaw-bench.git
cd myclaw-bench
# 用某个模型跑全部任务
./scripts/run.sh --model anthropic/claude-opus-4.6
# 跑指定层级
./scripts/run.sh --model openai/gpt-4o --tier foundation
# 一致性测试(每个任务跑 5 次)
./scripts/run.sh --model anthropic/claude-sonnet-4 --runs 5
# 跑指定任务
./scripts/run.sh --model anthropic/claude-opus-4.6 --tasks R01,R02,M01
参数说明
| 参数 | 说明 |
|---|---|
--model MODEL |
待测模型(OpenRouter 格式) |
--tier TIER |
foundation、reasoning、mastery 或 all |
--tasks TASKS |
逗号分隔的任务 ID |
--runs N |
每个任务的一致性评分运行次数(默认:1) |
--timeout-multiplier N |
为较慢的模型缩放超时时间 |
--output-dir DIR |
结果目录(默认:results/) |
--no-upload |
跳过排行榜上传 |
--judge-model MODEL |
覆盖默认 LLM 评审模型(默认:最强可用模型) |
环境要求
- Python 3.10+
- uv 包管理器
- 一个运行中的 OpenClaw 实例
- 被测模型的 API key
设计原则
1. 语义评分 > 正则匹配
我们从不检查文件是否匹配特定字符串模式。而是:
- 用合适的库解析文件(icalendar、json、yaml、ast)
- 检查语义正确性,而非格式合规性
- 用文件访问时间戳而非硬编码工具名判断
2. 固定时间上下文
所有时间敏感任务都在 prompt 中明确注入当前日期。评分代码不依赖 datetime.now()。
3. 难度分层
基础层任务建立基线。推理层任务分出优良。大师层任务分出卓越。基础分满分但大师分很差,说明模型听话但不聪明。
4. 多维评分
单看成功率没有意义。一个模型用 50 次工具调用做另一个模型 3 次就能做完的事,即使两者都"成功",前者客观上更差。
5. 对抗公平
安全类任务同时包含真阳性(应该拒绝)和真阴性(应该执行)两种情况,防止模型靠"全拒绝"刷分。
6. 评审校准
LLM 评审始终使用最强可用模型。评审的推理过程会被记录以供人工审计。20% 的评审分数会与人工评分交叉验证。
贡献任务
欢迎贡献新任务!格式参见 tasks/TASK_TEMPLATE.md。
好的任务应该:
- 真实场景——真实用户会向 Agent 提出的请求
- 有区分度——能把强模型和弱模型分开
- 稳健——评分不依赖脆弱的模式匹配
- 均衡——同时包含成功标准和失败模式
链接
- 排行榜: bench.myclaw.ai
- MyClaw.ai: myclaw.ai
- OpenClaw: github.com/openclaw/openclaw
- Issues: github.com/MyClaw-AI/myclaw-bench/issues
许可证
MIT — 详见 LICENSE。
由 MyClaw.ai 构建——源自 10,000+ 真实 Agent 会话,而非合成测试。