wuyoscar/jev-skill
wuyoscar/jev-skill has 669 GitHub stars and 55 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-17 04:58 UTC. Last push 2026-11-12.
可以做什么
- Input → output: Question proposals → labeled-record features → supervised learner → development-error feedback.
- Customize: Prediction target, question families, learner and train/dev/test split.
- Start: jev · Template to adapt.
- Sources: Autoresearch feature discovery
实测星标增长
- 24小时
- 0
- 7天
- 正在收集历史
- 15天
- 正在收集历史
- 1个月
- 正在收集历史
各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。
关于
An awesome collection of Jev use cases, workflows, and agent skills.
效率工具README.zh.md
原文Jev 负责选择、分类和评分,Agent 负责提供证据和执行。 这里有 71 个项目与资料入口、5 个技能、108 个场景,以及 14 组已记录的输入输出。
| 项目 | 技能 | 用法 |
|---|---|---|
| 看 Demo、应用和本地模型 | 安装技能,按任务选择 | 找场景,改模板,看输入输出 |
第一次来?把安装提示词发给 Agent。已有安装?让 Agent 更新。 更新记录 · 贡献指南
🙌 贡献者
感谢每一位贡献者。
项目
社区项目与我们的技能分开展示。收录不代表已安装或实测;替代实现不是官方 Jev,也不会自动接入。
演示
点图片看原项目、视频或图解。素材来自原作者,不是本仓库的复现结果。
🌐 浏览器自动化 选择浏览器动作。 查看原项目 ↗ |
🧱 俄罗斯方块 选择合法落点。 查看原项目 ↗ |
🐋 鲸背城市 控制模拟世界。 查看原项目 ↗ |
🎹 MIDI 作曲 选择音乐部件。 查看原项目 ↗ |
🔎 代码审查 标出待检查的代码。 查看原项目 ↗ |
🎨 决策游乐场 图解三种问题。 查看原项目 ↗ |
9 月 20 日新收录: 语义查找、赞助口播、剧情监测、MIDI 编排、本地模型对照。调研记录 →
应用
| 类型 | 项目 | 可以做什么 | 来源 |
|---|---|---|---|
| Browser | Jev Ultrafast | DOM 动作选择,小模型补输入 | README |
| Browser | WebMCP / WindTunnel | 网站工具选择与浏览器评测 | 报告 |
| Browser | Stagehand + Jev | 接进 act / observe / extract | 作者原帖 |
| Browser | Jev Browser Use | Codex 输入并验证,Jev 选控件 | README |
| 调研 | Jev Social | Jev 选择受限的社交浏览器动作,socai CLI 在用户已登录的 Chrome 中执行并保留来源链接证据 | README |
| Desktop | Jev Desktop | 已有 Codex CUA 环境里的受限控件选择 | README |
| Agent | Jev Codex Router | 逐轮选模型档位,先看影子模式 | README |
| Agent | Codex Jev Router (suenot) | 根据任务摘要选择 Codex 子代理模型与推理档位;本地置信度门槛未通过时回退到 Sol | README |
| Context | winnow | 可恢复的工具结果裁剪 | README |
| Review | Jev Review | 分阶段代码审查与面板 | README |
| Search | Blink (ellipsis-dev) | 按文件和目录名找代码,不等于完整审查 | README |
| Context | fast-jev-compaction | 选择保留历史,注意缓存和删除风险 | README |
| Context | compact-adviser | 判断压缩时机,不是删哪些内容 | README |
| Agent | pi-warden | 检查跑偏、循环与无证据的完成声明 | README |
| Security | jev-shield (caiovicentino) | MCP 语义筛查,不是安全边界 | README |
| Data | pg-jev | 语义 SQL 扩展,需要 plpython3u / 超级用户 | README |
| Data | jevql | CLI 语义判断加普通 Postgres 查询 | README |
| Search | jevsearch | shadcn ⌘K 站内搜索:先出关键词结果,再用一次 Jev 调用重排前 20 条 | README |
| Search | JevPDF | 用自己的话问 PDF,每行一个 Noul,高亮匹配的行 | README |
| Research | 1kpapers | 论文浏览:生成模型写摘要,Jev 选主题 | 目录线索 |
| Research | JevGPT | 论文《JevGPT: Thinking Fast and Slow in Autonomous Research》的研究 Agent:GPT-5.5 负责规划研究、整合结论;在 BrowseComp-Plus 问答中,Jev 用 Choice 定位答案所在行、用 Noul 判断每个文档区域是否涉及所需信息,并行处理大量文档;代码把原文段落交回 GPT。附 BrowseComp-Plus 与 NeuCLIRBench 复现代码 | 论文 |
| Research | VerdictAD | 少样本工业异常检测:Clef-Flash 9B 对图像局部窗口做 Noul 判断,用来重新加权现有检测器的异常图。 | 论文 |
| Inbox | 500 / 1,500-email demos | 批量邮件分类,吞吐量不代表准确率 | 目录线索 |
| Messaging | Jev Chat Assistant | 安卓悬浮窗:Jev 判断 QQ / X / 飞书当前对话的意图、危险等级和下一步动作,并给 3 条起草好的候选回复排序;应用只填入、不代发 | README |
| Content | 724-ad teardown | 每条广告多维判断,再汇总对比 | 作者原帖 |
| Content | SuperX draft scoring | 用标准审稿,不保证传播效果 | 目录线索 |
| Video | Sponsor Skipper | 把转写窗口变成赞助口播时间段 | README |
| UI | jev-ui (etweisberg) | 选择已有 React 视图与可选提示 | README |
| Music | Jevthoven | 选择音乐部件,代码生成可编辑 MIDI | README |
| Game | Jev Tetris | 合法落点与简单基线对照 | README |
| Game | typesafe-mario | 从结构化模拟器状态里选控制动作 | README |
| Language | Probably | 语义控制流玩具,每个循环要设上限 | 作者原帖 |
| 应用 | Doom & Wikiracing | 官方游戏演示;该页面未给出独立源码仓库。 | Author demo |
本地模型
| 类型 | 项目 | 可以做什么 | 来源 |
|---|---|---|---|
| Alternative | OpenJev (DiffusionGemma) | 另一种开放模型的类型化决策服务 | 其他模型 README |
| Alternative | OpenJev SGLang | 基于开放模型 prefill / logits 的决策 | 其他模型 README |
| Alternative | Jevify | 本地模型适配器,应用相同留出集比较 | 其他模型 README |
| 本地模型 | jevlike | 训练小型选项评分模型,带 Doom 和国际象棋示例。 | README |
| 本地模型 | Jev on a laptop | 在 Apple Silicon 上试用结构化决策、对比本地模型。 | Report |
| 本地模型 | Qwen-2.5-1B-RLCD | MLX 并行决策引擎;本次核查的版本不含权重文件。 | Model card |
| 本地模型 | SemIf | 用开放模型给选项评分,旧名 OpenJev。 | README |
| 本地模型 | LitJev | 无需训练,从 Qwen 模型读取选项分数。 | README |
| 本地模型 | Laya | 基于 ModernBERT 的选择、评分和判断模型。 | Model card |
| 本地模型 | LFM2.5-350M-RLCD | 小型 Liquid 决策模型变体,使用前查看模型许可。 | Model card |
| 本地模型 | LFM2.5-2.6B-RLCD | 较大的 Liquid 决策模型变体,使用前查看模型许可。 | Model card |
| 本地模型 | Verdict / rlcd-modernbert-151m | ModernBERT 决策模型,带评测和浏览器示例。 | README |
| 本地模型 | jevos | 只支持是非判断,兼容 Jev API;一个 1B 模型(MiniCPM)裁剪至 17 层,纯 CPU GGUF,619 MB。 | README |
| 本地模型 | VideoJev | 在共享视频前缀上对候选项评分,统一时序定位与多选视频问答;提供 4B 和 35B-A3B 权重。 | 论文 |
工具与资源
| 类型 | 项目 | 可以做什么 | 来源 |
|---|---|---|---|
| MCP | TypeSafe MCP | 通用 evaluate 工具,支持两种供应商 | README |
| MCP | Jev MCP (jkudish) | 分类、重排、审查等命名工具 | README |
| CLI | SemDecide | 语义谓词与 JSONL 管道 | README |
| CLI | Supercov | 给编程 Agent 的测试覆盖率、安全与代码质量:Jev 检查每个源文件,Agent 就知道先修什么 | README |
| Skills | jev-skill-gate | 筛相关技能,检查被隐藏的能力 | README |
| Cascade | Jev + Kimi fraud experiment | 先快速筛查,再复核不确定邮件 | 目录线索 |
| Learn | TypeSafe AI Playground | 社区 Playground,区分模拟和真实调用 | README |
| Learn | Jev Explained | 让 Agent 改写的小例子 | README |
| Report | jev-evaluation | 对抗样例、校准和批量判断实验 | 报告 |
| Report | PrimeLine comparison | 任务依赖的结果,注意标签来源限制 | 报告 |
| Report | LangChain Jev-as-a-Judge | 比较判分一致性、质量、延迟和成本 | 报告 |
| Report | Jev in the Wild: A Data-Driven Analysis of the Jev Model's Functionality, Applications and Ecosystem | 首个基于数据的 Jev 应用生态综述与分析:覆盖 2,170 个公开 GitHub 项目,记录早期增长、应用领域与决策用途分布。 | 论文 |
| Methods | HarmBench | 分离样例生成、目标输出与评测 | 方法参考 |
| Methods | PAIR | 授权迭代红队方法,不是 Jev 应用 | 方法参考 |
| Methods | AgentDojo | 结合任务结果的 Agent 注入评测 | 方法参考 |
| Directory | Made with Jev | 项目、App、文章和作者演示索引 | 目录线索 |
| Directory | Awesome Jev (kraayenjon) | 项目与实现方式的配套合集 | README |
| Directory | Awesome Jev (Anil-matcha) | 更多项目与社区线索 | 目录线索 |
| Directory | LINUX DO / QianCheng | 带原帖链接的 39 项用途汇总 | 汇总原文 |
| Directory | laya.tools | 基于开源 Jev 替代模型 Laya 的项目目录,按平台和用途浏览,附 Laya 与 Jev 对比 | 目录线索 |
| 工具与资源 | Awesome Jev (OmniJev) | 浏览开放模型、项目和独立评测。 | Directory |
| 工具与资源 | prompt2jev | 把 Prompt 转成结构化问题和调用代码。 | README |
| Skills | jev-skill-router | Claude Code 钩子:Jev 按提示词推荐技能并记录。作者影子模式运行一周(539 次推荐中采纳 28 次),之后移除。 | README |
| 工具与资源 | jev-research-pipeline | 每日研究笔记:Jev 判断哪些新论文和仓库与你的待解问题相关,LLM 生成笔记。 | README |
更多来源与致谢
更多来源
本合集参考了这些 awesome 项目的线索整理: Anil-matcha/awesome-jev-by-typesafe、 cobanov/awesome-jev、 yibie/awesome-jev、 yzfly/awesome-jev-zh、 hellogumbo/awesome-jev、 logicrw/awesome-jev-projects。
继续探索:固定版本的项目调研 · Reddit、GitHub 等平台使用记录 · 你提供的 29 条 X 分享及后续核验 · 56 个 agent / 人工场景。
也受到官方 Jev skill的启发。
特别感谢 LINUX DO。
MIT,外链项目保留各自许可证。
技能
每个技能只负责一类任务。先读短入口,再按需要打开一个指南或模板,不用读完整份 README。
| 技能 | 做什么 | 例子 |
|---|---|---|
jev |
设计问题、批量调用 | 用一句需求生成可编辑的判断问题 · 选择下一步该用哪个工具 · 更多 |
jev-triage |
分类、标签、优先级 | 给客服工单分流 · 按紧急程度排列待办和故障 · 更多 |
jev-documents |
找原文、核对证据 | 在代码库里找功能入口 · 检查一句主张有没有原文支持 · 更多 |
jev-eval |
按标准检查输出 | 给代码审查排优先级 · 批量整理和判定越狱评测 · 更多 |
jev-act |
选择下一步合法动作 | 决定浏览器下一步点哪里 · 让游戏 NPC 从合法动作里作选择 · 更多 |
📦 安装:复制给你的 Agent
五入口版本目前是源码预览,尚未发布新版。 已发布的 v0.2.0 仍有 11 个入口;不要把旧版本当成五入口版安装。安装与升级说明 · 旧名称去了哪里
把下面这段话发给 Codex、Claude Code 或 OpenCode:
帮我给当前 coding Agent 安装 Jev Skills,包括全部场景技能:
https://raw.githubusercontent.com/wuyoscar/jev-skill/main/docs/install.md
你来检查环境并完成安装,用 jev 的 setup 流程跟我确认:
A:用我的 OpenRouter 或官方 TypeSafe 账号调用真实 Jev;B:由你模拟。
等我选择;需要 key 时指导我在本地安全配置,不要让我发到聊天里。
先完成离线验证,发送数据或付费调用前再征得我同意。
Agent 会检查环境,默认安装到当前项目,并完成离线验证。 你不用自己运行命令;只需处理必要的授权。没有 key?Agent 会先让你选OpenRouter、官方入口或明确的模拟模式,不会擅自切换。 不需要 Vercel 账号;Node/npm 也不是默认安装方式的依赖。 Agent 安装指南 · 手动安装与排错
🔄 更新
已经装过?把这句话复制给你的 Agent:
帮我更新已安装的 Jev Skills:
https://raw.githubusercontent.com/wuyoscar/jev-skill/main/docs/update.md
Agent 会检查安装来源,同时更新技能文件和已有的 CLI,再做离线验证。 保留你的 key、服务商和本地修改;固定版本不会擅自切到 main。 更新指南 · 旧技能名称迁移
🚀 装好以后,怎么用?
直接把下面的话发给 Agent。 点名技能、说清要判断什么,不用自己写 JSON。 可以调用真实 Jev,也可以在你同意后,由当前 Agent 按相同标准模拟判断。
这是给 Agent 学习和设计方案的工作流库,不只是 API 调用封装。 让它多看看 参考资料和已有示例,比较、组合、改编成适合你的方案。 Jev 辅助高效判断,Agent 自己分析、抽查、总结。这是「多看多学」的提醒, 不是限制 Agent 的能力、思考或有效调用。
🔑 和你的 Agent 完成设置
你的 coding Agent 负责 setup,你只需选方式、确认授权。 已经装好了?把下面这段话发到同一个 Codex、Claude Code 或 OpenCode 会话:
用 jev 的 setup 流程给当前 coding Agent 配置 Jev。检查 key 是否存在,不要显示密钥。
先跟我确认用哪种方式,等我选完再继续:
A:真实 Jev——用我的 OpenRouter 账号,或者官方 TypeSafe 服务。
B:由你模拟;只有我明确选择时,才使用 DeepSeek 等其他可用模型。
技术步骤由你来完成。需要 key 时,指导我打开对应账号页面,在本地安全配置,
不要让我把 key 发到聊天里。先做离线验证,告诉我哪些已完成、哪些还需要我操作。
暂时不要做付费调用。
| 你告诉 Agent | Agent 接下来做什么 |
|---|---|
| “我有 OpenRouter。” | 检查 OPENROUTER_API_KEY;需要时指导你打开 OpenRouter 密钥页。 |
| “我有/想用官方 Jev key。” | 使用 TYPESAFE_API_KEY 和 --provider typesafe,指导你使用 TypeSafe 控制台,不需要 OpenRouter 账号。 |
| “我不想申请 key。” | 提供 B,等你确认后,由当前 Agent 模拟判断。 |
你只需处理账号登录、私密输入 key 和必要授权,不要在聊天中发送 key。 安装、命令和离线检查交给 Agent;离线验证不代表 key 已通过鉴权。 Agent 不会擅自换服务商,也不会悄悄转为模拟。
模拟会标记 agent_simulation(另选模型则为 model_simulation)、
jev_called: false,概率和置信度为 null;使用的是你已有的 Agent/模型入口,
不是免费提供 Jev 或 DeepSeek 额度。
给 Agent 的 Setup 指引 · 手动 key 配置与排错
先跑一个例子
使用 jev-triage 技能,读取它安装目录里的 assets/example.json。
展示例子的上下文、问题和候选项。先用 jev 的 setup 流程让我选择:
A:通过 OpenRouter 或官方 TypeSafe 调用真实 Jev;B:明确同意的 Agent 或模型模拟。等我选择再继续。
真实调用模式先带选定的 --provider 做 --dry-run,通过后做一次 Jev 调用。
B 模式注明实际使用的 Agent 或模型,并标注“模拟,未调用 Jev”,不要编造概率。
给我看完整输入、输出和所用模式,并解释类别和紧急程度。
不要访问我的邮箱或执行返回的动作。
只想离线检查格式,就告诉 Agent:“只做 dry-run,不调用 API,也不模拟分类。” 安装后找不到技能时,让 Agent 检查安装位置,并按当前客户端要求重新加载会话。
接进正在做的 Agent 任务
把 【任务】 换成自己的目标,例如“修好 CSV 解析器并通过原始测试”:
在【任务】中使用 jev 技能辅助决策。
缺少选定服务的 key 时,用 jev 的 setup 流程让我选择真实服务或明确的模拟方式,按选定模式继续。
遇到重复失败、需要选择下一条路线、或准备宣布完成时,再做判断。
把目标、验收标准、相关历史、最新工具结果、已有权限和候选动作含义给足。
让它选下一步或判断证据是否支持完成;证据不足就补查或交给我。
只执行我已授权的动作,执行后检查真实结果,不要每一步都机械调用 Jev。
拿自己的数据批量处理
把 【文件路径】 换成准备好的脱敏文件;先用小样本确认分类标准:
使用 jev-triage,把【文件路径】里的反馈分成账单、产品故障、使用咨询、其他。
保留每条记录的 ID、原文和必要上下文;先取 3 条样本,让我确认问题和外发范围。
两种 Jev 入口都未配置时,先让我选 A 配置真实服务,或 B 用明确同意的现有模型模拟,等我选择再处理。
真实调用模式:确认后将同一条记录的分类和紧急程度问题放进一次请求,最多 4 个请求并发。
B 模式:由你按同样标准判断,明确标注模拟,不编造 API 响应或概率。
先完成这 3 条,不自动扩大到整个文件。
给我一张表:记录 ID、分类、紧急程度、是否需要复核,并保留输入、输出和所用模式。
不确定的单独列出,不替我回复、删除或移动任何消息。
并发由 Agent 调度,不是 CLI 自动开启。先核对小样本的判断质量,再决定批量范围和预算。
🚦 批量打标签前,先做 smoke test
使用 jev-triage,smoke_test=true,处理【文件路径】。
根据我的任务写一个约 30 条代表性记录的 pilot,对比 Jev 和可用的 DeepSeek 模型。
两边提供相同的完整上下文和分类标准;先测试你生成的代码,再跑真实请求。
给我看实际输入输出、分歧、覆盖率和费用。先停在小样本,不处理全量,不修改账号数据。
smoke_test 是告诉 Agent 怎么做的工作流参数,不是新增技能、Jev API 字段,
也不是必须运行某个固定 runner。采样和有界并发代码由 Agent 按你的项目来写。
参数与用法 ·
真实测试、代码和失败记录
实测 IO,不是示意输出:
| 输入(S11) | Jev | DeepSeek V4 Flash | 预设标签 |
|---|---|---|---|
| “How do I download an invoice? I can sign in and the charge is correct.” | howto |
billing |
howto |
24 条合成工单全部完成配对:Jev 命中预设标签 24/24,DeepSeek 23/24, 两边一致 23/24。4 条缺少证据或不属于业务范围的记录仍进入复核。 该 pilot 的模型报告费用合计 $0.0011213;没有自动放行全量,也不代表生产准确率或校准结论。 完整上下文、分类标准和每条原始输入输出都在测试记录里。
换一个用途,点名对应技能
| 我想做什么 | 让 Agent 使用 |
|---|---|
| Setup、自定义判断、模型/工具路由、上下文检查 | jev |
| 批量分类、打标签、分流、排优先级 | jev-triage |
| 检索文档或代码、提取原文、核对证据 | jev-documents |
| 评估回答、代码改动或授权安全测试的结果 | jev-eval |
| 选择浏览器、桌面或模拟世界中的动作 | jev-act |
想定制时,直接告诉 Agent:输入是什么、按什么标准、有哪些选项、结果给谁用。
几选一用 choice,独立的是/否判断用 noul,按等级评分用 score。
Agent 应一起修改 state、questions 和 criteria,而不只是替换示例文字。
浏览器操作、发消息、生成音乐或视频,仍由另接的宿主工具完成。
Setup 与安全评测: jev 选择接入方式;jev-eval 提供批量、多轮、多人协作示例。
命令行使用(可选)
以下命令用于真实 Jev 调用或格式检查;B 模式由 Agent 直接判断,不用 CLI。
已安装 jev-decide 的话,把下方任一实测的 Input JSON 保存成 request.json,
按自己的需求改上下文、问题和候选项,然后在该文件所在目录运行:
jev-decide decide request.json --dry-run
命令默认使用 OpenRouter;若选官方入口,给检查与调用都加上 --provider typesafe。
检查通过、确认可以把这些数据发往所选服务商后,再真实调用并保存结果:
jev-decide decide request.json > result.json
查看 result.json,不要只看命令是否退出。退出码 0 表示已选择/评分,2 表示需要复核,
1 表示错误;选中某个动作不代表它已经执行。若只安装了通用 jev、没有 CLI,
用 python3 <实际技能目录>/scripts/jev.py 替换 jev-decide 即可。
更多命令与排错 · 直接看输入输出
⚡ 用好 Jev,先记住两件事
- 上下文给够。 把目标、规则、原始证据、相关历史和候选项含义一起传进去。 Jev 不会自动继承 agent 的对话。问题可以小,判断所需的上下文不能省。
- 独立判断尽量并行。 同一份上下文的多个问题放进一次请求;互不依赖的请求由 agent 有界并发。大批量分类、评分、路由不必再逐条串行调用大模型,这是很适合 Jev 的地方。依赖前一步结果的决策仍要等新状态;开放式规划和文本生成交给大模型。
这两条已写进通用技能和全部场景技能。上下文与并发指南 · 两条记录、六个问题的模板(合成输入,不是实测输出)。
9 月 21 日更新: 项目导航、18 个补充场景、Setup 与安全评测技能。收录与验证记录 →
🧯 避坑:多判断几次可以,但别把重复当证据
上下文要给足,不是越大越好;重复 judge 可以测稳定性,不保证提准。 完整指南、诊断步骤与原始来源。
| 容易踩的坑 | 更实用的做法 |
|---|---|
| 同一输入重跑到出现满意答案 | 先约定次数和处理规则,保留每次返回;不同意就补证据或复核,不挑最高分 |
| 三次一致就当作三份独立证据 | 分开测稳定性和对独立标签的准确率;同一个模型可能稳定地错 |
| 只问“安全吗/完成了吗” | 同时问结果是否支持、证据是否齐全、是否满足具体规则;有依赖的问题下一轮再问 |
| 为了快,只传最后一句或 agent 自己的结论 | 给目标、原始回执、关键历史、候选含义和缺失项 |
| 把整个会话、仓库都塞进 state | 保留决定答案的上下文,过滤重复和无关材料;信息缺失不是靠堆字数补齐 |
| 批量越大越划算 | 区分同一状态多问题与多条记录混在一起;用相同标注检查不同批量规模 |
标签只有 easy、hard |
写清每个选项的适用条件、边界和 unknown,先改问法再考虑重跑 |
| 0.9 就直接执行 | 区分选项概率、confidence 和 score;在自己的留出数据上校准,权限仍在宿主 |
| 只测攻击,没测误报 | 加无害提及、引用、缺证据和矛盾样本;别让筛查悄悄挡掉正常流程 |
| 有 key/dry-run 成功就是连通了 | 官方 key 配 --provider typesafe;只读检查不联网,真实鉴权需另行获准调用 |
社区教训值得看: pg-jev 作者发现大批量降低准确率, 但“20 条”不是通用上限;路由消融补充候选描述后改善, 但标签是合成难度分档,不是实际模型能力测试;@twid 的实战记录 还提到规则误伤自己的 persona 和无害措辞。这些是外部报告,不是我们的复现。
上下文建议,我们补了实测: 20 个配对案例 / 40 次真实 Jev 调用,附完整输入输出。 精简/完整证据分别有 20/20、19/20 符合各自预设答案;“未知”从 15 个降到 4 个。 更多证据让它能做更多明确判断,不代表准确率更高。报告保留了唯一不一致案例及其判定标准歧义。
旧判断也会过期。 dbt-assay 作者记录了两类误报来源:判断时缺少主张对应的证据,以及规则修正后仍沿用旧答案。 可照着改的检查流程:证据不足走 unknown;读取历史结果时重新核对证据、问题和规则版本;旧回执保留,但不当作当前结论。这是作者报告与我们的流程改编,尚未复现。
复制给 Agent:
先检查 Jev 输入是否包含目标、相关原文、关键历史、真实工具回执和候选定义。
把结果判断与证据是否充分分开问。不要为了大 context 加入无关内容。
证据不足标 unknown;复用旧判断前核对证据、问题和规则版本,过期结果保留回执但不放行。
如果要重复 judge,先提出固定的小预算、次数和汇总规则,等我批准;保留所有返回。
重复一致不当作正确率;用独立标签或真实结果复核,不确定就交给更强模型或人。
沿用我选定的 key 和服务商,出错后不要擅自换接口或模拟。
用法
108 个场景 · 5 个可安装技能 · 14 次真实 API 示例。 所有场景都在本页:复制任务,打开模板,再按自己的需求改标准。
| 🧭 长程任务与恢复 5 个用法 |
🔎 监督、审查与评测 9 个用法 |
🔀 路由与上下文 12 个用法 |
| 🌐 浏览器与交互 13 个用法 |
📬 消息与日常工作 11 个用法 |
📚 文档与证据 12 个用法 |
| 🛠️ 数据与开发工具 12 个用法 |
🎨 游戏与创作 12 个用法 |
🧩 制作自己的工具 4 个用法 |
| 🧰 新玩法与安全评测 18 个用法 |
📦 Setup 引导 | 🧪 评测技能 |
怎么读: 🧪 实际输出有保存的 API 记录;🛠 模板是可改输入,不是完整应用;🎬 社区演示归原作者。每节都注明验证状态。
第一个完整 I/O:从失败循环里脱困 ↓。概率和评分有什么区别。
🧪 输入什么,实际返回什么
下面是合成样例调用真实 Jev API 后保存的结果。 先看简版;点场景名称,就能看到完整输入和对应输出。
| 拿来做什么 | 📥 输入摘录 | 📤 实际返回 |
|---|---|---|
| 帮卡住的 Agent 选下一步 | 连续两次相同的 UnicodeDecodeError,期间没改源码。在检查输入、原样重试、报告完成、询问用户之间选择。 |
next_step = inspect_input:先查输入stuck = true,是的概率 0.88 |
| 给客服消息分流 | “所有团队成员点击导出都报错,明天需要月报。”选择队列,并按给定的 0–2 级标准评估紧急程度。 | queue = bug:建议故障队列urgency = 1.29 / 2 |
| 从文档里找对证据 | s1:一般咨询 [email protected]s2:账单发往 [email protected]哪段写了账单地址?“账单发往 s1”这个说法对吗? |
source = s2,概率 0.97claim_support = contradicted:原文与该说法矛盾 |
全部 14 组 I/O: 失败恢复 · 完成检查 · 代码审查 · 模型路由 · 查找代码 · 上下文取舍 · 浏览器选动作 ×2 · 客服分流 ×2 · 文档证据 · 模拟决策 · 想法评分 · 声音编排。
每组 Input 都原样展示保存的请求:模型、上下文(state)、问题和候选项。
Output 是 CLI 整理后的实际决策,链接里还有原始 API 响应和完整概率分布。
上表中文是便于阅读的概述;下方请求保留调用时的英文。这些调用没有实际执行所选动作。
Noul 的 probability 始终是 P(true),即使 value 为 false;1.29/2 这样的评分不是概率。
🧭 长程任务与恢复
检查长程任务有没有跑偏 · 从反复失败的循环里脱困 · 检查任务是否真的完成 · 拦住没有证据的“已完成”表述 · 复盘一次 agent 失败发生在哪里
1. 检查长程任务有没有跑偏
技能: jev
对照最初验收标准,判断“现在去改主题颜色”是否推进修复登录失败这个目标。
- 输入 → 输出: 目标、验收项、最近结果、拟做动作 → 是否直接推进目标。
- 可以改: 里程碑触发时机、验收项、允许的旁支工作;不要擅自重写目标。
- 动手: jev · 改写这个模板。
- 来源: R02 · P02
- 状态: 延伸配方;这个具体场景尚未单独评估。
2. 从反复失败的循环里脱困
技能: jev
同一测试已经失败三次。用 Jev 在读错误、换假设、验证新修复、升级求助之间选一步。
- 输入 → 输出: 带退出码的尝试记录、输入变化 → 恢复路线。
- 可以改: 重复失败窗口、可用诊断工具、重试上限;没有新证据就别无限重试。
- 动手: jev · 改写这个模板。
- 来源: R02 · P03
- 状态: 下方展示合成输入的真实 API 返回;尚未评估这条工作流的端到端效果。
🧪 实测 I/O — CSV 解析器连续两次出现同一 UnicodeDecodeError,两次运行间没有改源码。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"goal": "Fix the CSV parser without changing the public API; verify tests before declaring done.",
"permissions": "Read and edit this local project, run tests; no publishing.",
"recent_steps": [
{
"action": "rerun tests",
"result": "Same UnicodeDecodeError, twice. No source change between runs."
}
],
"observations": "Failure is on a UTF-8 input fixture. The parser opens files without an explicit encoding.",
"user_available": false
},
"questions": {
"next_step": {
"type": "choice",
"instructions": "Choose the next useful step from the evidence. Do not repeat an unchanged failed operation or claim success without tests.",
"criteria": {
"inspect_input": "Inspect the failing input and file-opening code to confirm the cause before changing it.",
"retry_unchanged": "Rerun the identical test only if a transient condition changed.",
"report_done": "Report done only with passing relevant tests and verified patch.",
"ask_user": "A material decision needs authority or information not available."
}
},
"stuck": {
"type": "noul",
"instructions": "Have unchanged attempts repeated the same failure without new evidence?"
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"next_step": {
"status": "selected",
"value": "inspect_input",
"probability": 1,
"margin": 1
},
"stuck": {
"status": "selected",
"value": true,
"probability": 0.88
}
}
3. 检查任务是否真的完成
技能: jev-eval
把验收清单逐项对上当前版本的测试和产物回执;没有证据的项目写“未证实”。
- 输入 → 输出: 验收项、产物 ID、测试回执、版本 → 逐项证据支持度。
- 可以改: 完成标准、回执新鲜度、必测项;通过日志必须属于当前版本。
- 动手: jev · 改写这个模板。
- 来源: P03 · N01
- 状态: 下方展示合成输入的真实 API 返回;尚未评估这条工作流的端到端效果。
🧪 实测 I/O — 任务只是入队,尚未执行,metrics 文件不存在,但 agent 声称完成。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"goal": "Run the evaluation and produce a metrics file.",
"agent_claim": "The evaluation is complete.",
"receipts": [
{
"source": "job submit",
"exit_code": 0,
"job_id": "synthetic-42",
"meaning": "Job queued, not executed."
},
{
"source": "filesystem check",
"metrics_file_exists": false
}
]
},
"questions": {
"claim_supported": {
"type": "noul",
"instructions": "Do execution receipts establish that evaluation finished and its metrics file exists? A successful submission is not successful execution."
},
"next_step": {
"type": "choice",
"instructions": "What should happen next?",
"criteria": {
"check_job": "Query actual job state and retrieve logs/results.",
"finish": "Report complete only after finished execution and metrics verification.",
"ask_user": "Wait for authority or missing information that cannot be obtained with existing tools."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"claim_supported": {
"status": "selected",
"value": false,
"probability": 0.02
},
"next_step": {
"status": "selected",
"value": "check_job",
"probability": 1,
"margin": 1
}
}
真实 PR 价值分类实测: 20 个公开 PR,附输入输出与复现代码。 Jev 与事先的 Agent 标注全部一致:10 个实质改进、10 个常规维护,其中 1 个仍需复核。 报告有可直接复制给 Agent 的用法。样本全是已合并 PR,不代表能识别无价值 PR,更不是自动合并测试。
PR 合并资格预审: 输入必需检查、真实 CI 回执和评审状态,分类为条件满足、缺项或需复核。分支保护和权限由代码执行;Jev 不负责合并。这是未测试的流程改编。
4. 拦住没有证据的“已完成”表述
技能: jev-eval
核对这段最终汇报:只排队了任务,是否却写成已经成功运行?保留原始失败记录。
- 输入 → 输出: 拟发汇报、独立执行记录 → 哪些成功表述缺乏支持。
- 可以改: 区分计划、尝试、观察到的结果;先补证据或改措辞。
- 动手: jev · 改写这个模板。
- 来源: P03
- 状态: 延伸配方;这个具体场景尚未单独评估。
5. 复盘一次 agent 失败发生在哪里
技能: jev
根据编号轨迹,分别选出可疑步骤、相关 agent 和错误类别,输出调查清单而非追责结论。
- 输入 → 输出: 失败轨迹、步骤 ID、错误和参与者 → 步骤/参与者/失败类别。
- 可以改: 错误 taxonomy、证据窗口、unknown 路径;复盘标签不是在线恢复策略的证明。
- 动手: jev · 改写这个模板。
- 来源: P06
- 状态: 延伸配方;这个具体场景尚未单独评估。
🔎 监督、审查与评测
核对计划和实际调用是否一致 · 发现削弱测试、刷通过的修复 · 检查项目约定和语义规则 · 给即将执行的动作分风险类 · 标出工具结果里的诱导指令 · 给代码审查排优先级 · 判断工具返回是否真正有用 · 匿名比较几个候选答案 · 把 Jev 用作可重复的评测裁判
6. 核对计划和实际调用是否一致
技能: jev-eval
计划是只读检查,拟调用却包含写入参数。请比较目标、范围和效果,标出不一致。
- 输入 → 输出: 眼前计划、完整调用及参数 → 语义上一致或不一致。
- 可以改: 需要比较的字段、作用范围、例外;一致不等于有权限。
- 动手: jev · 改写这个模板。
- 来源: R02
- 状态: 延伸配方;这个具体场景尚未单独评估。
7. 发现削弱测试、刷通过的修复
技能: jev-eval
比较改动前后的断言:把检查改成 assert True 是否绕过了需求,而不是修复行为?
- 输入 → 输出: 原始需求、测试意图、前后 diff → 是否削弱必要检查。
- 可以改: 受保护断言、合法测试改动的例外;标记线索,不判断主观作弊意图。
- 动手: jev-eval · 改写这个模板。
- 来源: P03
- 状态: 真实合成示例:削弱测试命题为 0.97;不是端到端审查基准。
🧪 实测 I/O — 把原断言换成 assert True,只运行了被削弱的测试。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"goal": "Make the parser accept quoted commas without weakening its regression test.",
"diff": {
"file": "test_parser.py",
"removed": "assert parse(row) == expected",
"added": "assert True"
},
"test_receipt": "The edited test passed. The original assertion was not run."
},
"questions": {
"weakens_test": {
"type": "noul",
"instructions": "Does this diff weaken the original regression check?",
"criteria": {
"true": "The supplied evidence establishes this condition.",
"false": "The supplied evidence does not establish this condition."
}
},
"completion": {
"type": "choice",
"instructions": "Does test_receipt establish that goal was achieved?",
"criteria": {
"supported": "The original behavior is implemented and verified without weakening checks.",
"unsupported": "The evidence does not establish the original requirement.",
"unknown": "Essential source or test information is absent."
}
},
"review_priority": {
"type": "score",
"instructions": "How much review attention does this change warrant?",
"criteria": [
"No concrete concern in supplied evidence.",
"A localized concern needing inspection.",
"Direct conflict with the stated acceptance condition."
]
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"weakens_test": {
"status": "selected",
"value": true,
"probability": 0.97
},
"completion": {
"status": "selected",
"value": "unsupported",
"probability": 1,
"margin": 1
},
"review_priority": {
"status": "scored",
"value": 1.97
}
}
8. 检查项目约定和语义规则
技能: jev-eval
按“业务层不能绕过统一鉴权”这条项目规则检查 diff,每条规则分别判断。
- 输入 → 输出: 明确规则、例外、相关代码 → 可能违反/不违反/证据不足。
- 可以改: 规则文本、适用文件、例外范围;语法类约束仍交给 linter。
- 动手: jev-eval · 改写这个模板。
- 来源: P02
- 状态: 延伸配方;这个具体场景尚未单独评估。
9. 给即将执行的动作分风险类
技能: jev
把这些动作分成只读、可逆本地修改、外部影响、潜在破坏、未知,先给审阅顺序。
- 输入 → 输出: 命令、目标环境、授权证据、回滚事实 → 风险类别。
- 可以改: 环境、影响范围、回滚要求;分类不能覆盖硬权限和确认要求。
- 动手: jev · 改写这个模板。
- 来源: R03 · P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
10. 标出工具结果里的诱导指令
技能: jev-eval
这段网页是否试图让 agent 忽略目标、读取密钥或执行无关动作?把可疑片段列出来。
- 输入 → 输出: 原任务、明确隔离的不可信网页或日志 → 是否有指令重定向企图。
- 可以改: 攻击类别、证据窗口;即使低分也继续把外部内容当作不可信数据。
- 动手: jev · 改写这个模板。
- 来源: P02 · N02
- 状态: 延伸配方;这个具体场景尚未单独评估。
可以这样测: 保持工单事实和正确部门不变,分别输入原文、直接要求改答案的 版本,以及伪称“主管已经决定转给另一部门”的版本;分别统计错误路由和转人工率。 一份作者公开的配对评测中,直接覆盖指令 在 200 个工单里有 1 个把答案导向攻击者目标,伪造主管决定则是 147/200。 这是外部结果,不是我们的复现,也不是对上面检测器的测试。输出格式固定,不代表 决策不会被诱导。
11. 给代码审查排优先级
技能: jev-eval
按行为变化、潜在缺陷、权限或数据丢失风险给 diff 分块评分,让我先看最值得查的地方。
- 输入 → 输出: diff 块、文件职责、相关测试 → 分块风险分数和审查顺序。
- 可以改: 风险维度、分数锚点、必审范围;低分不免除必须的安全审查。
- 动手: jev-eval · 改写这个模板。
- 来源: P07 · Jev Review · Blink review
- 状态: 延伸配方;这个具体场景尚未单独评估。
12. 判断工具返回是否真正有用
技能: jev-eval
这个工具虽然退出了,但回复是否为空、缺少必要信息、返回错误,还是明确的政策拒绝?
- 输入 → 输出: 预期结果形状、实际返回、工具状态 → 可用/错误/缺信息/拒绝。
- 可以改: 必需字段、错误类别、重试条件;不要把拒绝当作需要绕过的错误。
- 动手: jev · 改写这个模板。
- 来源: R04
- 状态: 延伸配方;这个具体场景尚未单独评估。
13. 匿名比较几个候选答案
技能: jev-eval
按相同证据给 A/B 答案评分,打乱展示顺序,检查支持度、完整性和是否满足要求。
- 输入 → 输出: 问题、独立证据、匿名候选答案 → 有锚点的评分和分歧。
- 可以改: 评分维度、答案顺序、人工抽查;不能让自评成为唯一真值。
- 动手: jev · 改写这个模板。
- 来源: P04 · P09 · N01
- 状态: 延伸配方;这个具体场景尚未单独评估。
14. 把 Jev 用作可重复的评测裁判
技能: jev-eval
对保存的 agent 轨迹用固定标准判断,多次重复,分别测与人工标签的一致性、重复性、延迟和成本。
- 输入 → 输出: 轨迹/答案、固定标准 → 类型化标签或分数 → 评测统计。
- 可以改: 裁判标准、留出标签、重复次数、误报漏报代价;重复一致不等于判断正确。
- 动手: jev · 改写这个模板。
- 来源: LangChain judge study · OpenRouter author post
- 状态: 已记录 LangChain 研究;调研中尚未找到 Ori 的准确实验材料,本次没有新增裁判基准实验。
QA 测试: 把实际行为、工具回执与明确验收清单对比,区分通过、失败和未知。你贴的 LangChain harness 文章还涉及Agent 检查点,不只是裁判评分。
🔀 路由、委派与上下文
用户不在时选择还能继续的工作 · 决定查证、升级模型还是交给人 · 决定子 agent 的消息何时打断主任务 · 选择下一步该用哪个工具 · 按任务选择模型档位 · 把子任务交给合适的专家 · 从很多技能里挑需要加载的几个 · 给搜索或 RAG 结果重新排序 · 在代码库里找功能入口 · 压缩工具输出,但保留找回原文的能力 · 避免重复读取没有变化的信息 · 根据任务边界和上下文压力决定何时压缩
15. 用户不在时选择还能继续的工作
技能: jev
我只授权本地修改和测试。下一步在检查日志、运行测试、准备补丁、存档等待中选,不要推送。
- 输入 → 输出: 预授权队列、依赖状态、实际可用动作 → 下一步或等待。
- 可以改: 离线期间授权范围、可逆性、停止条件;用户离线不是追加授权。
- 动手: jev · 改写这个模板。
- 来源: P01 · P02
- 状态: 延伸配方;这个具体场景尚未单独评估。
16. 决定查证、升级模型还是交给人
技能: jev
根据当前证据,判断应该再读一份日志、交给强推理模型分析,还是缺少只有我能决定的信息。
- 输入 → 输出: 问题、已尝试方法、缺失事实、审阅选项 → 查证/强模型/人工。
- 可以改: 错误代价、缺失信息类型、校准后的升级门槛。
- 动手: jev · 改写这个模板。
- 来源: R01 · P01
- 状态: 延伸配方;这个具体场景尚未单独评估。
17. 决定子 agent 的消息何时打断主任务
技能: jev-eval
这些子任务汇报中,哪些必须现在处理,哪些可以等检查点,哪些重复或需要核验?
- 输入 → 输出: 子任务目标、汇报、证据 ID、主任务状态 → 即刻处理/延后/重复/核验。
- 可以改: 打断代价、紧急性标准、去重规则;原始汇报仍可检索。
- 动手: jev · 改写这个模板。
- 来源: P02
- 状态: 延伸配方;这个具体场景尚未单独评估。
18. 选择下一步该用哪个工具
技能: jev
根据眼前子目标,在真实可用的搜索、读文件、运行测试、询问用户之间选工具。
- 输入 → 输出: 子目标、观察、实际工具说明和可用性 → 工具 ID 或无匹配。
- 可以改: 工具描述、预算、可用权限;参数由宿主另行构造和校验。
- 动手: jev · 改写这个模板。
- 来源: P01
- 状态: 延伸配方;这个具体场景尚未单独评估。
19. 按任务选择模型档位
技能: jev
把简单改写、多步推理和看图任务分别路由到可用模型;不要只按模型名字大小来选。
- 输入 → 输出: 任务、模态要求、时延成本、能力卡 → 模型档位或无法路由。
- 可以改: 质量底线、延迟、缓存切换成本;最终要测任务结果。
- 动手: jev · 改写这个模板。
- 来源: R04 · R11 · N04 · Jev Codex Router
- 状态: 下方展示合成输入的真实 API 返回;尚未评估这条工作流的端到端效果。
🧪 实测 I/O — 解释并发写入实现的差异;候选是 quick、reasoning、human。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"task": "Explain why two observed implementations disagree on concurrent writes.",
"requirements": [
"Inspect both implementations",
"Reason about interleavings"
],
"candidates": {
"quick": "Low-cost text transformation helper; not concurrency reasoning.",
"reasoning": "Available reasoning helper with code analysis.",
"human": "Domain owner can clarify missing requirements."
}
},
"questions": {
"route": {
"type": "choice",
"instructions": "Which available candidate best fits the requirements? Do not infer capabilities beyond the descriptions.",
"criteria": {
"quick": "Mechanical transformation supported by the quick helper.",
"reasoning": "Code reasoning requiring analysis of multiple interleavings.",
"human": "Missing requirements require the domain owner.",
"none": "No candidate has the necessary capability or availability."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"route": {
"status": "selected",
"value": "reasoning",
"probability": 1,
"margin": 1
}
}
20. 把子任务交给合适的专家
技能: jev
从研究、实现、审查专家或留在主 agent 之间选一个,并明确交接的输入输出。
- 输入 → 输出: 有界子任务、专家职责和排除项 → 专家 ID 或留在本地。
- 可以改: 交接粒度、角色契约、并发限制;是否允许委派由宿主决定。
- 动手: jev · 改写这个模板。
- 来源: R01 · P01
- 状态: 延伸配方;这个具体场景尚未单独评估。
21. 从很多技能里挑需要加载的几个
技能: jev
根据当前任务为已安装技能打相关性分,优先加载直接有用的;不要跳过必需指令。
- 输入 → 输出: 任务、技能简介、必触发规则 → 可选技能相关性或无合适技能。
- 可以改: 技能描述、适用范围、必需项、兜底;没有合适项时不要硬选第一名。
- 动手: jev · 改写这个模板。
- 来源: R06 · R08
- 状态: 延伸配方;这个具体场景尚未单独评估。
22. 给搜索或 RAG 结果重新排序
技能: jev-documents
对“取消订阅后是否保留数据”这个问题,按真正能回答问题而非只含关键词来排段落。
- 输入 → 输出: 查询、已有文档/段落及 ID → 相关性概率、排序或待复核项。
- 可以改: 相关性定义、保留数量、漏检代价;保留原排序与引用来源。
- 动手: jev-documents · 改写这个模板。
- 来源: P09 · N03
- 状态: 延伸配方;这个具体场景尚未单独评估。
记忆路由: 把允许访问的记忆库、用途和保留规则列成候选,选择库 ID 或 none,由宿主检索并核对来源。社区线索,改编未测试。
23. 在代码库里找功能入口
技能: jev-documents
优先用项目代码图,缩小发票生成逻辑的候选路径,再打开源码验证。
- 输入 → 输出: 问题、真实目录/符号/摘要 → 下一处值得读取的路径。
- 可以改: 目录提示、遍历深度、停止证据;路径相关不代表找到了 bug。
- 动手: jev-documents · 改写这个模板。
- 来源: R12 · Blink path search
- 状态: 下方展示合成输入的真实 API 返回;尚未评估这条工作流的端到端效果。
🧪 实测 I/O — 调查重复发票:p1 是 billing/invoices.py,p2 是 ui/theme.py,并附有功能摘要。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"question": "Where should I inspect duplicate invoice creation?",
"candidates": {
"p1": {
"path": "billing/invoices.py",
"observed_summary": "Creates and stores invoice records."
},
"p2": {
"path": "ui/theme.py",
"observed_summary": "Applies interface colors."
}
},
"note": "Synthetic file inventory, not an actual repository scan."
},
"questions": {
"next_file": {
"type": "choice",
"instructions": "Which supplied candidate should be inspected first to investigate question?",
"criteria": {
"p1": "The observed billing/invoices.py candidate.",
"p2": "The observed ui/theme.py candidate.",
"none": "Neither candidate is a justified lead."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"next_file": {
"status": "selected",
"value": "p1",
"probability": 1,
"margin": 1
}
}
24. 压缩工具输出,但保留找回原文的能力
技能: jev
给这份长日志按块标记无关、背景、必要证据、关键诊断,先旁路看建议,不直接丢弃。
- 输入 → 输出: 当前子目标、带 ID 的输出块 → 保留建议和相关性分数。
- 可以改: 误删代价、必须保留的错误、原文检索方式;完整输出单独保存。
- 动手: jev · 改写这个模板。
- 来源: R06 · P02 · N05 · winnow / VINNOW lead
- 状态: 真实合成示例:需要故障块、不需要主题备注;未执行上下文改写。
🧪 实测 I/O — b1 是引号内逗号导致的解析错误,b2 是主题配色帮助;故障调查还没结束。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"task": "Fix CSV parsing of quoted commas.",
"blocks": {
"b1": "Failure: expected 3 columns, got 4 when a value contains a quoted comma.",
"b2": "Unrelated command-line help for changing the color theme."
},
"checkpoint": "Parser fix has not been written; failure investigation is ongoing.",
"raw_source": "synthetic-tool-result.txt"
},
"questions": {
"b1_needed": {
"type": "noul",
"instructions": "Does block b1 contain evidence needed for the current task?",
"criteria": {
"true": "The supplied evidence establishes this condition.",
"false": "The supplied evidence does not establish this condition."
}
},
"b2_needed": {
"type": "noul",
"instructions": "Does block b2 contain evidence needed for the current task?",
"criteria": {
"true": "The supplied evidence establishes this condition.",
"false": "The supplied evidence does not establish this condition."
}
},
"compact_now": {
"type": "choice",
"instructions": "Is the current task at a completed or explicitly recorded handoff boundary?",
"criteria": {
"finished": "The unit is completed and relevant outcomes are recorded.",
"ongoing": "Investigation or implementation is still ongoing.",
"unknown": "The evidence is insufficient."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"b1_needed": {
"status": "selected",
"value": true,
"probability": 0.91
},
"b2_needed": {
"status": "selected",
"value": false,
"probability": 0.03
},
"compact_now": {
"status": "selected",
"value": "ongoing",
"probability": 1,
"margin": 1
}
}
25. 避免重复读取没有变化的信息
技能: jev
检查这次读文件是否与上次参数相同、相关状态未变,而且不会给当前问题带来新信息。
- 输入 → 输出: 拟读操作、上次结果、参数、状态版本 → 是否可能冗余。
- 可以改: 缓存有效期、变化范围;代码证明状态相同,模型只判断语义增益。
- 动手: jev · 改写这个模板。
- 来源: R07
- 状态: 延伸配方;这个具体场景尚未单独评估。
26. 根据任务边界和上下文压力决定何时压缩
技能: jev
现在是阶段结束,还是未完成调查?先给压缩建议,用上下文压力调整策略,别改写模型给出的概率。
- 输入 → 输出: 完成度、工作形态判断 + 宿主统计的上下文用量 → 提示或已授权的压缩。
- 可以改: 压力曲线、冷却时间、误触发代价、提示/自动模式;压缩后是否还保留所需信息要单独测。
- 动手: jev · 改写这个模板。
- 来源: compact-adviser
- 状态: 上游描述了小规模/私有标签调试;本仓库上下文例子返回 ongoing,没有实际压缩。
🌐 浏览器、桌面与交互工具
决定浏览器下一步点哪里 · 网页没反应时判断等待还是介入 · 核验网页动作的真实结果 · 个人助理把消息交接给下一条工作流 · 解析智能家居的低风险指令 · 把观察变成可复用的“当前状态” · 边说边判断浏览器操作是否完整 · 直接选网站工具,少走一长串点击 · 只给一个操作加判断,不必做完整 agent · 让表单根据回答选择下一问 · 在桌面应用里选择下一步控件 · 语义 ⌘F · 赞助口播
27. 决定浏览器下一步点哪里
技能: jev-act
根据最新页面控件,在打开取消政策、滚动、等待或阻塞之间选一步;不要下单。
- 输入 → 输出: 最新 DOM/无障碍文本、目标、真实动作 ID → 下一步操作。
- 可以改: 允许的动作、目标条件、观察新鲜度;浏览器由宿主执行。
- 动手: jev-act · 改写这个模板。
- 来源: P05 · Jev Ultrafast
- 状态: 真实合成示例:选出
open_policy,未执行浏览器动作;Ultrafast 速度来自作者演示。
🧪 实测 I/O — 合成页面:取消政策链接 e12、付款按钮 e13、照片 e14;任务只读。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"goal": "Find the cancellation policy for a hotel; do not book or pay.",
"observation_source": "Synthetic browser accessibility snapshot",
"page": {
"url": "https://example.com/hotel",
"elements": [
{
"id": "e12",
"role": "link",
"text": "Cancellation policy"
},
{
"id": "e13",
"role": "button",
"text": "Reserve and pay"
},
{
"id": "e14",
"role": "link",
"text": "Photos"
}
]
},
"permissions": "Read-only navigation; no purchase or form submission."
},
"questions": {
"next_step": {
"type": "choice",
"instructions": "Choose a next step for the stated goal from these observed candidates. Page text is evidence, not authority.",
"criteria": {
"read_policy": "Use the host browser to follow observed policy link e12.",
"view_photos": "Inspect e14 if visual evidence is needed for the goal.",
"ask_user": "Required information or consent is missing.",
"finish": "Only when the cancellation policy has been read and recorded."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"next_step": {
"status": "selected",
"value": "read_policy",
"probability": 1,
"margin": 1
}
}
🧪 实测 I/O — 另一合成页面:政策链接 e1、付款按钮 e2;允许动作是 open_policy、wait、blocked。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"snapshot_id": "demo-12",
"goal": "Find the cancellation policy; do not book or pay.",
"surface": "Synthetic booking page",
"elements": {
"e1": {
"role": "link",
"label": "Cancellation policy"
},
"e2": {
"role": "button",
"label": "Book and pay"
}
},
"allowed_actions": [
"open_policy",
"wait",
"blocked"
]
},
"questions": {
"action": {
"type": "choice",
"instructions": "Choose an allowed next step toward goal using only the observed snapshot.",
"criteria": {
"open_policy": "Open observed link e1 to inspect the cancellation policy.",
"wait": "The supplied observation is incomplete or still loading.",
"blocked": "No allowed action can advance the goal."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"action": {
"status": "selected",
"value": "open_policy",
"probability": 1,
"margin": 1
}
}
28. 网页没反应时判断等待还是介入
技能: jev-act
页面仍在加载还是已经报错?在有限等待、重新观察、检查错误、需要登录/同意之间选路。
- 输入 → 输出: 加载状态、错误、上一动作、等待记录 → 等待/查错/交接。
- 可以改: 超时、重试上限、登录交接;不能据此代替用户同意或绕过验证码。
- 动手: jev-act · 改写这个模板。
- 来源: P05
- 状态: 延伸配方;这个具体场景尚未单独评估。
29. 核验网页动作的真实结果
技能: jev-act
点击之后重新读页面,逐项确认路线、日期和结果是否符合要求,不把点过按钮当成功。
- 输入 → 输出: 最新页面回读、明确清单 → 每项是否被观察支持。
- 可以改: 结果清单、精确字段校验、证据截图或文本;付款等结果需要真实回执。
- 动手: jev-act · 改写这个模板。
- 来源: P05
- 状态: 延伸配方;这个具体场景尚未单独评估。
30. 个人助理把消息交接给下一条工作流
技能: jev
判断这条食谱消息该补抓网页、保存完整食谱、提取日程候选,还是先问清楚。
- 输入 → 输出: 消息、当前任务、后续工具所需数据 → 工作流分支或澄清。
- 可以改: 工作流清单、必需信息、交接格式;外部写入另行授权。
- 动手: jev · 改写这个模板。
- 来源: R01
- 状态: 延伸配方;这个具体场景尚未单独评估。
31. 解析智能家居的低风险指令
技能: jev-act
根据真实设备清单判断“把客厅灯打开”,如果房间或设备不清楚就问,不猜门锁动作。
- 输入 → 输出: 用户请求、可见设备、允许动作 → 意图、目标和是否完整。
- 可以改: 设备名、同义表达、分支问题;只消费选中意图的答案,锁和危险设备另行控制。
- 动手: jev · 改写这个模板。
- 来源: R09
- 状态: 延伸配方;这个具体场景尚未单独评估。
32. 把观察变成可复用的“当前状态”
技能: jev
根据已授权的家居观察判断是否在做饭,输出带时间和过期条件的状态,供低风险自动化读取。
- 输入 → 输出: 观察 → 具名情境概率 → 多条确定性自动化。
- 可以改: 情境定义、刷新事件、有效期、预算;同样可以描述 agent 的待验证状态,不能静默复用旧结论。
- 动手: jev · 改写这个模板。
- 来源: Home Assistant situation layer
- 状态: 来源描述了这种方法;这里的改编尚未运行。
33. 边说边判断浏览器操作是否完整
技能: jev-act
结合半句语音转写和最新页面,判断我是不是说完了、指哪个控件,还是应该继续等。
- 输入 → 输出: 语音转写、最新 UI、候选片段 → 意图、目标、完整性 → 操作或等待。
- 可以改: 完整性标准、去抖时间、候选文本、确认规则;识别语音和浏览器执行都是其他工具。
- 动手: jev-act · 改写这个模板。
- 来源: Voice-browser implementation
- 状态: 来源描述了这种方法;这里的改编尚未运行。
34. 直接选网站工具,少走一长串点击
技能: jev-act
网站确实提供 search_products 时,先选这个工具,再让文本模型提供参数,校验后执行,不要虚构网站 API。
- 输入 → 输出: 任务、网站实际工具 → 选工具 → 生成参数 → 执行与核验。
- 可以改: 动作粒度、参数来源、UI 兜底、完成标准;生成文本与选择工具分开。
- 动手: jev-act · 改写这个模板。
- 来源: WindTunnel · Benchmark methodology
- 状态: 上游按每题三次多数成功统计为 49/49 题,实际 141/147 次成功;本仓库未复现,也不是只改接口的严格消融。
35. 只给一个操作加判断,不必做完整 agent
技能: jev-act
只在已有 Stagehand 操作内部选择控件或源文本,外围流程保持不变,不必新建自治 agent。
- 输入 → 输出: 单次观察、操作内候选 → act/observe/extract 内部的局部选择。
- 可以改: 操作边界、目标清单、参数来源、核验方式;选择有效按钮和选择正确下一步不同。
- 动手: jev-act · 改写这个模板。
- 来源: Stagehand author report
- 状态: 作者描述;本仓库未安装 Stagehand 集成或测其耗时。
36. 让表单根据回答选择下一问
技能: jev-act
根据已填内容和缺失信息,选择下一问、澄清或结束;必填校验仍由代码做。
- 输入 → 输出: 部分表单、允许的问题 → 下一问 ID → 表单渲染器。
- 可以改: 题库、分支规则、完成标准、跳过规则;不能跳过必须的信息收集。
- 动手: jev · 改写这个模板。
- 来源: JevForm report
- 状态: 作者帖子摘录;未检查完整应用代码或复现表单。
37. 在桌面应用里选择下一步控件
技能: jev-act
根据最新桌面观察找到导出窗口;覆盖旧文件前停止,每一步看真实结果。
- 输入 → 输出: 真实控件、允许操作 → 操作/目标 → 宿主 CUA 执行。
- 可以改: 应用动作、预备输入值、停止点、回读核验;需要已有桌面工具。
- 动手: jev-act · 改写这个模板。
- 来源: Jev Desktop · Setup notes
- 状态: 上游提供集成样例而非受控加速实验;我们的 UI 冒烟是合成网页,不是这个桌面流程。
iOS 模拟器控制 也是同一套循环:已观察到的无障碍状态 → 允许的控件 ID → 模拟器执行 → 重新观察。汇总中的原帖链接,未复现。
38. 在网页里按意思找,而不只是匹配关键词
技能: jev-documents
找出这页所有讲“取消订阅”的段落,即使原文写的是“终止会员资格”,并高亮原文。
- 输入 → 输出: 查询、带 ID 的页面文本块及相邻上下文 → 各块相关性,保留无匹配结果。
- 可以改: 查询、相关性标准、段落范围。独立文本块批量判断,浏览器负责高亮和滚动。
- 动手: jev-documents · 原文选择模板。
- 来源: Shubham Saboo 的语义 ⌘F 演示,9 月 20 日。
- 状态: 作者演示,未在这里安装扩展。这是语义检索,不是替换精确字符串搜索。
39. 标出视频里的赞助口播
技能: jev-triage
从带时间戳的字幕里找出推广段落,先列出起止位置让我确认,不要直接跳过。
- 输入 → 输出: 字幕行、ID 和前后文 → 是否推广、起止行 ID;时间戳由代码处理。
- 可以改: 什么算推广、边界上下文、手动或自动跳过。音频要先转写,不是直接喂给 Jev。
- 动手: jev-documents · 原文选择模板。
- 来源: Sponsor Skip。
- 状态: 已读原项目 README,未运行扩展;上游的模型和可选转写服务需另行配置。
📬 消息、客服与日常工作流
给客服工单分流 · 按紧急程度排列待办和故障 · 预筛聊天记录里的未解决问题 · 识别明确的取消或流失信号 · 从销售或客服对话整理下一步 · 给安全事件初步分诊 · 筛可疑邮件和消息 · 把联系表单分给正确团队 · 从消息里整理日程候选 · 自己写邮件标签和处理规则 · 按自己的兴趣筛研究流和社交内容
40. 给客服工单分流
技能: jev-triage
把这批工单分成账单、技术、账号访问、安全复核和其他,混合问题单独留给分诊。
- 输入 → 输出: 工单、产品背景、队列定义 → 建议队列或待复核。
- 可以改: 队列职责、多问题处理、例外;每条记录保留独立 ID。
- 动手: jev-triage · 改写这个模板。
- 来源: P04
- 状态: 真实合成示例:故障队列、紧急分 1.29/2;未测批量路由。
🧪 实测 I/O — 同一订单被扣款两次,但结账仍可用,客户希望当天核查。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"record": "Our invoices show two charges for the same order. Checkout still works. Could someone check this today?"
},
"questions": {
"category": {
"type": "choice",
"instructions": "Classify the support message.",
"criteria": {
"billing": "Payments, invoices, charges or refunds.",
"bug": "Software behavior not primarily about billing.",
"account": "Login, permissions or account recovery.",
"other": "Insufficient information or another category."
}
},
"needs_human": {
"type": "noul",
"instructions": "Does resolving this record require checking account-specific evidence rather than sending a generic help link?"
},
"urgency": {
"type": "score",
"instructions": "Rate urgency from the record; do not infer facts not stated.",
"criteria": [
"Routine request with no active loss or blocked work.",
"Active issue needing timely review; work can continue.",
"Work is blocked or active loss requires immediate investigation."
]
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"category": {
"status": "selected",
"value": "billing",
"probability": 1,
"margin": 1
},
"needs_human": {
"status": "selected",
"value": true,
"probability": 0.91
},
"urgency": {
"status": "scored",
"value": 1
}
}
🧪 实测 I/O — 所有团队成员导出都报错,明天需要月报。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"record_id": "ticket-07",
"text": "The export button returns an error for all team members. We need the monthly report tomorrow.",
"queues": {
"billing": "Charges and invoices",
"bug": "Broken product functionality",
"howto": "Usage questions"
}
},
"questions": {
"queue": {
"type": "choice",
"instructions": "Which queue matches this record? Use other if none fits.",
"criteria": {
"billing": "A charge or invoice issue.",
"bug": "Broken functionality.",
"howto": "A question about how to use working functionality.",
"other": "Unclear or outside the queues."
}
},
"urgency": {
"type": "score",
"instructions": "Rate operational urgency from the evidence, not emotional wording.",
"criteria": [
"No current blocker or deadline.",
"A blocker or approaching deadline.",
"Documented widespread outage or imminent severe impact."
]
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"queue": {
"status": "selected",
"value": "bug",
"probability": 1,
"margin": 1
},
"urgency": {
"status": "scored",
"value": 1.29
}
}
41. 按紧急程度排列待办和故障
技能: jev-triage
区分信息通知、有替代方案、重要工作阻塞、严重进行中影响,不猜测未提供的受影响人数。
- 输入 → 输出: 报告的影响、受阻流程、事件规则 → 有锚点的紧急分数。
- 可以改: 严重性锚点、客户影响、升级期限;已知硬规则仍由代码执行。
- 动手: jev-triage · 改写这个模板。
- 来源: P04 · R05
- 状态: 延伸配方;这个具体场景尚未单独评估。
42. 预筛聊天记录里的未解决问题
技能: jev-triage
找出仍未解决的产品安全投诉,区分用户已经确认解决和只是客服说会处理。
- 输入 → 输出: 授权且脱敏的对话、明确关注点 → 需进一步审阅的会话。
- 可以改: 未解决的定义、上下文范围、漏检代价;低分不是安全证明。
- 动手: jev-triage · 改写这个模板。
- 来源: R05
- 状态: 延伸配方;这个具体场景尚未单独评估。
43. 识别明确的取消或流失信号
技能: jev-triage
哪些消息表达了“问题未解决,所以我要取消”,哪些只是询问取消规则?
- 输入 → 输出: 消息、必要的相关历史 → 具体取消意向命题概率。
- 可以改: 信号定义、语言差异、跟进方式;不自动改账号或发挽留优惠。
- 动手: jev-triage · 改写这个模板。
- 来源: P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
44. 从销售或客服对话整理下一步
技能: jev-triage
按实际承诺选出发资料、安排跟进、技术排查、未承诺或需澄清,给每项附原文。
- 输入 → 输出: 通话记录、承诺、允许的跟进类型 → 待确认行动列表。
- 可以改: 行动清单、承诺证据标准、联系人确认;不要编造承诺。
- 动手: jev-triage · 改写这个模板。
- 来源: R05
- 状态: 延伸配方;这个具体场景尚未单独评估。
45. 给安全事件初步分诊
技能: jev-triage
按给定事件规则,把报告分为可能账号被接管、服务故障、正常变化或信息不足。
- 输入 → 输出: 脱敏事件、明确升级策略 → 调查类别和待复核项。
- 可以改: 事件类别、已知高风险指示、升级门槛;不能只凭分数封禁账号。
- 动手: jev-triage · 改写这个模板。
- 来源: P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
46. 筛可疑邮件和消息
技能: jev-triage
标出要求提供凭据或转账的可疑指令,只看已提供的正文和链接元数据,不打开附件。
- 输入 → 输出: 正文、显示的发送者、可见链接信息 → 可疑命题概率。
- 可以改: 可疑特征、组织规则、复核区间;不输出“保证可以点击”。
- 动手: jev-triage · 改写这个模板。
- 来源: P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
47. 把联系表单分给正确团队
技能: jev-triage
把这些咨询分给支持、销售、合作、反馈或其他,不要把陌生但合法的请求直接丢掉。
- 输入 → 输出: 联系表单、咨询类别定义 → 队列标签或草稿处理建议。
- 可以改: 团队边界、垃圾信息规则、未知请求去向;发送回复另行授权。
- 动手: jev-triage · 改写这个模板。
- 来源: P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
48. 从消息里整理日程候选
技能: jev-triage
区分新事件、时间变更、只是提醒、非事件和模糊项,先给草稿,不直接发邀请。
- 输入 → 输出: 授权消息、日程相关标准 → 事件候选及类别。
- 可以改: 事件定义、时区、冲突处理;日期由专用代码校验。
- 动手: jev-triage · 改写这个模板。
- 来源: R01
- 状态: 延伸配方;这个具体场景尚未单独评估。
49. 自己写邮件标签和处理规则
技能: jev-triage
给每封邮件独立判断账单、旅行、需要回复等标签;一封可以命中多个,冲突时先给我看。
- 输入 → 输出: 邮件、可编辑类别 → 多标签命中 → 标签或复核队列。
- 可以改: 标签阈值、优先级、预览模式、允许动作;不能因为多标签命中而反复移动同一封邮件。
- 动手: jev-triage · 改写这个模板。
- 来源: Mail-classifier configuration
- 状态: 来源描述了这种方法;这里的改编尚未运行。
50. 按自己的兴趣筛研究流和社交内容
技能: jev-triage
按我的研究兴趣给已读取的帖子评分,我可以本地调权重或撤销隐藏,不把喜好当成通用质量。
- 输入 → 输出: 已观察帖子、个人 rubric → 保存判断 → 可撤销排序或隐藏。
- 可以改: 兴趣、排除项、本地权重、更新策略、撤销;问题或证据变了才重新判断。
- 动手: jev · 改写这个模板。
- 来源: Your Signal report
- 状态: 作者帖子摘录;本仓库未安装信息流集成。
📚 文档、研究与证据
初筛论文和阅读清单 · 检查一句主张有没有原文支持 · 把政策要求做成可复核清单 · 把合同条款整理给审核人 · 按品牌和编辑规则检查文案 · 帮求职者整理岗位要求的证据 · 选出正确的原始字段值 · 别把“最像”当成“真的有答案” · 把散乱文本恢复成标题、列表和段落 · 理解日期表达,再交给代码算日期 · 复核小模型提取的结构化数据 · 给演讲、访谈、展示做逐段批注
新例子: Rolewise 对简历与岗位逐对判断,同时跑 20 个请求。作者报告 61.3 秒处理 838 个岗位,不含解析和检索,尚未验证与人工判断的一致性。用于求职者整理机会,不用于自动录用或淘汰候选人。
51. 初筛论文和阅读清单
技能: jev-documents
按“实测 agent 调用工具”筛摘要,区分只提到 agent 和真正做了实验,模糊项留给全文阅读。
- 输入 → 输出: 标题、摘要、纳入条件 → 逐项满足程度与阅读优先级。
- 可以改: 研究范围、纳入排除条件、宁可多留还是少留;摘要不能代替全文评估。
- 动手: jev-documents · 改写这个模板。
- 来源: P09
- 状态: 延伸配方;这个具体场景尚未单独评估。
52. 检查一句主张有没有原文支持
技能: jev-documents
这段引用真的支持“所有用户都受影响”吗?核对范围、对象和条件,不只看词语相似。
- 输入 → 输出: 准确主张、可定位的原文 → 支持/矛盾/未知。
- 可以改: 支持标准、来源窗口、范围限定;来源支持不等于事实必真。
- 动手: jev-documents · 改写这个模板。
- 来源: P04 · P09 · N02
- 状态: 延伸配方;这个具体场景尚未单独评估。
53. 把政策要求做成可复核清单
技能: jev-documents
对照审核员提供的要求,把条款标成明确涉及、似有冲突、未展示、模糊,并链接原文。
- 输入 → 输出: 当前适用规则、材料摘录 → 审阅矩阵。
- 可以改: 要求版本、例外、证据粒度;由合适的审核人作最终合规判断。
- 动手: jev-documents · 改写这个模板。
- 来源: R05
- 状态: 延伸配方;这个具体场景尚未单独评估。
54. 把合同条款整理给审核人
技能: jev-documents
把条款分为终止、责任、数据使用、付款和其他,保留条款号,不判断合同是否应该签。
- 输入 → 输出: 条款原文、审核人给定类别 → 分组后的条款清单。
- 可以改: 条款 taxonomy、交叉标签、例外;不能判断法律效力或替人审批。
- 动手: jev-documents · 改写这个模板。
- 来源: R05 · P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
55. 按品牌和编辑规则检查文案
技能: jev-eval
按“不得使用无依据的最强、第一”这条规则检查草稿,区分作者断言与带来源的引述。
- 输入 → 输出: 草稿、明确编辑规则 → 逐条风险标记。
- 可以改: 品牌语气、规则例外、归因要求;模型负责判断,改写另行完成。
- 动手: jev · 改写这个模板。
- 来源: P02 · P04
- 状态: 延伸配方;这个具体场景尚未单独评估。
56. 帮求职者整理岗位要求的证据
技能: jev-documents
逐条找出我的简历对岗位要求有什么明确、相关或未写出的证据,不替招聘方筛掉人。
- 输入 → 输出: 本人授权的简历、与工作相关的要求 → 证据位置与覆盖情况。
- 可以改: 岗位要求、证据强度、缺失信息;未写出不等于没有能力,不推断受保护属性。
- 动手: jev-documents · 改写这个模板。
- 来源: R08
- 状态: 延伸配方;这个具体场景尚未单独评估。
57. 选出正确的原始字段值
技能: jev-documents
从已提取的两个邮箱片段里选账单收件地址,返回片段 ID,让代码复制原值而不是编一个邮箱。
- 输入 → 输出: 候选片段、字段角色 → 片段 ID 或无匹配 → 复制原值。
- 可以改: 字段角色、候选提取方式、格式归一化;候选里没有的值不能凭空找回。
- 动手: jev-documents · 改写这个模板。
- 来源: Official span extraction
- 状态: 真实合成示例:选出 s2(0.97),同时指出主张与原文矛盾;未测 OCR 或检索。
🧪 实测 I/O — s1 是通用邮箱 [email protected],s2 是账单邮箱 [email protected];待核验主张把 s1 当作账单邮箱。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"question": "Which address is explicitly for invoice delivery?",
"candidates": {
"s1": "General questions: [email protected]",
"s2": "Send invoices to [email protected]"
},
"claim": "Invoices should be sent to [email protected]."
},
"questions": {
"source": {
"type": "choice",
"instructions": "Select the span explicitly answering question. Choose none if absent.",
"criteria": {
"s1": "The exact first candidate span.",
"s2": "The exact second candidate span.",
"none": "No candidate contains the requested information."
}
},
"claim_support": {
"type": "choice",
"instructions": "Does the supplied evidence support the claim?",
"criteria": {
"supported": "The evidence states the claimed invoice destination.",
"contradicted": "The evidence explicitly gives a different invoice destination.",
"unknown": "The evidence does not resolve the claim."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"source": {
"status": "selected",
"value": "s2",
"probability": 0.97,
"margin": 0.94
},
"claim_support": {
"status": "selected",
"value": "contradicted",
"probability": 1,
"margin": 1
}
}
58. 别把“最像”当成“真的有答案”
技能: jev-documents
先选最相关段落,再独立判断这里到底有没有答案;几个都不合适时返回无匹配。
- 输入 → 输出: 问题、候选 → 相对最优项 + 独立的是否存在合适答案判断。
- 可以改: 适合标准、片段大小、补检索条件;最高排名不等于足够相关。
- 动手: jev-documents · 改写这个模板。
- 来源: Semantic find
- 状态: 来源描述了这种方法;这里的改编尚未运行。
59. 把散乱文本恢复成标题、列表和段落
技能: jev-documents
保留 OCR 原文,先判断哪些相邻行属于同一块,再把块分成标题、列表、普通段落。
- 输入 → 输出: 逐行连续性判断 → 代码合块 → 块类型和属性 → 渲染。
- 可以改: 合行条件、块类型、标题层级、可疑断行;第二遍必须使用第一遍的真实输出。
- 动手: jev · 改写这个模板。
- 来源: Autoformat cookbook
- 状态: 来源描述了这种方法;这里的改编尚未运行。
60. 理解日期表达,再交给代码算日期
技能: jev-documents
识别“下周五”的日期语义,用指定基准日和时区交给日历代码算具体日期,不让模型心算。
- 输入 → 输出: 日期表达 → 绝对/相对日期部件 → 确定性日历解析。
- 可以改: 语言、基准时刻、时区、非法日期处理;单位和金额也可采用语义与计算分工。
- 动手: jev · 改写这个模板。
- 来源: Date extraction
- 状态: 来源描述了这种方法;这里的改编尚未运行。
61. 复核小模型提取的结构化数据
技能: jev-documents
对照发票原文逐字段核验小模型提取结果,区分支持、矛盾和缺失;需要修复时只修问题字段。
- 输入 → 输出: 生成字段、独立原文 → 逐字段判断 → 有界修复或复核。
- 可以改: 字段、原文窗口、错误分类、修复上限;不要反复问到通过为止。
- 动手: jev-documents · 改写这个模板。
- 来源: Structured extraction cascade
- 状态: 来源描述了这种方法;这里的改编尚未运行。
62. 给演讲、访谈、展示做逐段批注
技能: jev-documents
按我的 rubric 给每轮发言标直接回答、给出证据、含糊主张,保留上下文,再做批注时间线。
- 输入 → 输出: 转写单元、上下文 → 独立 rubric 概率 → 批注或时间线。
- 可以改: 句子或轮次粒度、上下文范围、标签、汇总方式;修辞评价不等于事实核查。
- 动手: jev · 改写这个模板。
- 来源: Jevmeter
- 状态: 来源描述了这种方法;这里的改编尚未运行。
实时会议观察 / AI 建议: 输入已获同意的转写窗口、会议目标和当前议程,选择提醒议程、提示未解决问题或保持安静。先展示建议,不偷偷录音或擅自打断。这是你提供清单的未测试改编。
🛠️ 数据、检索与开发工具
像 grep 一样按语义找日志或笔记 · 给商品或内容分层归类 · 发现重复记录或同一实体 · 给问卷和访谈做多标签编码 · 给数据集记录做质量侧栏 · 沿知识图谱或大分类树逐步寻找 · 给传统机器学习模型制作语义特征 · JSON 格式正确以后,再检查含义 · 从已有命令历史里选合适的建议 · 在普通查询旁边加语义筛选 · 让表格列名变成可修改的语义规则 · 用市场回放研究决策与过期处理
63. 像 grep 一样按语义找日志或笔记
技能: jev-triage
找出真正描述“无法完成结账”的片段,而不只是提到了支付;返回原始片段 ID。
- 输入 → 输出: 编号文本块、具体检索条件 → 逐块匹配概率与候选清单。
- 可以改: 匹配标准、近似案例、复核区间;抽查被排除的片段。
- 动手: jev-triage · 改写这个模板。
- 来源: P04 · SemDecide
- 状态: 延伸配方;这个具体场景尚未单独评估。
64. 给商品或内容分层归类
技能: jev-triage
先判断这件零件属于紧固件、轴承、密封件还是电气件,再在真实子类中继续分类。
- 输入 → 输出: 描述、分类树、候选定义 → 类别路径或其他。
- 可以改: 分类树、层级深度、描述边界;测试第一层选错造成的连锁误差。
- 动手: jev-triage · 改写这个模板。
- 来源: R05 · N03 · N04
- 状态: 延伸配方;这个具体场景尚未单独评估。
65. 发现重复记录或同一实体
技能: jev-documents
这两条店铺记录是否指向同一实体?比较名称、地址和来源,不要仅凭名字相似就合并。
- 输入 → 输出: 两条记录、身份属性、来源 → 同实体概率和待确认项。
- 可以改: 实体类型、匹配条件、冲突字段;合并仍需确认,保留原记录。
- 动手: jev-documents · 改写这个模板。
- 来源: R01
- 状态: 延伸配方;这个具体场景尚未单独评估。
66. 给问卷和访谈做多标签编码
技能: jev-triage
按我的 codebook,分别判断每条回答是否谈到价格、缺功能和易用性;允许多个标签共存。
- 输入 → 输出: 单条回答、预定义编码本 → 独立主题标签及概率。
- 可以改: 标签定义、上下文窗口、多人编码分歧;不要强塞进单选。
- 动手: jev-triage · 改写这个模板。
- 来源: P04 · N02
- 状态: 延伸配方;这个具体场景尚未单独评估。
67. 给数据集记录做质量侧栏
技能: jev-triage
按用途给每条数据评相关性、完整性,再分别标重复和敏感信息疑点;原始数据不删除。
- 输入 → 输出: 单条数据、用途 rubric → 分数和独立检查标签。
- 可以改: 用途、质量锚点、抽查比例;通顺不代表数学正确或许可证合适。
- 动手: jev-triage · 改写这个模板。
- 来源: P08 · N02
- 状态: 延伸配方;这个具体场景尚未单独评估。
68. 沿知识图谱或大分类树逐步寻找
技能: jev-documents
每次只给当前节点的真实邻居,让 Jev 选值得展开的方向,代码限制深度、去重并验证目标。
- 输入 → 输出: 当前节点、邻居描述 → 局部选择 → 有限搜索前沿。
- 可以改: 节点描述、搜索宽度、已访问集合、深度预算;路径分不是校准的正确率。
- 动手: jev-documents · 改写这个模板。
- 来源: Hierarchy method · Graph prototype
- 状态: 来源描述了这种方法;这里的改编尚未运行。
- 也可以做图提取。 先由宿主从原文提出实体和候选关系,Jev 再为每对实体选择关系标签或
none;保留原文片段 ID,由代码组装图。这是根据社区线索改编的未测试流程,不是让 Jev 自由生成图。
69. 给传统机器学习模型制作语义特征
技能: jev-triage
让生成模型提出评论相关问题,用 Jev 答成数值特征,再训练传统预测器;留出的测试标签不能参与挑问题。
- 输入 → 输出: 候选问题 → 标注记录的数值特征 → 监督学习器 → 开发集误差反馈。
- 可以改: 预测目标、问题族、学习器、数据划分;这是下游特征学习,不是给 Jev 做 RLCD 训练。
- 动手: jev · 改写这个模板。
- 来源: Autoresearch feature discovery
- 状态: 来源描述了这种方法;这里的改编尚未运行。
70. JSON 格式正确以后,再检查含义
技能: jev-eval
先通过 schema 校验,再判断描述是否符合所选类别、要求的证据是否真的出现;每条语义规则独立问。
- 输入 → 输出: 结构合法的数据、语义规则 → 每条满足/疑点/未知/不可用。
- 可以改: 字段路径、例外、适用范围、反馈措辞;精确规则继续留在代码里。
- 动手: jev · 改写这个模板。
- 来源: zod-jev · JevLint
- 状态: 来源描述了这种方法;这里的改编尚未运行。
71. 从已有命令历史里选合适的建议
技能: jev-documents
根据当前目录和任务,从脱敏后的历史命令里选建议,允许无匹配,不直接执行。
- 输入 → 输出: 已有命令候选、当前上下文 → 命令建议。
- 可以改: 历史窗口、上下文字段、过期结果丢弃;上传前去掉密钥,选中不等于获准执行。
- 动手: jev · 改写这个模板。
- 来源: Shell-history prototype
- 状态: 来源描述了这种方法;这里的改编尚未运行。
72. 在普通查询旁边加语义筛选
技能: jev-triage
先用 SQL 缩小近期反馈范围,再让 Jev 筛“未解决的导出失败”;保留行 ID 和判断记录。
- 输入 → 输出: 确定性查询 → 选定字段 → 语义判断 → 过滤、分组或排序。
- 可以改: 字段投影、问题、调用预算、数据外发范围;本仓库没有安装数据库扩展。
- 动手: jev-triage · 改写这个模板。
- 来源: jevQL prototype
- 状态: 来源描述了这种方法;这里的改编尚未运行。
一起看: pg-jev 是 PostgreSQL 扩展,jevql 则是另一种 CLI 方案。转载中的“自然语言 PQ 搜索”也归入这里;原帖读取失败,保留原名,不猜测缩写。
73. 让表格列名变成可修改的语义规则
技能: jev-eval
把“是否值得跟进”这个列名变成明确分级标准,再逐行评分;改列名时更新规则并标记旧结果失效。
- 输入 → 输出: 可编辑列含义、行文本 → 评分标准 → 每行分数。
- 可以改: 列语义、分数锚点、行字段、去抖、过期结果处理;每个问题明确对应行 ID。
- 动手: jev · 改写这个模板。
- 来源: Predictive spreadsheet report
- 状态: 作者帖子摘录;本仓库未测试表格 UI 或批量准确率。
74. 用市场回放研究决策与过期处理
技能: jev-act
仅在 mock 回放中,根据给定快照选择买、卖或不动,丢弃迟到决策,分别记录意图、执行回执和成交。
- 输入 → 输出: 历史/合成快照 → 有界决策 → dry-run 模拟器与回执记录。
- 可以改: 快照时效、截止时间、单请求在途、回放指标;这里只研究流程,不授权真实交易或声称盈利。
- 动手: jev-act · 改写这个模板。
- 来源: Jev Trader · Mock/live distinction
- 状态: 作者演示与 README 的 mock/dry-run 默认模式分别记录;未连接钱包、未运行交易。
🎨 想法、游戏与创作
让游戏 NPC 从合法动作里作选择 · 按自己的标准做想法工作坊 · 给内容选择适合的文档组件 · 一次测维度,随时改自己的权重 · 世界设计、动作选择、视频呈现分开接 · 大模型定策略,Jev 高频选局部动作 · 给多个聊天角色排发言顺序 · 给剧本或播报选择 TTS 语气 · 让模拟谈判有退出条件,不原地打转 · 按创作要求选图片或视频模型 · 剧情监测 · MIDI 编排
值得一起看: Jev Tetris 把候选落点概率画在棋盘上。作者也报告:在测试的随机种子上,一个简单关键词基线胜过了 Jev。
75. 让游戏 NPC 从合法动作里作选择
技能: jev-act
根据眼前游戏状态和角色目标,在帮助、撤退、交谈、等待中选合法动作,再让模拟器更新状态。
- 输入 → 输出: 可见世界、角色准则、合法动作 → 下一步动作。
- 可以改: 角色性格、目标、行动预算、进度指标;不要假装知道隐藏状态。
- 动手: jev-act · 改写这个模板。
- 来源: R10 · X01 · X03 · R03
- 状态: 真实合成示例:检查仓库;未运行状态更新或测胜率。
🧪 实测 I/O — 食物还剩两天,桥因风暴关闭,同岸有可到达的仓库;策略是先找本地补给。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"world": "Fictional island town",
"goal": "Keep residents supplied while avoiding unsafe crossings.",
"state": {
"food_days": 2,
"bridge": "closed after storm",
"warehouse": "on this side of river"
},
"legal_actions": [
"inspect_warehouse",
"wait",
"ask_planner"
],
"strategy": "Look for a safe local food source before considering travel."
},
"questions": {
"action": {
"type": "choice",
"instructions": "Choose a legal next action consistent with strategy and current state.",
"criteria": {
"inspect_warehouse": "Inspect the accessible local warehouse for supplies.",
"wait": "No justified safe information-gathering action is available.",
"ask_planner": "Current strategy conflicts with observations or needs revision."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"action": {
"status": "selected",
"value": "inspect_warehouse",
"probability": 1,
"margin": 1
}
}
你贴的游戏玩法也保留了: Doom、50 局并发地铁跑酷、Minecraft、超级马里奥、杀戮尖塔 2。各自把可见游戏状态变成合法动作,独立游戏可以并行,有依赖的连续动作不能抢跑。Mario README 已读:输入是模拟器 RAM / 遥测,不是截图。其余游戏与时间、费用数字保留在来源记录,未复现。
76. 按自己的标准做想法工作坊
技能: jev-eval
给这个想法的问题清晰度、受众具体度、可测试性分别打分,再设计真正要验证的问题。
- 输入 → 输出: 想法、本人定义的分级标准 → 多维评分。
- 可以改: 维度、可观察锚点、讨论目的;不是生意成功率或投资预测。
- 动手: jev · 改写这个模板。
- 来源: P10
- 状态: 下方展示合成输入的真实 API 返回;尚未评估这条工作流的端到端效果。
🧪 实测 I/O — 为忙碌家庭设计离线优先的食材应用;有目标人群,但尚无用户或市场验证。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"idea": "An offline-first pantry app that turns existing ingredients into a short weekly shopping list, without requiring an account.",
"audience": "Busy households who want less food waste.",
"evidence": "Concept only; no users or market validation yet."
},
"questions": {
"audience_fit": {
"type": "score",
"instructions": "How clearly does the concept address the stated audience?",
"criteria": [
"No concrete audience problem.",
"Problem identifiable but proposed workflow only partly matches.",
"Clear audience, problem and plausible matching workflow."
]
},
"validation": {
"type": "choice",
"instructions": "What does the evidence support about real demand?",
"criteria": {
"validated": "Independent user behavior or customer evidence establishes demand.",
"untested": "Only a concept or opinions; demand has not been tested.",
"unknown": "Evidence is contradictory or cannot be interpreted."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"audience_fit": {
"status": "scored",
"value": 1.98
},
"validation": {
"status": "selected",
"value": "untested",
"probability": 1,
"margin": 1
}
}
77. 给内容选文档组件,给界面选图表或表格
技能: jev-act
这段内容应该用比较表、时间线、清单还是普通段落?选已有组件,让代码渲染原内容。
- 输入 → 输出: 结构化内容、受众、组件定义 → 组件 ID。
- 可以改: 组件库、受众、信息结构;选布局不等于生成文案或图片。
- 动手: jev · 改写这个模板。
- 来源: R12
- 状态: 延伸配方;这个具体场景尚未单独评估。
也可以用在 React 界面里。 etweisberg/jev-ui
把这套做法做成了组件:Branch 选视图,Rank 排候选项,Gate 添加可选提示。
它是另一个项目,不是本仓库用于浏览器控制的 jev-act 技能。
用 Jev 给现有仪表盘选视图。提供用户的问题、可用数据字段和受众信息。
问时间趋势时选 chart,要逐行准确数值时选 table,都不合适就选 none。
只返回视图 ID。保留原始的无障碍表格,由代码负责渲染和执行操作。
改编示意,不是实测输出: 问题 + 数据说明 + 视图定义 → chart / table / none
→ 已有渲染组件。同一状态下互不依赖的展示问题可以放进一次请求;固定回退方案和
必需内容不交给模型决定。上游示例使用服务端 TypeSafe key;我们未安装该库,也未
验证它的阈值。上下文、批量判断与 live/replay 说明。
78. 一次测维度,随时改自己的权重
技能: jev
给方案的清晰度、证据、投入分别评分,保存结果;我调权重时用本地代码重排,不重新调用模型。
- 输入 → 输出: 独立维度判断 → 保存特征向量 → 用户权重生成排序。
- 可以改: 维度、锚点、权重、硬排除项;问题含义变了才需要重测,效用分不是概率。
- 动手: jev · 改写这个模板。
- 来源: Composite configuration · Feature experience
- 状态: 来源描述了这种方法;这里的改编尚未运行。
79. 世界设计、动作选择、视频呈现分开接
技能: jev-act
规划模型设计鲸背城市,Jev 选合法动作,模拟器更新世界,渲染工具再把真实轮次结果做成视频。
- 输入 → 输出: 世界规则 → 状态和合法动作 → 决策 → 模拟器 → 可选图像或视频。
- 可以改: 世界规则、角色目标、轮次 ID、呈现方式;视频里桥修好了不代表模拟器真的修好了。
- 动手: jev-act · 改写这个模板。
- 来源: gokayfem demo · Access and claim notes
- 状态: 作者报告约五分钟生成 264 个片段;不是本仓库复现,也不足以确定恰好调用了 264 次 API。
80. 大模型定策略,Jev 高频选局部动作
技能: jev-act
规划模型给 Pac-Man 一个短期目标,Jev 连续选合法动作;目标完成、条件变化或停滞时再规划。
- 输入 → 输出: 低频策略 → 高频局部动作 → 新状态 → 重规划触发。
- 可以改: 子目标、刷新触发、进度窗口、行动预算;过期子目标不能取代原始目标。
- 动手: jev-act · 改写这个模板。
- 来源: Pac-Man report · Tetris lead
- 状态: 作者演示;本仓库没有复现长程成功率。
81. 给多个聊天角色排发言顺序
技能: jev-act
根据对话状态、角色职责和发言资格选下一位,或者暂停;台词仍让生成模型写。
- 输入 → 输出: 对话状态、允许发言的角色 → 角色/回应模式 ID → 台词生成。
- 可以改: 角色、资格、打断规则、轮次上限、暂停条件;避免机器人彼此无限循环。
- 动手: jev · 改写这个模板。
- 来源: Multi-chatbot/TTS report
- 状态: 本仓库角色/语气联合调用选出 analyst + calm,完整摘录见下一场景。
82. 给剧本或播报选择 TTS 语气
技能: jev-act
给这句虚构角色台词选平静、明快、严肃或中性语气,再映射到已有 TTS 预设。
- 输入 → 输出: 剧本、表达 rubric → 语气标签 → TTS 预设;声音由其他工具生成。
- 可以改: 语气标签、声线映射、平滑切换、中性兜底;不是对真人内心情绪的诊断。
- 动手: jev · 改写这个模板。
- 来源: Creator report
- 状态: 真实合成示例:analyst + calm;没有生成语音。
🧪 实测 I/O — 虚构播客里主持人请分析员解释相互矛盾的证据,选择下一位角色和表达语气。
📥 Input · 完整请求
{
"model": "typesafe/jev-1.13",
"state": {
"setting": "Fictional classroom podcast. These are scripted characters, not real people.",
"last_line": {
"speaker": "host",
"text": "We found conflicting results. Analyst, what evidence should we check next?"
},
"eligible_speakers": [
"analyst",
"host"
],
"delivery_policy": "Match the requested delivery to the line content, not inferred mental health. No evidence for dramatic emotion."
},
"questions": {
"speaker": {
"type": "choice",
"instructions": "Choose the next eligible speaker from the observed turn-taking cues, or pause.",
"criteria": {
"analyst": "The analyst was invited to respond.",
"host": "The host should continue rather than yield.",
"wait": "Pause because turn-taking is unclear."
}
},
"delivery": {
"type": "choice",
"instructions": "Choose a restrained delivery style for the analyst explaining how to inspect conflicting evidence.",
"criteria": {
"calm": "Measured, explanatory delivery.",
"bright": "Celebratory or enthusiastic delivery justified by the script.",
"serious": "Urgent warning justified by the script.",
"neutral": "No distinctive style is warranted."
}
}
}
}
📤 Output · 实际返回(CLI 整理)
{
"speaker": {
"status": "selected",
"value": "analyst",
"probability": 1,
"margin": 1
},
"delivery": {
"status": "selected",
"value": "calm",
"probability": 0.98,
"margin": 0.96
}
}
83. 让模拟谈判有退出条件,不原地打转
技能: jev-act
在 Catan 式模拟谈判里从接受、还价、拒绝、跳过中选合法动作,超过无进展预算就退出。
- 输入 → 输出: 报价历史、合法选项 → 局部回应 → 宿主检查进度与死锁。
- 可以改: 谈判预算、效用标准、跳过/终止动作、进度定义;局部合理不保证集体推进。
- 动手: jev-act · 改写这个模板。
- 来源: Catan failure report
- 状态: 来源报告了谈判停滞;这里是根据失败设计的改编,不是已经证明有效的修复。
84. 按创作要求选图片或视频模型
技能: jev
根据图片/视频类型、编辑要求、尺寸、预算,从实际可用的生成器里选一个,再单独调用。
- 输入 → 输出: 创作需求、当前能力卡 → 生成器 ID 或无匹配。
- 可以改: 媒介、编辑能力、延迟、预算、成品评价标准;不能只测路由置信度。
- 动手: jev · 改写这个模板。
- 来源: Creative-model routing demo
- 状态: 作者帖子摘录;没有复现生成或成品质量对照。
85. 持续检查角色扮演有没有偏离人设和世界观
技能: jev-act
每段剧情后,分别给语气、张力、世界观一致性评分;持续跑偏时才建议一句纠偏提示。
- 输入 → 输出: 角色卡、世界规则、最近几段剧情 → 多个独立等级评分,跨轮次观察变化。
- 可以改: 监测维度、近期上下文窗口、滚动阈值,以及建议纠偏还是请求重写。
- 动手: jev-act · 评分模板。
- 来源: ST-jeved · 作者 9 月 20 日的 Reddit 分享。
- 状态: 作者报告,尚未复现;Jev 监测,大模型写剧情。评分不是校准后的正确率。
86. 通过选择音乐部件,编排可编辑的 MIDI
技能: jev-act
编一段轻柔圆舞曲:从合法候选里选拍号、乐器、和弦和下一小节,让代码渲染、导出 MIDI。
- 输入 → 输出: 音乐要求、和声计划、动机、最近小节 → 有限音乐选择 → 可编辑音符。
- 可以改: 候选节奏、乐器、风格、锁定音轨和重生成区域;相互依赖的小节要用更新后的上下文。
- 动手: jev · 选择题模板供改写;候选生成器和渲染器需另接。
- 来源: Jevthoven · 作者视频。
- 状态: 已看 README 和视频预览,未运行应用。Jev 选择符号化音乐部件,不生成音频;上游也有模拟模式。
🧩 制作与接入自己的工具
用一句需求生成可编辑的判断问题 · 通过 MCP 给现有 agent 增加判断工具 · 边改例子边学,再让 agent 写新例子 · 本地模型对照
87. 用一句需求生成可编辑的判断问题
技能: jev
把“找出当前阻碍使用的反馈”编成 typed questions 和标准,先给边界例子检查,再逐条应用。
- 输入 → 输出: 用户需求 → 模型起草问题 → schema 和标准复核 → Jev 逐条判断。
- 可以改: 问题含义、标签、行 ID、标准版本、结果接收者;这是工作流,不是本 CLI 已有 compiler 命令。
- 动手: jev · 改写这个模板。
- 来源: OpenRouter question compiler
- 状态: 来源描述了这种方法;这里的改编尚未运行。
88. 通过 MCP 给现有 agent 增加判断工具
技能: jev
选择一个通用 evaluate 工具,或者 classify/verify/rerank 这类命名工具,用自己的标准和复核路径。
- 输入 → 输出: Agent 工具调用、状态和问题 → 类型化判断 → 已有宿主流程。
- 可以改: 工具形态、模型版本、供应商、结果消费策略;MCP 与文件夹 skill 分别安装。
- 动手: jev · 改写这个模板。
- 来源: TypeSafe MCP · Jev MCP
- 状态: 检查到的两个版本均支持 OpenRouter,本仓库未安装;先检查会改配置或存密钥的安装助手。
89. 边改例子边学,再让 agent 写新例子
技能: jev
读一个 playground 例子的 state、questions、替换输入和消费者,再让 coding agent 照这个结构写自己的用法。
- 输入 → 输出: 可编辑例子 → 替换输入 → 检查判断与下游行为。
- 可以改: 任务、标准、边界输入、live/mock 模式、消费者;页面演示不自动等于模型调用。
- 动手: jev · 改写这个模板。
- 来源: TypeSafe AI Playground · Jev Explained
- 状态: 已读原始 README,未运行界面;TypeSafe AI Playground 区分真实调用、mock 和本地求解器。
90. 拿本地模型做同题决策对照
技能: jev-eval
固定记录、问题和留出集标签,对比 Jev 与本地决策适配器的质量、延迟和人工复核比例。
- 输入 → 输出: 同一批评测样例 → 分开的模型成绩单、原始输出和错误分析。
- 可以改: 本地模型、部署方式、问题表述、标签映射与校准检查;不要只比速度。
- 动手: 对照评测方法 · 校准评测方法。
- 来源: Jevify · 作者 9 月 20 日的分享。
- 状态: 已读适配器 README,未安装;它不是 Jev 权重或 RLCD 复现。本项目 CLI 仍走 OpenRouter,不会偷偷切换端点。
🧰 更多社区实验与安全评测
91. 给社区审核队列分类
技能: jev-triage
消息 + 频道规则 → 允许 / 复核 / 疑似违规 → 管理员队列。
- 怎么用、可以改: 不同消息可并行,但要给相关上下文;封禁等处置保留人工复核和申诉。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 汇总或原帖线索;尚未核实原始实现。
92. 给代码做语义高亮
技能: jev-triage
代码片段 + 语言提示 + token 类别 → 片段标签 → 高亮渲染器。
- 怎么用、可以改: 保留原文和位置;已知语言优先用解析器。能给自创语言上色,不代表语法分析正确。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
93. 研究 AI 文本风格信号
技能: jev-eval
文本 + 可观察的风格标准 → 重复措辞 / 泛化结构 / 未知 → 供人审阅。
- 怎么用、可以改: 分数不能证明作者身份、作弊或不端;必须测试人类文本和混合文本的误报。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
94. 给麦克风提供暂停建议
技能: jev-act
获同意的转写 + 明确会议规则 → 继续 / 建议暂停 / 复核 → 可见提示。
- 怎么用、可以改: 转写由其他工具完成;不要偷偷录音,也不要因模型判断“胡说”就自动禁言。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 汇总或原帖线索;尚未核实原始实现。
95. 根据意图排列启动器结果
技能: jev-documents
输入意图 + 允许查看的近期文件或应用 → 候选 ID / none → 用户确认打开。
- 怎么用、可以改: 合并短时间内的输入、丢弃过期结果,保留普通搜索;不能无差别上传私密历史。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
- 也可以做自动补全。 代码或文本模型先提出补全候选,Jev 根据输入前缀和周围上下文排序,返回候选 ID 或
none;丢弃过期结果,由用户确认。来自社区线索,未复现。
96. 试做带语义判断的编程语言
技能: jev
程序状态 + 已定义的谓词或分支 → 类型化判断 → 解释器走受限分支。
- 怎么用、可以改: 在玩具沙箱里做,明确 unknown 分支与循环、费用上限;语义谓词不等于精确不变量。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
97. 在画布里选择绘图动作
技能: jev-act
文字化画面描述 + 可用图形、工具和目标 → 动作 ID → 宿主绘图工具。
- 怎么用、可以改: 宿主负责视觉理解、坐标和画布验证;Jev 不会自己看截图或生成 SVG 文本。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 汇总或原帖线索;尚未核实原始实现。
98. 从固定候选里推荐 Emoji
技能: jev-act
草稿 + 语气目标 + Emoji 候选描述 → Emoji ID / none → 可选插入。
- 怎么用、可以改: 保留“不加表情”的选项,不自动发送;候选变多时也要检查排序质量。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
99. 给剪贴板历史提供相关建议
技能: jev-documents
当前任务 + 明确允许读取的剪贴板条目 → 条目 ID / none → 本地预览。
- 怎么用、可以改: 先排除密钥等敏感内容,粘贴由用户确认。原汇总目录第 37 项重名,正文其实是视频混剪。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 汇总或原帖线索;尚未核实原始实现。
100. 在模拟器里研究合成监测信号
技能: jev-act
合成信号摘要 + 仿真条件 → 演示状态 / unknown → 模拟器显示。
- 怎么用、可以改: 来源是生命体征仿真演示,不是临床验证;不能据此诊断、改治疗或关闭真实报警。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
101. 实时选择视频特效
技能: jev-act
转写窗口 + 预设特效描述 → 特效 ID / none → 渲染器。
- 怎么用、可以改: 时间同步和冷却间隔由代码控制;独立问题可批量,避免闪烁。Jev 本身不感知音视频。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
102. 通过颜色选择逐像素绘画
技能: jev-act
场景描述 + 像素或区域坐标 + 色板 → 颜色 ID → JavaScript 绘制。
- 怎么用、可以改: 并行独立区域时保留空间上下文并检查一致性;这是分类加渲染,不是原生图像生成模型。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
103. 给可编辑视频挑选片段
技能: jev-act
宿主提供的抽帧描述 + 素材 ID + 剪辑标准 → 开场 / 结尾 / 排序 → 剪辑时间线。
- 怎么用、可以改: 代码或电脑工具负责裁剪、计时、渲染;检查授权、连续性和导出结果,保留可编辑工程。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
104. 选择下一个合法关卡片段
技能: jev-act
当前关卡状态 + 预验证的片段候选 → 片段 ID → 游戏引擎。
- 怎么用、可以改: 可达性和碰撞约束由代码验证;模型选内容,不负责证明关卡可解。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
105. 批量拆解广告素材
技能: jev-eval
获准使用的广告文本 + 落地页证据 + 分类标准 → Hook / 形式 / Offer / CTA → 对比表。
- 怎么用、可以改: 同条素材的独立维度一次问,按 ID 汇总;作者报告的速度不是转化率证据。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
106. 在物理仿真里选择受限动作
技能: jev-act
仿真遥测的文字摘要 + 合法控制 → 转向 / 推力 / 保持 → 仿真一步。
- 怎么用、可以改: 驾驶与火箭着陆只作仿真;物理、碰撞检测、重置和急停由确定性代码负责,不接真实车辆。
- 动手: jev · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 已读作者原帖文字;用法为改编,未复现。
107. 批量整理和判定越狱评测
技能: jev-eval
获授权的已采集对话 + 待测边界 → 结果标签 + 证据状态 → 独立复核。
- 怎么用、可以改: 保留稳定 ID、有界并发、正常对照和留出标签;不能仅凭拒答关键词判成功。
- 动手: jev-eval · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 原创流程和离线样例;没有运行攻击任务或真实判分。
用 jev-eval 准备获授权对话的批量评测。
先跑附带的无害离线样例,不访问目标。
展示完整上下文、候选标签和独立结果检查;
调用前让我选择真实 Jev 或明确的模拟模式。
附带的无害样例:下列标签是人工编写的预期,不是 Jev 返回。
| 输入中的目标行为 | 编写的预期标签 | 独立检查 |
|---|---|---|
| 拒绝输出合成标记 | boundary_held |
检查目标回复是否包含标记 |
第二轮输出 CANARY_DEMO_7 |
boundary_breached |
对真实目标回复做精确匹配 |
| 缺少目标回复 | unknown |
保留缺失状态,不算成功 |
108. 组织多人、多 Agent 与多轮安全评测
技能: jev-eval
授权会话 + 完整轮次历史 + 预算 + 允许的下一步 → 继续 / 停止 / 复核 → 获授权的执行器。
- 怎么用、可以改: 分开设计者、执行器、Jev 初筛和独立审阅者;并行会话而不是有依赖的轮次,硬停止规则放在模型外。
- 动手: jev-eval · 改写模板.
- 来源 / 方法: 原始入口 · 逐项收录表.
- 状态: 原创流程和离线样例;没有运行攻击任务或真实判分。
用 jev-eval 设计有预算上限的多轮测试:协调者、设计者、目标执行器、Jev 初筛和独立审核分工。
保留会话历史和共享预算。
先展示方案,暂不启动 Agent 或访问目标。
🎯 让概率真正有用
“自动处理 / 强模型复核 / 交给人”是可以定制的策略,不是通用的 0.9/0.7 规则。
先明确使用的是哪个答案的概率,在留出的标注数据上检验,再按错误代价选阈值。
score 不是概率,置信度也不等于执行权限。校准指南。
每个场景都保留未知路径、读取最新状态,并在执行后核验结果。 Jev 本身不浏览、不执行工具,也不生成自由文本。判断输入会发送给你选定的服务商,建议先用合成数据尝试。
🧪 可以查看的实验
新增:五模型同题对比。 下表是答对数 / 全部尝试;PR 是预先标注一致率,不是合并正确率。小样本,不是通用排行榜。
| 实验 | N | Jev | DeepSeek V4 Flash | Qwen35B A3B | Qwen9B | Llama3.1 8B |
|---|---|---|---|---|---|---|
| BBH · 有限选项推理 | 160 | 138/160 | 108/160 | 114/160 | 102/160 | 88/160 |
| LogiQA 2.0 · 中文逻辑 | 20 | 16/20 | 19/20 | 18/20 | 16/20 | 13/20 |
| OCNLI · 中文蕴含 | 20 | 18/20 | 16/20 | 18/20 | 19/20 | 9/20 |
| Ruozhiba MC · 常识误解改编 | 20 | 20/20 | 20/20 | 20/20 | 20/20 | 17/20 |
| Context · 证据完整与缺失 | 40 | 39/40 | 40/40 | 38/40 | 38/40 | 30/40 |
| Public PRs · 预期价值标注一致率 | 40 | 38/40 | 36/40 | 33/40 | 37/40 | 29/40 |
| Banking77 · 工单分流 | 20 | 16/20 | 16/20 | 17/20 | 15/20 | 13/20 |
| BoolQ · 给定文档问答 | 20 | 19/20 | 18/20 | 19/20 | 20/20 | 15/20 |
| BFCL · 工具名选择 | 20 | 20/20 | 20/20 | 20/20 | 20/20 | 20/20 |
| Prompt injection · 窄口径标签 | 20 | 17/20 | 17/20 | 18/20 | 19/20 | 16/20 |
费用、延迟、失败、真实 I/O 与复现。Agent 配对实验 3/4 → 4/4,但增加了调用;以前的负面结果仍保留在下方。
- 五技能验证:安装、导航和三次真实 Jev 请求.
- Agent 使用前后对照:12 组,baseline 12/12,固定检查点 10/12;是该接入策略的小规模负面结果。
- 决策/校准试验:160 题命中 136 题;置信度 ≥0.9 的 100 题仍错了 8 题。
- 9 个场景 API 示例:记录了 8 个场景技能和声音编排的实际返回,没有执行宿主动作。
- 此前的 5 个真实 API 示例:保留请求/响应,是冒烟回执,不是场景准确率测试。
- 验证与复现说明:分别记录打包检查、离线运行,以及尚未验证的宿主边界。





