L-Forster/open-jet

L-Forster/open-jet has 139 GitHub stars and 16 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-09 17:44 UTC. Last push 2026-11-01.

这些数字如何统计

An offline coding agent for local models. One command sets up the best model your GPU can run, and on 24 GB+ RTX 30/40/50-series cards Qwen3.8-27B runs up to 1.9x faster than llama.cpp.

139 星标 16 forks

实测星标增长

24小时: 0
7天: 更新延迟
15天: 更新延迟
1个月: 更新延迟

各周期内的星标净变化，周期相互重叠，并非每日新增。缺失的测量保持空白。星标代表关注度，不代表软件质量。

README.zh-CN.md

原文

在你自己的 GPU 上运行 Qwen3.8-27B，速度是 llama.cpp 的 1.5 倍。

适用于 24 GB 显存的 NVIDIA RTX 30、40 和 50 系列显卡。可配合 Claude Code、Codex、OpenCode、OpenClaw 或 OpenJet 自带的智能体使用。可离线运行。

速度 · 安装 · 硬件 · 编程工具 · 4 个智能体 · 文档

English · 简体中文

https://github.com/user-attachments/assets/e91b1cd1-d8fe-4657-b2b1-5e44a71592bf

速度

RTX 3090，Qwen3.8-27B Q4_K_M	llama.cpp	OpenJet
开启思考，短提示词	60 tok/s	92 tok/s（1.5 倍）
开启思考，上下文中有 98K token	37 tok/s	79 tok/s（2.2 倍）
读取 98K token 的提示词	112 秒	82 秒（1.4 倍）
贪心解码，4 个提示词的平均值	63 tok/s	107 tok/s（1.7 倍）
贪心解码，写代码	73 tok/s	140 tok/s（1.9 倍）
读取 2-8K token 的提示词	1050-1140 tok/s	1530-1600 tok/s

一块 RTX 3090 上的单个对话，不是批处理。
llama.cpp b11982 使用相同的参数，包括 MTP 投机解码。
第 1-3 行：当前引擎，思考强度 xhigh，温度 1.0，5 个提示词 x 4 个随机种子，以及一个 98K token 的提示词 x 4 个随机种子（run_compare.sh）。其余几行：较早的引擎版本。
在相同权重下与 llama.cpp 输出一致：KL 散度 0.0009，首选 token 一致率 99.08% （结果）。

24 GB 显卡上的上下文：约 120K token，使用 openjet setup --long-context 时约 234K （KV 缓存预设）。

安装

pip install open-jet
openjet setup      # 检测你的 GPU，下载模型和适配该 GPU 的 OpenJet 预编译引擎
openjet            # OpenJet 自带的编程智能体
openjet serve      # 或者把模型提供给 Claude Code、Codex、OpenCode 或 OpenClaw 使用

更多：docs/zh/installation.md

硬件要求

Linux，以及 24 GB 显存的 NVIDIA RTX 30、40 或 50 系列 GPU（sm_86、sm_89、sm_120），驱动 570 或更新版本。 openjet setup 会下载为你的 GPU 预编译好的 OpenJet 引擎（具体是哪一个）。

更多：docs/zh/installation.md

一块 GPU 上跑 4 个编程智能体

https://github.com/user-attachments/assets/0df36ad0-b484-463e-a4f7-530e5a768cd9

最多 4 个智能体在同一次权重遍历中一起解码：在 RTX 3090 上，短上下文时总速度约 290 tok/s，运行真实编程智能体时为 150-200 tok/s。

更多：docs/zh/features.md

你的 GPU 上的结果

openjet bench --github <你的用户名> 用固定的工作负载测试你的显卡。把生成的文件通过 pull request 提交到 benchmarks/community/（测试内容说明）。已提交的结果见英文 README 中的表格。

配合你的编程工具使用

openjet serve 支持 Anthropic Messages、OpenAI Responses 和 OpenAI Chat Completions 三种 API； openjet connect claude-code（或 codex、opencode、openclaw）会打印对应的配置。

更多：docs/zh/features.md