Skip to content
项目

Fangyuan025/Chaty has 58 GitHub stars and 9 forks. GitHot measured 0 stars in 24 hours and +1 in 7 days. Last checked 2026-11-15 21:13 UTC. Last push 2026-11-05.

这些数字如何统计

实测星标增长

24小时
0
7天
+1
15天
更新延迟
1个月
更新延迟

各周期内的星标净变化,周期相互重叠,并非每日新增。缺失的测量保持空白。星标代表关注度,不代表软件质量。

关于

The models on your disk, put to work. A private desktop app for open models — chat, a coding agent built for small models, text-to-image, text-to-music, answers from your own documents, and voice. GGUF on llama.cpp, MLX on Apple Silicon. macOS, Windows, Linux. No account, no cloud, no telemetry.

人工智能

README.zh-CN.md

原文

English · 简体中文 · Português (BR)

Chaty

Chaty

硬盘里的模型,真正干起活来。

对话、编程智能体、文生图、文生音乐、从你自己的文档里找答案,还有能开口说话的语音——
全部跑在你自己 Mac 或 PC 上的开源模型里。无需账号,不上云,零遥测。

Release Downloads CI License: MIT

下载 · 官网 · 文档 · 更新日志

macOS(Apple Silicon)· Windows 10/11 · Linux(AppImage)—— GGUF 跑在 llama.cpp 上,Apple Silicon 原生跑 MLX,文生图跑在 stable-diffusion.cpp 上,文生音乐跑在 audio.cpp 上


Chaty 编程模式:智能体边做边说,工具调用折叠成一行,展开一组就是真实差异,以及这一轮改过的文件

编程模式:智能体找到上游的修复,改了解析器,补上测试,跑完整套用例——用的是同一台笔记本上跑着的模型。


为什么选 Chaty

  • 一个应用,六种用途。 对话、编程智能体、文生图工作室、文生音乐工作室、基于你自己文档的问答,还有能直接说话的语音——同一批本地模型,同一个窗口。不用跑服务,不占端口,不要 API key。
  • 为装得进笔记本的模型而设计。 工具调用用每个模型训练时的格式,编辑在写出的过程中就和文件逐行比对,失误在出现的那一步就被纠正——让小模型也能把真活干完。怎么做到的 →
  • GGUF 和 MLX 都是原生支持。 llama.cpp 在各个平台上跑 Metal 或 Vulkan,Apple Silicon 上原生跑 MLX;内置模型商店直接搜 Hugging Face,并告诉你哪些文件放得进你的内存。
  • 完全属于你。 模型、对话、文档、图片和音乐都在你硬盘上的一个文件夹里。没有账号,没有遥测——删掉文件夹,就什么都不剩。

目录

对话 · 编程 · 文生图 · 文生音乐 · 文档与研究 · 语音 · 为小模型而做 · 模型 · 隐私 · 安装 · 构建 · 架构

对话

看得见思路的对话。思考过程实时写进一个可以收起的面板;支持思考档位的模型——Qwen3.8 的 low · medium · xhigh、Muse-Glimmer 的四档、K2 Horizon 的档位——每条消息都能选它想多深。

一条带高亮 Rust 代码、表格和 KaTeX 公式的回答
  • 边生成边渲染——高亮代码、表格、KaTeX、Mermaid,以及能直接运行的 HTML。内容按块逐个渲染,模型再快窗口也不卡。
  • 开着什么,一眼可见——输入框上方一行小字写明下一条消息会用到什么(思考、联网搜索、知识库),点一下就能关。
  • 也能看图——任何视觉模型:带投影文件的 GGUF,或 MLX 版本。
  • Canvas 设计台——让它做一个网页,看着它在源码旁的实时预览里成形;之后的修改以补丁落地。
  • 联网搜索不要密钥,历史对话全文搜索,可导出 Markdown 或 JSON。
  • 按你的习惯——跟随系统的浅色或深色;暖炭或冷黑的深色、纸白或米色的浅色,四种代码配色,对话和编程共用的文字大小,键盘快捷键,English · 简体中文 · Português。

编程

为你真正跑得动的模型打造的编程智能体。切到 编程,打开一个文件夹,描述任务。智能体在你的项目里读文件、搜索、修改、跑命令,边做边告诉你在做什么——工具调用折叠成一行一行,点开能看到每一步,每处修改都是真实的差异——一轮结束时,一张卡片列出它改过的每个文件,每个都能撤销。

  • 决定权在你——实时任务计划,五档权限模式:默认常规操作直接做,删除、推送、发布这类难撤回的等你点头;也可以让它先出方案、每次改动都问你,或者全部放行。文件访问限制在工作区内;macOS 上它的 shell 还跑在系统沙盒里。
  • 命令可以一直跑——开发服务器和监听进程转到后台;会停下来问问题的命令([y/N]、Password:、REPL、脚手架的菜单)会得到一个终端去回答。
  • 它记得——项目记忆就是普通的 Markdown;它能搜索自己过去的会话,你也可以用 @ 把某一段拉进来。
  • 工具随你加——MCP 服务器(附一份实测过的精选清单)、用 Markdown 写的技能,还有一个它能自己操作的浏览器。
  • 红着的构建不算完成——每一轮结束前都有一道关:自上次测试通过以来的改动先验证。

实测。 每一行都是同一个本地模型——Qwen3.5-35B-A3B(MoE,每 token 约 3B 激活),MLX mxfp8,关闭思考,同一台机器:

SWE-bench Verified,经 macOS 验证的 45 题子集 解决
Chaty 智能体(v1.9,16K 上下文) 15/45(33%)
qwen-code 0.20——模型官方自己的 CLI(需要 32K) 12/45(27%)
pi 0.81——极简的 4 工具智能体 10/45(22%)
opencode 1.18 7/45(16%)
纯 bash 智能体——单工具消融 6/45(13%)

这是子集,且跑在 macOS 上,不能和排行榜数字直接比较;方法、配置与注意事项见 docs/BENCHMARKS.md。

文生图

载入一个文生图模型,整个应用就变成画室:会话读起来像对话,绘制时有实时预览,每个模型的推荐参数都替你填好。

雨夜街角写着 LATE NIGHT DINER 的霓虹灯招牌 雨夜街头写着深夜食堂的红色霓虹招牌
“A neon sign that reads LATE NIGHT DINER on a rainy street corner…”——Z-Image Turbo,Q4_K_M,1024²,8 步,2 分 51 秒 “雨夜街角的霓虹灯招牌,写着「深夜食堂」…”——Qwen-Image 2.1,Q4_K_M,1024²,20 步,16 分 10 秒

Chaty 直接输出,未经修图;Apple M4 Pro,48 GB 内存。

  • 主流的模型家族——Z-Image 与 Z-Image Turbo、Qwen-Image 2.1、FLUX.2 [klein] 4B 与 9B、FLUX.1 dev 与 schnell、Chroma、Stable Diffusion 1.x、2.x、XL 与 3.x。
  • 配套文件,自动找齐——文生图 GGUF 只包含去噪模型;Chaty 会在旁边找到它的 VAE 和文本编码器,缺的一键下载。
  • 从一张图接着画——下一轮可以从任何一张图开始;支持改图的模型会把它当参考,只改你说的地方。
  • 连同配方一起保存——PNG 里写着提示词和参数,按日期存放。

底层是 stable-diffusion.cpp,运行在一个辅助进程里——Mac 上用 Metal,Windows 和 Linux 上用 Vulkan——显卡驱动崩溃只会结束辅助进程,不会带走整个应用。Mac 上的 MLX 文生图模型(mflux 保存的 Z-Image、Qwen-Image、FLUX.1 文件夹)则走 MLX 引擎,还要更快:同样的提示词,Z-Image Turbo 只要 1 分 45 秒,Qwen-Image 2.1 只要 9 分 0 秒。

文生音乐

加载一个文生音乐模型,整个应用就变成音乐工作室——和加载文生图模型进入图像工作室一样:会话读起来像对话,每个模型家族的推荐参数都已填好,百分比跟着作品走过每个阶段——写乐谱、作曲、渲染、解码。

Chaty 音乐工作室:一首 YuE2 歌曲换了曲风重新编排,歌词是你的请求,作品是可以播放的波形

一首 YuE2 歌曲沿用原旋律、换了曲风重新编排——歌词是你这一轮的输入,作品是可以播放、拖动、框选的波形。

  • audio.cpp 支持的家族 —— YuE2(歌词直接变成整首歌,人声和伴奏一起生成)、MiniMax Music 3、ACE-Step 1.5、HeartMuLa、Stable Audio 3 和 MiDashengLM-Gen,使用 audio.cpp 的 GGUF 包。Chaty 会在模型旁边找到包里的其他文件——VAE、配置、分词器、多文件模型的其余部分——缺的一键下载。
  • 自己写词,或者不写 —— 用段落标签写歌词,交给模型自由发挥,或者直接要纯音乐;曲风用几句话描述即可。
  • 从一首接着改 —— 每个家族有自己的多轮修改:YuE2 可以沿用原旋律改编,或从任意一秒开始续写;ACE-Step 可以重绘某一段,或换风格翻唱;Stable Audio 可以做变奏,或重新填充某一段。
  • 所有参数都能调,默认走推荐值 —— 常用的在输入框下方,其余在设置里,每一项都能单独恢复推荐值。

它运行在自己的辅助进程 chaty-audio 中——Mac 上用 Metal,Windows 和 Linux 上用 Vulkan——停止生成就结束这个进程,模型占用的内存一次全部归还。在 M4 Pro 上,YuE2 写好并唱完 30 秒的主歌加副歌用时 33 秒,ACE-Step 1.5 turbo 生成 10 秒用时 13 秒,Stable Audio 3 Small 生成 20 秒只要 1.2 秒。

文档与研究

把 PDF、Word、幻灯片、表格、Markdown 或代码拖进来。Chaty 在本机建索引,按语义也按关键词检索,每一句都标出依据的段落——文档里没有的,就直说没有。

  • 扫描件逐页读懂——由视觉模型转写;文档里的图表也能被描述出来,一样能搜到。
  • 深度研究——多轮联网搜索与推理,写成一份只引用用到的来源的报告,可导出 PDF 或 Markdown。
  • 双人播客——把一个知识库变成两个声音之间的对谈,存成 WAV。

语音

实时对话模式完全不用动手:Whisper 听你说,模型回答,本地语音一句一句读出来——中文英文都行。语音在 CPU 上运行,不和模型抢显存。你一停下这一句就发出去;回答到一半可以打断,马上轮到你说,模型记得自己说到了哪里。任何回答都能朗读。

Chaty 实时对话模式:回答以字幕显示,底部是一片随声音起伏的柔光,下方是打断和结束按钮

专门对付小模型会犯的错

前沿大模型自己就能把一套流程撑下来。能放进你笔记本的模型往往不行:刚调用过的工具再调一遍,参数传个空的,要改的那一行抄得差一点,没跑过就说做完了。Chaty 正是为这样的模型打造的。

说它自己的方言 工具调用按每个模型训练时用的格式来教、来读——XML、JSON、Gemma、LFM、K2、GLM、MiniCPM——从它的聊天模板里读出来,而不是想当然。
改得上去 修改在模型还在写的时候就和文件逐行比对。抄错了空格、转义或带上了行号,只要文件里恰好只有一处对得上,照样改得上去。
错在哪一步,就在哪一步纠正 重复调用、空参数、计划写了却不动手,都在发生的那一步被发现,纠正时把模型自己写的那一行原样给它看。
红着的构建不算完成 自上次测试通过以来的改动,验证过才允许一轮结束。
缓存接着用 每一轮的提示词都是在上一轮后面追加出来的,模型的缓存能直接接上,不必从头再读一遍。
就是一个应用 不用起服务,没有端口,不要 API 密钥,没有配置文件。

模型

任何 GGUF 都能在 llama.cpp 上跑(Metal,或 NVIDIA、AMD、Intel 上的 Vulkan);Apple Silicon 上,MLX 文件夹也能原生运行。在应用里就能搜索、下载 Hugging Face 上的模型——也可以把 Chaty 指向你已有的文件夹。下面这些家族的模板、思考控制和工具调用格式都已接好:

家族 已接好的能力
Qwen 3 · 3.5 · 3.6 · 3.8 思考开关;Qwen3.8 的思考档位;模型自带视觉时可看图
Gemma 3 · 4 视觉;Gemma 4 自己的工具调用格式与推理
K2 Horizon · MoVA 思考档位与 <ifm|arg_key> 式工具调用,两个引擎都支持
GLM-4.5 · 4.6 · 4.7 <tool_call>名字<arg_key>… 式工具调用
Llama 3 · Muse-Glimmer 视觉,以及 Muse-Glimmer 的四档思考
LFM3 · LFM3-VL 思考可开可关;LFM3-VL 能看图
MiniCPM5 · LFM 2.5 各自家族的工具调用格式
Chaty · Qwen3.5-4B 设计版 我们自己微调的单文件网页设计模型——首次启动一键安装

社区微调模型的聊天模板和 llama.cpp 内置的猜测不一致时,Chaty 直接执行模型自己的模板,行为与 transformers 一致。文生图和文生音乐模型也从同一个地方加载,支持的家族见文生图和文生音乐。

引擎不用等 Chaty 发版。设置 → 运行时可以把 llama.cpp、stable-diffusion.cpp、audio.cpp 和 MLX 换成上游最新构建——点一下即可,也可以打开自动更新——新架构只要引擎支持了就能跑。每个新引擎用之前都会先校验、先启动一次;启动不了就自动改回应用自带的版本。

隐私

模型、对话、文档、图片和音乐,都放在你硬盘上的一个文件夹里。没有账号,也没有我们的服务器需要你信任——删掉那个文件夹,就什么都不剩。

只有这些时候会用到网络:你打开的 联网搜索与深度研究;你发起的下载(模型、语音、向量模型文件);以及 一次更新检查——启动几秒后向 GitHub 查询最新版本。详见隐私与数据。

安装

从最新版本下载:

平台 文件 说明
macOS(Apple Silicon) Chaty_*_aarch64.dmg Metal 与 MLX。首次启动见下方说明
Windows 10 / 11(x64) Chaty_*_x64-setup.exe Vulkan。按用户安装,无需管理员权限
Linux(x86-64) Chaty_*_amd64.AppImage Vulkan。测试版——chmod +x 后直接运行

macOS 首次启动。 Chaty 已签名但未经公证(背后没有付费的 Apple 开发者账号),所以第一次打开时 Gatekeeper 会警告。在终端里清除一次下载隔离标记,之后照常打开:

xattr -dr com.apple.quarantine /Applications/Chaty.app

或者先打开一次、关掉警告,再到 系统设置 → 隐私与安全性 → 仍要打开。

小的量化语言模型 8 GB 内存就能跑;文生图模型建议 16 GB 以上。Chaty 会按你的内存分配 GPU 负载,放不下的模型直接拒绝加载,而不是把电脑卡死。第一次用?看快速上手。

构建

完整说明见 BUILD.md。

# macOS(Apple Silicon)
npm install
npm run tauri dev      # 开发(Metal)
npm run tauri build    # → .app + .dmg
# Windows
npm install
.\dev.ps1                            # 开发
npm run tauri build -- --no-bundle   # 发行版 exe → 再编译 Inno 安装包
# Linux——WebKitGTK 与 Vulkan SDK 所需的包见 BUILD.md
npm install
npm run tauri dev
npm run tauri build -- --bundles appimage

MLX、文生图与文生音乐引擎是单独的辅助程序——scripts/build-mlx-sidecar.sh、scripts/build-sd-sidecar.{sh,ps1} 和 scripts/build-audio-sidecar.{sh,ps1}。发行版由 CI 构建:用 scripts/bump-version.sh x.y.z 改版本号,推送 vx.y.z 标签,GitHub Actions 会把三个平台的安装包构建到同一个 release 上。

架构

层 技术栈
外壳 Tauri 2——托盘、全局快捷键、单实例
界面 React 19 · Vite · react-markdown · KaTeX · Mermaid
语言模型 llama.cpp(Metal / Vulkan)跑在 chaty-llama 辅助进程中,经 llama-cpp-2 调用 · Apple Silicon 上 MLX 经 mlx-swift-lm 跑在 chaty-mlx 辅助进程中 · 模型自带模板与内置渲染不一致时用 minijinja 渲染
文生图 chaty-sd 辅助进程中的 stable-diffusion.cpp · Apple Silicon 上 MLX 文生图模型(mflux 存档)跑在 chaty-mlx 辅助进程中
文生音乐 chaty-audio 辅助进程中的 audio.cpp —— YuE2、MiniMax Music 3、ACE-Step 1.5、HeartMuLa、Stable Audio 3、MiDashengLM-Gen
语音 sherpa-rs(ONNX Runtime,CPU)——Whisper、Kokoro-82M,以及一个 VITS 中文音色
知识库 bge-m3 向量 + BM25 · RRF / MMR 混合检索 · SQLite 向量库
存储 SQLite——对话、会话、全文搜索
引擎更新 每天把各引擎上游最新版构建进本版本的辅助进程 · 签名(Ed25519)的列表 · 用前校验 SHA-256 并先启动一次

参与贡献

欢迎报告问题——附上错误日志(设置 → 数据 → 打开错误日志),往往能把几天的猜测变成几分钟的定位。构建、测试与基准测试见参与贡献和开发者指南。

如果 Chaty 对你有用,点一个 star 能让更多人找到它。

许可

MIT——见 LICENSE。构建于 llama.cpp、MLX、stable-diffusion.cpp、audio.cpp、Tauri 和 sherpa-onnx。