English | 简体中文

webclaw

将任意网页转化为干净的 Markdown、JSON 与 LLM 就绪的上下文。
_{面向 AI 智能体与 RAG 流水线的 CLI、MCP 服务器、REST API 与多语言 SDK。}

大多数网页抓取工具，只会给你的智能体两种糟糕的结果之一：

• 被拦截的页面、登录墙，或空壳应用（app shell）
• 塞满导航栏、脚本、样式、广告和重复模板的原始 HTML

webclaw.io 是 webclaw 的托管式网页提取 API。本仓库包含开源的 CLI、MCP 服务器、提取引擎，以及可自托管的服务端。

webclaw 用 Rust 编写，把一个 URL 变成你的工具真正用得上的干净内容——开源、可自托管。

webclaw https://example.com --format markdown

# Example Domain

This domain is for use in illustrative examples in documents.

You may use this domain in literature without prior coordination or asking for permission.

在终端里直接用，通过 MCP 接入 Claude / Cursor，从你的应用调用托管 API，或者自托管这套开源服务端——任你选择。

安装

智能体一键配置

把 webclaw 接入 Claude Code、Claude Desktop、Cursor、Windsurf、OpenCode、Codex CLI 以及其他兼容 MCP 的工具，最快的方式是：

npx create-webclaw

安装器会自动检测已支持的客户端，并为你写好 MCP 服务器的配置。

Homebrew

brew tap 0xMassi/webclaw
brew install webclaw

预编译二进制

从 GitHub Releases 下载 macOS、Linux 和 Windows 二进制文件。

Docker

docker run --rm ghcr.io/0xmassi/webclaw https://example.com

Cargo

cargo install --git https://github.com/0xMassi/webclaw.git webclaw-cli
cargo install --git https://github.com/0xMassi/webclaw.git webclaw-mcp

如果从源码构建时因缺少本机构建工具而失败，请先安装对应平台的依赖：

快速开始

抓取单个页面

webclaw https://stripe.com --format markdown

返回 LLM 优化文本

webclaw https://docs.anthropic.com --format llm

只保留正文内容

webclaw https://example.com/blog/post --only-main-content

包含或排除选择器

webclaw https://example.com \
  --include "article, main, .content" \
  --exclude "nav, footer, .sidebar, .ad"

爬取一个文档站点

webclaw https://docs.rust-lang.org --crawl --depth 2 --max-pages 50

工作流示例

• HTML 转 Markdown 用于 RAG
• 兼容 Firecrawl 的 API
• 基于 MCP 的网页抓取
• 使用 ColdProxy 的代理支持爬取

提取品牌资产

webclaw https://github.com --brand

对比页面随时间的变化

webclaw https://example.com/pricing --format json > pricing-old.json
webclaw https://example.com/pricing --diff-with pricing-old.json

MCP 服务器

webclaw 内置了面向 AI 智能体的 MCP 服务器。

无需安装——把任意 MCP 客户端指向 npx 启动器即可：

{
  "mcpServers": {
    "webclaw": {
      "command": "npx",
      "args": ["-y", "@webclaw/mcp"]
    }
  }
}

或者运行 npx create-webclaw，让它自动检测你的 AI 工具并替你写好配置。

配好之后，就可以让你的智能体做这样的事：

抓取这些竞品的定价页面，并总结它们之间的差异。

爬取这个文档站点，为 RAG 索引准备干净的上下文。

从这家公司的官网提取品牌色、字体和 logo。

作为智能体 Skill 使用

一条命令，就能把 webclaw 添加到 Claude Code、Cursor、Windsurf 及其他 MCP 智能体：

npx skills add 0xMassi/webclaw-skill

你的智能体会把 scrape、crawl、map、extract、summarize、diff、brand、search 作为原生工具使用。多数站点无需 API Key 即可在本地提取；设置 WEBCLAW_API_KEY 后即可处理受保护以及需要 JavaScript 渲染的页面。

可在 skills.sh 上找到它。

工具

SDK

npm install @webclaw/sdk
pip install webclaw
go get github.com/0xMassi/webclaw-go

import { Webclaw } from "@webclaw/sdk";

const client = new Webclaw({ apiKey: process.env.WEBCLAW_API_KEY! });

const page = await client.scrape({
  url: "https://example.com",
  formats: ["markdown"],
  only_main_content: true,
});

console.log(page.markdown);

from webclaw import Webclaw

client = Webclaw(api_key="wc_your_key")

page = client.scrape(
    "https://example.com",
    formats=["markdown"],
    only_main_content=True,
)

print(page.markdown)

curl -X POST https://api.webclaw.io/v1/scrape \
  -H "Authorization: Bearer $WEBCLAW_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "formats": ["markdown"],
    "only_main_content": true
  }'

输出格式

本地优先，按需上云

核心提取路径下，CLI 与 MCP 服务器无需账号即可在本地运行。

当你需要以下能力时，使用托管 API webclaw.io：

• 无需自行运维基础设施即可访问受保护的站点
• JavaScript 渲染
• 异步的爬取与研究任务
• 网络搜索
• 页面监控（watches）与生产用量统计
• 供应用代码调用的 SDK

export WEBCLAW_API_KEY=wc_your_key

webclaw https://example.com --cloud

你可以用它构建什么

架构

webclaw/
  crates/
    webclaw-core     HTML 转 markdown、text、JSON 与 LLM 就绪输出
    webclaw-fetch    抓取、爬取、批处理与站点映射
    webclaw-llm      本地与托管 LLM 提供方支持
    webclaw-pdf      PDF 文本提取
    webclaw-mcp      面向 AI 智能体的 MCP 服务器
    webclaw-cli      命令行界面

webclaw-core 是纯粹的提取逻辑：没有网络 I/O，接口面小，可脱离抓取层独立使用。

配置

参与贡献

眼下最有价值的贡献都很务实、也很小：

• 为真实的智能体与 RAG 工作流补充示例
• 改进 SDK 代码片段
• 上报提取效果不佳的页面
• 为杂乱的 HTML 添加会失败的测试样例（fixtures）
• 完善面向 MCP 客户端与本地配置的文档
• 在更多 Linux / macOS 环境上测试 CLI

不错的入手点：

• Good first issues
• 提交一个 bug 报告
• 发起一场讨论

如果某个页面提取效果不好，请附上：

URL:
命令或 API 请求:
期望输出:
实际输出:
使用的格式: markdown / llm / text / json / html
使用方式: CLI / MCP / SDK / API:

发帖前，请从日志中移除密钥、Cookie、私有令牌和客户数据。

基础设施合作伙伴

ColdProxy 作为基础设施合作伙伴支持 webclaw，提供覆盖 195+ 个国家/地区的住宅 IPv4、 住宅 IPv6 与数据中心 IPv6 代理基础设施，适用于公开数据采集、区域测试、监控与网页抓取工作流。 在官网了解 ColdProxy 的最新套餐与优惠。 使用优惠码 webclaw8Off，首单可享 8% 折扣。 详见代理支持爬取指南，了解如何把 ColdProxy 接入 webclaw。

工作室合作伙伴

	NodeMaven：最高效的网页抓取与自动化代理服务商，提供市场上最高质量的 IP。 为什么选择 NodeMaven？ 邮政编码定位 99.9% 在线率 IP 过滤：所有代理的欺诈评分均 <97% 无需 KYC 验证 独家免费工具：Proxy Bandwidth Checker、Meta Tag Checker、IP Lookup 等！ Webclaw 用户专属优惠码： WEBCLAW35 - 移动与住宅代理享 35% 折扣 WEBCLAW40 - ISP（静态）代理享 40% 折扣
	MangoProxy 提供覆盖 200+ 地区的住宅、ISP、数据中心与移动代理，背靠 9000 万+ IP 池， 支持 HTTP 与 SOCKS5，为大规模网页抓取与数据采集提供高稳定性。在 mangoproxy.com 使用优惠码 0XMASSI 享 ISP（静态）代理 8% 折扣。
	Thordata：面向开发者的高级住宅代理。借助纯净的住宅 IP 与稳定的代理基础设施，构建可靠的爬虫、AI 智能体与自动化工作流。 为什么选择 Thordata？ 覆盖 195+ 地区的 1 亿+ IP 不限并发连接数 99.99% 在线率，连接稳定 轮换会话 + 粘性会话 Webclaw 专属优惠：免费试用 3 天 WEBCLAW - 享 10% 折扣

社区插件

将 webclaw 集成到 AI 智能体平台的第三方插件：

做了 webclaw 集成？欢迎 提交 PR 把它加到这里。

贡献者

感谢每一位通过 issue、示例、文档、bug 报告与 PR 改进 webclaw 的人。

Star 历史

许可证

AGPL-3.0-only