Skip to content
Projects

Yeti-791/Awesome-Offensive-AI-Agentic-Landscape

View on GitHub

Yeti-791/Awesome-Offensive-AI-Agentic-Landscape has 453 GitHub stars and 54 forks. GitHot measured +2 stars in 24 hours and +21 in 7 days. Last checked 2026-11-12 12:38 UTC. Last push 2026-09-10.

How these counts are measured

This document curates open-source projects, academic papers, capability benchmarks, and commercial solutions (international & China) in AI penetration testing, LLM red teaming, autonomous offensive agents, and vulnerability discovery—aimed at helping researchers, security engineers, and enterprise decision-makers quickly form a holistic view.

Measured star growth

in 24h
+2
in 7 days
+21
in 15 days
Collecting history
in 1 month
Collecting history

Net star changes over overlapping periods, not daily totals. Missing measurements are left blank. Stars measure attention, not software quality.

README.md

Original

Offensive AI Agentic 全景:项目 / 模型 / Skill / MCP / 论文 / Benchmark / 商业产品 一览

Offensive AI Agents Landscape: Projects, Models, Skills, MCP Servers, Papers, Benchmarks & Commercial Solutions 599999755-793799dc-53e7-4fee-8959-654fbc09c902

🛠️ Projects 🧬 Models 🧩 Skills 🔌 MCP 📑 Papers 🧪 Benchmarks 📚 Awesome Lists 💼 Commercial
46 11 3 7 116 13 9 32
渗透 / 红队 / CTF Agent 进攻 6 + 安全专用 5 Claude/Agent Skill Burp/Metasploit/工具链 2023 → 2026 2023 → 2026 资源索引 国外 Top 20 + 国内 12

本文档以进攻型 AI为主线,系统整理了 AI 渗透测试 / 自主红队 Agent 领域的开源项目、进攻型 & 安全专用开源模型、进攻型 AI Skill 与 MCP Server、学术论文、能力评测 Benchmark 与国内外商业化解决方案,帮助研究者、安全工程师与企业安全决策者快速建立领域全景认知。注意:本文档聚焦"用 AI 做攻击",而非"攻击 AI 系统"(LLM 自身安全性如 prompt injection / jailbreak 等不在主线范围,仅少量关联项目涉及)。

This document focuses on offensive AI — curating open-source projects, offensive & security-specialized open-weight models, offensive AI Skills & MCP Servers, academic papers, capability benchmarks, and commercial solutions (international & China) in AI-driven penetration testing & autonomous red-team agents. It helps researchers, security engineers, and enterprise decision-makers quickly form a holistic view of the domain. Note: the primary lens is "using AI to attack", not "attacking AI systems" (LLM security topics such as prompt injection / jailbreaking are out of scope for the main thread, though a few related projects may appear incidentally).

数据采集时点:2026-09-11(论文章节全量核验:修复错链与元数据、移除 4 篇 LLM 自身安全类论文、经 LLM4Pentest 交叉核对补充 47 篇,73→116)| Star 数 ≥ 1000 统一以 k 为单位(保留一位小数)。


📋 开源Agent列表

Open-Source Agent List

按 Star 数降序排列,收录 Star ≥ 90 的开源 AI 渗透测试 / 红队 Agent 及进攻型安全项目。 ⭐新补充 = 本轮新增(2026-07-14/15) Sorted by stars (desc), projects with ≥ 90 stars — covering AI penetration testing, red-team agents, and offensive security tools. ⭐ = newly added this round (2026-07-14/15).

# 项目 Stars 语言 类型 简介
1 usestrix/strix 60.1k Python 渗透 Agent 开源 AI 黑客,发现并修复应用漏洞(🚀 一个多月 Star 从 41k 飙升至 60k,反超 shannon 登顶)
2 KeygraphHQ/shannon 47.6k TypeScript 渗透 Agent 面向 Web 应用和 API 的自主白盒 AI 渗透测试工具
3 vxcontrol/pentagi 22.2k Go 渗透 Agent 全自主 AI 代理系统,执行复杂渗透测试任务
4 GreyDGL/PentestGPT 15.2k Python 渗透 Agent LLM 驱动的自动化渗透测试代理框架(早期标杆)
5 0x4m4/hexstrike-ai 11.5k Python MCP / 渗透 MCP 服务器,让 AI Agent 自主运行 150+ 安全工具
6 aliasrobotics/cai 9.8k Python 安全 AI 框架 Cybersecurity AI(CAI)安全框架(已于 2026-08-28 归档,曾产出 18 篇论文、30+ CVE)
7 Ed1s0nZ/CyberStrikeAI 6.3k Go 渗透 Agent Go 构建的 AI 原生安全测试平台
8 elder-plinius/T3MP3ST 5.9k TypeScript 红队 Agent 自主红队平台 / 多智能体进攻性安全元框架,复用本机 AI 编码代理(Claude Code/Codex/Ollama 等)作零日漏洞猎手
9 OWASP/Nettacker 5.5k Python 自动化扫描 OWASP 自动化渗透测试 / 漏扫框架
10 GH05TCREW/pentestagent 3.0k Python 渗透 Agent 黑盒安全测试 AI Agent 框架(GHOSTCREW)
11 oritera/Cairn 2.5k Python 渗透 Agent 通用状态空间搜索引擎,自主渗透
12 samugit83/redamon 2.4k Python 红队 Agent AI 驱动的代理式红队框架
13 Armur-Ai/Pentest-Swarm-AI ⭐新补充 2.4k Go 渗透 Agent 首个"蜂群"架构自主渗透平台,信息素黑板去中心化协作,ReAct 推理 + 5 种蜂群剧本,支持 Claude API / Ollama 本地,含 MCP 服务器
14 0xSteph/pentest-ai-agents 2.2k Shell Claude SubAgent 将 Claude Code 转为攻击性安全研究助手
15 CyberStrikeus/CyberStrike ⭐新补充 2.2k TypeScript 渗透 Agent AI 驱动的进攻性安全代理,7,300+ 安全技能,基于 MITRE ATT&CK / CIS / OWASP / NIST,含网站 cyberstrike.io
16 zakirkun/guardian-cli 1.9k Python 渗透 Agent 生产级 AI 渗透 CLI(Gemini + LangChain)
17 0xSteph/pentest-ai ⭐新补充 1.6k Python 渗透 Agent MCP 服务器封装 205+ 安全工具 + 17 个专业代理 + 确定性漏洞验证(零误报),CLI + MCP 双路径,自带 LLM
18 Gowtham-Darkseid/AutoPentestX 1.5k Python 渗透 Agent 自动化渗透测试与漏洞报告
19 bugbasesecurity/pentest-copilot 1.3k JavaScript 浏览器助手 浏览器端的道德黑客辅助工具
20 SanMuzZzZz/LuaN1aoAgent 1.3k Python 渗透 Agent 全自主 AI 渗透 Agent,XBOW >90%(广州大学)
21 PentesterFlow/agent ⭐新补充 1.3k TypeScript 渗透 Agent 终端内 Agentic 进攻性安全,"人在回路中",内置 OWASP Top 10 技能 + Burp 集成 + 覆盖率跟踪
22 ipa-lab/hackingBuddyGPT 1.2k Python 渗透 Agent 50 行代码内调用 LLM 协助伦理黑客
23 berylliumsec/nebula 1.1k Python 渗透助手 AI 渗透助手,自动侦察 / 笔记 / 漏洞分析
24 splx-ai/agentic-radar 1.0k Python Agent 安全扫描 LLM Agentic 工作流安全扫描器(OpenAI Agents、CrewAI、LangGraph 等)
25 xalgord/xalgorix 953 Go 渗透 Agent 开源 AI 渗透测试 Agent
26 ASCIT31/Dark-Moon ⭐新补充 887 Python 渗透 Agent AI 驱动的自主渗透测试引擎,覆盖 Web/云/AD/K8s,多智能体编排 + 隐私网关 + 50+ 工具集成
27 verialabs/ctf-agent 757 Python CTF Agent 自主 CTF solver,BSidesSF 2026 第一名
28 westonbrown/Cyber-AutoAgent 544 TypeScript 渗透 Agent XBOW 验证基准 85%,已归档但代表性强
29 ARCANGEL0/EVA 526 Python 渗透 Agent AI 辅助渗透测试代理,多后端 AI 集成
30 m-sec-org/BreachWeave 525 TypeScript 渗透 Agent Manager/Observer/Solver 多角色架构(腾讯云黑客松第二期线下决赛一等奖,排名 1/613)
31 transilienceai/communitytools 502 Python Claude 工具集 开源 Claude Code skills/agents/slash command
32 0ca/BoxPwnr 450 Python 渗透 Agent / 多平台基准 HackTheBox / TryHackMe / picoCTF / Cybench / XBOW 等 15 个平台基准框架
33 crond-jaist/AutoPentest-DRL 448 Python 强化学习渗透 使用深度强化学习的自动化渗透测试
34 SHAdd0WTAka/Zen-Ai-Pentest 446 Python 渗透 Agent 多代理 AI 渗透框架 + 合规报告
35 aielte-research/HackSynth 316 Python 渗透 Agent Planner + Summarizer 双模块,PicoCTF / OverTheWire 200 题(arXiv:2412.01778)
36 straylabs-ai/deadend-cli(原 xoxruns) 302 Python 渗透 Agent XBOW 黑盒 81%,约 $122 API 成本,本地化执行
37 yz9yt/BugTrace-AI 253 TypeScript 漏洞追踪 (已归档,演进为 BugTraceAI v2)
38 GitHubSecurityLab/seclab-taskflow-agent 230 Python Agent 框架 GitHub Security Lab 出品,YAML 驱动多 Agent + CodeQL
39 KHenryAegis/VulnBot 191 Python 渗透 Agent 多代理协作框架的自主渗透测试
40 chainreactors/tinyctfer 174 Python CTF Agent antix 微型意图运行时 + 元工具设计(腾讯云黑客松第 4 名核心代码)
41 NYU-LLM-CTF/nyuctf_agents 161 Python CTF Agent NYU CTF Bench 配套的 D-CIPHER + Baseline
42 antoninoLorenzo/AI-OPS 158 Python 渗透助手 基于开源 LLM 的渗透测试 AI 助手
43 andreashappe/cochise 134 Python AD 渗透 Agent 自主 Assumed Breach AD 渗透(TOSEM 2025)
44 arthurgervais/mapta 106 Python 渗透 Agent 多 Agent Web 应用安全评估 + 端到端漏洞利用验证(arXiv:2508.20816)
45 vikramrajkumarmajji/AI-VAPT 102 TypeScript VAPT 框架 自主 AI 漏洞评估与渗透测试框架
46 amazon-science/Cyber-Zero 101 Python 训练框架 无运行时训练网络安全代理(Amazon Science,已于 2026-07-10 归档)

备注:1k–10k 区间的 Star 数为 GitHub 网页缩写值的换算结果;万级以上误差更大。2026-09-02 全量刷新要点:strix 反超 shannon 登顶(41k→60.1k);cai(2026-08-28)与 Cyber-Zero(2026-07-10)已归档;deadend-cli 迁移至 straylabs-ai 组织;mcp-shodan 迁移至 w0h1v。2026-09-07 精简:移除 promptfoo、garak、PyRIT、vulnhuntr、deepteam、agentic_security、buttercup、promptmap、reaper 共 9 个项目(56→47,聚焦渗透 / 红队 / CTF Agent 主线)。 Note: stars in the 1k–10k range are converted from GitHub's abbreviated values; 10k+ may carry larger errors. 2026-09-02 refresh highlights: strix overtakes shannon as #1 (41k→60.1k); cai & Cyber-Zero archived; deadend-cli moved to straylabs-ai; mcp-shodan moved to w0h1v. 2026-09-07 pruning: removed 9 entries (promptfoo, garak, PyRIT, vulnhuntr, deepteam, agentic_security, buttercup, promptmap, reaper), refocusing on pentest / red-team / CTF agents.


🧬 进攻型 / 安全专用开源模型

Offensive & Security-Specialized Open-Weight Models

上面的项目多为"Agent 框架 / 脚手架",其能力最终取决于底层模型。本节盘点可作为 Offensive AI Agent 推理内核的开源权重模型,分两类:

  • A. 无安全对齐 / 弱审查的进攻型模型:刻意去除或大幅弱化拒答对齐,可直接输出漏洞利用 / 攻击链推理,最适合本地化、无云依赖的红队 Agent 驱动。
  • B. 安全领域专用模型(含推理 / 漏洞 / 防御对齐):面向安全垂域微调,能力强但保留了不同程度的安全对齐,进攻场景常需搭配越狱 / 系统提示或作为漏洞检测内核使用。

These are open-weight models usable as the reasoning core of an offensive AI agent, split into (A) uncensored/weakly-aligned offensive models and (B) security-specialized models that still retain safety alignment.

A. 无安全对齐 / 弱审查的进攻型模型

Uncensored / Weakly-Aligned Offensive Models

# 模型 参数量 基座 发布方 定位与特色
1 Qwythos-9B-Claude-Mythos-5-1M ⭐新补充(Ollama) 9B Qwen3.5-9B(深度无审查) Empero AI 🔥 "Claude 平替"级无审查推理模型,后训练超 5 亿 token Claude Mythos/Fable 思维链,1M 上下文 + 自我纠正工具调用,4GB 显存即可本地运行,MMLU +34.3 / gsm8k +30 大幅超越基座
2 WhiteRabbitNeo / DeepHat(DeepHat-V1-7B、13B、33B、70B) 7B–70B Llama / Qwen / DeepSeek Kindo.ai 最知名的无审查红队模型家族,2025 Black Hat 后更名 DeepHat。面向真实进攻推理、长上下文分析,可映射立足点、串联弱点、探索利用路径
3 Lily-Cybersecurity-7B-v0.2 7B Mistral-7B Sego Lily Labs Mistral 微调,22,000 条手工构造的网络安全 / 黑客问答对,无强拒答对齐,适合本地渗透问答助手
4 BaronLLM (Offensive Security LLM)(GGUF Q6_K) 7B/8B 级 — AlicanKiraz0 专为进攻性安全研究、对抗模拟、红队微调的模型,输出偏向 exploit / 攻击链推理
5 CyberStrike-OffSec-35B ⭐新补充 35B MoE(激活 3B) Qwen3.6-35B-A3B Orhan Yildirim 35B 混合专家进攻性安全模型,SFT+DPO 训练,专攻漏洞利用开发 / 红队行动 / 云攻击 / 免杀技术,自称多个安全基准超越 GPT-4,无安全对齐
6 BugTraceAI-CORE-Ultra-27B ⭐新补充 27B Qwen3.6-27B BugTraceAI 基于 2,541 份真实漏洞赏金报告 + CVE 分析 + 进攻性安全研究 SFT 微调,专注漏洞发现与 Nuclei 模板生成,面向 Bug Bounty 场景

⚠️ 说明:此类模型刻意弱化安全对齐,可直接产出攻击性内容,必须严格限定于授权测试 / 隔离环境(详见文末免责声明)。 These models intentionally weaken safety alignment; use only within authorized, isolated environments.

B. 安全领域专用模型(含推理 / 漏洞 / 防御对齐)

Security-Specialized Models (Reasoning / VulnDetect / Defense-Aligned)

# 模型 参数量 基座 发布方 定位与特色 对齐属性
1 VulnLLM-R-7B(代码) 7B Qwen 系 UCSB-SURFI 漏洞挖掘推理模型,逐步推理数据流 / 控制流 / 安全上下文;在 Python/C/C++/Java 上超越 CodeQL、AFL++、Claude-3.7 等(arXiv:2512.07533) 面向检测,弱进攻对齐
2 Foundation-Sec-8B-Reasoning 8B Llama-3.1-8B Cisco Foundation AI "全球首个安全推理模型",安全垂域指令微调,可本地部署驱动 AI 安全工具(arXiv:2601.21051) 通用安全,保留对齐
3 CyberSecQwen-4B 4B Qwen3-4B-Instruct AMD Hackathon / athena129 轻量防御性安全模型,专攻 CVE→CWE 映射(CTI-RCM)与威胁情报选择题(CTI-MCQ),4B 却超 8B 基座 明确防御导向
4 Meta-SecAlign-8B(70B) 8B / 70B Llama-3.1 Meta (FAIR) 首个内建 prompt injection 防御的全开源商用级 LLM(arXiv:2507.02735);本质是防御对齐标杆,可作红队攻防的"蓝方"陪练 强防御对齐(非进攻)
5 Titus-CybersecurityLLM-v1.0 ⭐新补充 35B MoE Qwen3.6-35B-A3B AlicanKiraz0 面向 SOC/DFIR 的网络安全操作模型,土耳其语优先 + 英文,含 MLX 4-bit 量化版(19.5GB VRAM),与 BaronLLM 同一作者 偏防御(SOC/DFIR 导向)

甄别提示:VulnLLM-R / Foundation-Sec / CyberSecQwen / Meta-SecAlign / Titus 均非"无对齐进攻模型"——它们分别偏漏洞检测、安全推理、防御问答、抗注入防御与 SOC/DFIR 运营。真正"无安全对齐、适合直接进攻"的是 A 类(Qwythos、WhiteRabbitNeo/DeepHat、Lily、BaronLLM、CyberStrike-OffSec-35B、BugTraceAI-CORE-Ultra)。将它们并列收录,是为了呈现"进攻内核 vs 安全垂域 / 防御对齐"的完整光谱,便于选型时对症下药。 Selection note: only Group A models are genuinely uncensored/offensive; Group B are vuln-detection, reasoning, or defense-aligned models included for a complete spectrum.


🧩 进攻型 AI Skill 资源精选

Offensive AI Skills (Claude Code / Agent Skills Ecosystem)

除了独立 Agent 与底层模型,Agent Skill(如 Claude Code Skills、agentskills.io / skills.sh 生态)正成为"进攻型 AI"落地到通用 AI 编程客户端的重要形态——把渗透测试方法论、工具链调用顺序与 payload/字典打包为可被 Agent 按需自动加载的结构化技能模块。仅收录纯 Skill 形态(非 Agent/Subagent 混合项目)、Star ≥ 100 的仓库,按 Star 数降序排列。 Agent Skills package pentest methodology, tool-chains, and payloads/wordlists into structured modules that general-purpose AI coding agents (e.g. Claude Code) can auto-load on demand. Only pure-Skill repos (excluding Agent/Subagent-hybrid projects) with ≥ 100 stars are listed, sorted by stars (desc).

# 仓库 Stars 载体 / 生态 定位与特色
1 mukul975/Anthropic-Cybersecurity-Skills ⭐新补充 32.0k Agent Skills(agentskills.io 标准,20+ 平台兼容) 🔥 全球最大开源网安 Agent Skill 库,817 个结构化技能覆盖 29 大安全域(红队/渗透/云安全/取证/威胁狩猎等),业界唯一六框架映射(ATT&CK/NIST CSF/ATLAS/D3FEND/AI RMF/F3),社区非官方项目
2 ljagiello/ctf-skills 3.2k Agent Skills(Claude Code 等) CTF 全领域技能包,覆盖 Web/Pwn/密码学/逆向/取证/OSINT/恶意软件/AI-ML 等 10 大类,内置 solve-challenge 总调度器自动分发题型
3 Eyadkelleh/awesome-skills-security 374 Agent Skills(60+ Agent 兼容) 基于 SecLists 精选打包为 7 类技能(Fuzzing/密码字典/敏感模式/Payload/用户名/Webshell/LLM 测试),一键安装

⚠️ 上述 Skill 本身通常不内置攻击性代码,仅提供方法论、脚本编排与工具调用规范;实际执行仍依赖用户自行安装的安全工具,且必须严格限定于授权测试场景。 These skills mostly provide methodology/orchestration rather than embedded exploit code; actual execution still relies on separately installed security tools and must remain within authorized testing scope.


🔌 进攻型 AI MCP Server 精选

Offensive AI MCP Servers

MCP(Model Context Protocol)让 AI Agent 以标准化协议直接调用真实安全工具,是"进攻型 AI"从推理走向实际执行的关键基础设施——Burp、Metasploit、Nmap 等工具借此被"AI 化"。仅收录安全工具集合类 MCP Server(非单一 Agent 项目自带的 MCP 组件)、Star ≥ 100 的仓库,按 Star 数降序排列。 MCP servers let AI agents invoke real security tools via a standardized protocol — the execution layer that turns offensive AI reasoning into action. Only dedicated security-tool MCP servers (excluding MCP components bundled inside a single agent project) with ≥ 100 stars are listed, sorted by stars (desc).

# 仓库 Stars 语言 定位与特色
1 PortSwigger/mcp-server 1.1k Kotlin PortSwigger 官方出品,Burp Suite 扩展,桥接 Burp 与 MCP 客户端(Claude Desktop 等),SSE + Stdio 双模式
2 Wh0am123/MCP-Kali-Server ⭐新补充 808 Python 已收录 Kali 官方软件源(apt install mcp-kali-server)的轻量级 API 桥接,集成 nmap/hydra/sqlmap/metasploit/wpscan 等,支持 AI 辅助渗透与 CTF/HTB/THM 靶场解题
3 FuzzingLabs/mcp-security-hub 776 Python 38 个容器化 MCP 服务器集合,覆盖侦察/Web/二进制分析/区块链/云/模糊测试/AD 等,共 300+ 安全工具,生产级安全加固
4 GH05TCREW/MetasploitMCP 722 Python Metasploit 框架 MCP 桥接,支持 exploit/payload 生成、会话管理、Handler 监听器全流程操作
5 MorDavid/BloodHound-MCP-AI ⭐新补充 375 Python 首个 BloodHound AI 集成,75+ 工具将 Cypher 查询封装为自然语言,专攻 AD 攻击路径分析(Kerberoasting/AS-REP Roasting/NTLM 中继/委派滥用)
6 w0h1v/mcp-shodan(原 BurtTheCoder) ⭐新补充 161 TypeScript Shodan API + CVEDB 查询 MCP,IP 侦察/DNS 操作/联网设备发现/CVE-CPE 关联查询,支持 Claude Code、Codex、Gemini CLI
7 DMontgomery40/pentest-mcp 143 JavaScript/TS 面向专业渗透测试者的实战级 MCP 服务器,内置 nmap/hydra/sqlmap/nuclei/hashcat 等,含 SoW 授权范围采集与 Prompt Injection 风险缓解

⚠️ 此类 MCP Server 通常直接封装真实攻击性工具(Metasploit、sqlmap、hashcat 等),风险等级高于 Skill 类资源,必须部署于隔离环境并严格限定授权范围。 These MCP servers wrap real offensive tools directly and carry higher risk than skill-based resources — deploy only in isolated, explicitly authorized environments.


🏆 知名 AI 攻防 / 智能渗透赛事

Notable AI Offense-Defense & Intelligent Penetration Competitions

本节收录全球范围内具有代表性的 AI 驱动攻防 / 自主渗透 竞技赛事,是检验 Agent 实战能力的"竞技场",产出的开源系统往往代表当前工程实践的最高水准。 This section covers representative AI-driven offense-defense / autonomous penetration competitions worldwide — the "arenas" that stress-test Agent capabilities, whose open-sourced systems often represent state-of-the-art engineering practice.

1. DARPA AIxCC 2025

DARPA AI Cyber Challenge 2025 Final

美国 DARPA 在 2025 年举办的 AI Cyber Challenge(AIxCC) 决赛中,7 支队伍各自开源了完整的 Cyber Reasoning System(CRS),代表当前自动化漏洞发现 + 修复 Agent 的最高工程水准。 The 7 finalist Cyber Reasoning Systems from DARPA's AI Cyber Challenge represent today's state-of-the-art in automated vulnerability discovery & patching agents.

排名 队伍 CRS 系统 Stars 仓库
🥇 1 Team Atlanta ATLANTIS 642 Team-Atlanta/aixcc-afc-atlantis
🥈 2 Trail of Bits Buttercup 1.7k trailofbits/buttercup
🥉 3 Theori RoboDuck — theori-io/aixcc-afc-archive
4 All You Need Is A Fuzzing Brain FuzzingBrain — o2lab/afc-crs-all-you-need-is-a-fuzzing-brain
5 Shellphish ARTIPHISHELL 141 shellphish/artiphishell
6 42-b3yond-6ug BugBuster — 42-b3yond-6ug/42-b3yond-6ug-crs
7 Lacrosse (SIFT) Lacrosse CRS — siftech/afc-crs-lacrosse

2. 腾讯云智能渗透黑客松

Tencent Cloud Intelligent Penetration Hackathon

腾讯安全云鼎实验室主办,国内首个聚焦 LLM 智能体全流程自动化渗透 的顶级专业赛事,理念"铸刃止戈、以智御危"。已连续举办两届,累计汇聚清华大学、复旦大学、帝国理工学院、卡内基梅隆大学等国内外知名高校学生战队,鹏城实验室、中国科学院信息工程研究所等权威科研机构专家战队,以及阿里、京东、长亭、绿盟等行业领军企业战队,参赛规模从第一届 238 支战队/518 名选手增长至第二届 610 支战队/1,345 名选手,累计产出 20 套顶尖智能渗透技术框架。赛制核心导向为纯 AI 驱动渗透,严格限制人工操作,前 20 名可获开源贡献奖。官方资源仓:Yeti-791/Tsec-Hackathon(709 Stars)。 Hosted by Tencent Security Yunding Lab, the first domestic top-tier competition focused on LLM-agent fully-automated penetration. Two editions held so far, growing from 238 teams/518 competitors to 610 teams/1,345 competitors, producing 20 leading intelligent-penetration frameworks. Strictly AI-driven with manual operation prohibited. Official repo: Yeti-791/Tsec-Hackathon.

届次 时间 冠军战队 参与规模
第一届 2025-11 xjtuHunter(西安交大)第2名 / BinX(广州大学)第3名 清华大学、复旦大学、帝国理工学院、卡内基梅隆大学等国内外知名高校学生战队,鹏城实验室、中国科学院信息工程研究所等权威科研机构专家战队,以及阿里、京东、长亭等行业领军企业战队,共计 238 支战队、518 名顶尖选手参与
第二届 2026-04 ai小分队(第1名)/ Bytex(第3名,全场唯一 AK) 首创"智能渗透主赛场 +『零界』平行赛场"双轨竞技模式,参赛规模在第一届基础上增长至 610 支战队、1,345 名安全极客与 AI 研究者;获奖队伍包括绿盟科技、京东、天翼安全、中国电信、清华大学、奇盾信息等

📑 相关学术论文

Related Academic Papers (grouped by topic; within each group, newest first)

在原有基础上,融合了 tmylla/Awesome-LLM4Cybersecurity 中渗透测试、进攻 AI、漏洞挖掘相关章节,并于 2026-09-11 与 simon-p-j-r/LLM4Pentest(108 篇分类清单)逐篇交叉核对:勘误多项标题/作者/链接(含 CyberSecEval 3 错链、MAPTA/D-CIPHER/Aurora 旧版标题、PwnGPT PDF 直链等)、移除 4 篇"攻击 AI 系统 / LLM 自身安全"类论文(UDora、AgentPoison、CyberSecEval 1/3)、补充 47 篇遗漏论文。现共收录 116 篇,按主题拆为 3 个子表:

  • A. 渗透测试 & 红队 Agent(62 篇)
  • B. 漏洞挖掘 / 利用 / 修复(20 篇)
  • C. 评测基准 & 训练方法 & 综述 & 奠基(34 篇)

时间以 arXiv v1 提交日期 / 期刊首发日期为准;⭐新补充 = 本轮新增(2026-09-11),ⓝ 为往轮补充。

Cross-checked entry-by-entry against simon-p-j-r/LLM4Pentest on 2026-09-11: multiple title/author/link errata fixed (incl. a wrong CyberSecEval 3 link), 4 "attacking-AI / LLM-safety" papers removed (UDora, AgentPoison, CyberSecEval 1/3), and 47 missing papers added — 116 in total: (A) Pentesting & Red-Team Agents (62) · (B) Vulnerability Discovery / Exploitation / Repair (20) · (C) Evaluation, Training, Surveys & Foundational (34).

A. 渗透测试 & 红队 Agent

Pentesting & Red-Team Agents

# 时间 论文 作者 / 机构 发表渠道 关联项目 / 主题
A1 2026-07 A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges Zheyuan He et al. arXiv 系统综述 81 篇文献:Agents4Pentest 分类学与四阶段架构演进(RLVR 转折)
A2 2026-07 Intelligent Penetration Testing Through Integrated Knowledge Graph and Historical Decision Enhancement ⭐新补充 Qianyu Li IEEE TDSC 2026 知识图谱 + 历史决策增强的智能渗透
A3 2026-06 ZERO-APT: A Closed-Loop Adversarial Framework for LLM-Driven Automated Penetration Testing under Intelligent Defense Anlan Zheng, Tiantian Zhu arXiv 攻击者-防御者-裁判回合制闭环,含实时智能防御
A4 2026-05 APT-Agent: Automated Penetration Testing using Large Language Models ⭐新补充 William Guanting Li et al. arXiv 幻觉矫正 + 命令记忆,Metasploitable 2 端到端成功率 84.29%
A5 2026-05 Pen-Strategist: A Reasoning Framework for Penetration Testing Strategy Formation and Analysis ⭐新补充 Yasod Ginige et al. arXiv RL 微调策略推理模型,策略推导 +87%、子任务 +47.5%
A6 2026-05 From Intent to Invocation: A Reasoning-First Framework for Natural Language to Penetration Testing Commands ⭐新补充 He Kong et al. ICASSP 2026 自然语言 → 渗透命令的推理优先框架
A7 2026-04 Hackers or Hallucinators? A Comprehensive Analysis of LLM-Based Automated Penetration Testing Jiaren Peng et al. arXiv simon-p-j-r/LLM4Pentest:SoK + 13 框架统一基准实测(超 100 亿 token)
A8 2026-04 Automation-Exploit: A Multi-Agent LLM Framework for Adaptive Offensive Security with Digital Twin-Based Risk-Mitigated Exploitation ⭐新补充 Biagio Andreucci, Arcangelo Castiglione arXiv 数字孪生隔离调试的"风险缓解型"多 Agent 黑盒攻击链
A9 2026-03 Red-MIRROR: Agentic LLM-based Autonomous Penetration Testing with Reflective Verification and Knowledge-augmented Interaction ⭐新补充 Tran Vy Khang et al. arXiv 记忆-反思骨干 + RAG,XBOW 基准 86%
A10 2026-03 STRIATUM-CTF: A Protocol-Driven Agentic Framework for General-Purpose CTF Solving ⭐新补充 James Hugglestone et al. arXiv MCP 协议驱动通用 CTF Agent,真实赛事击败 21 支人类战队夺冠
A11 2026-03 Towards Reliable Local Security Agents: Verifiable Post-Training for Linux Privilege Escalation ⭐新补充 Philipp Normann, Andreas Happe et al. arXiv SFT+RLVR 后训练 4B 本地模型,Linux 提权 93.3%、成本降 80×
A12 2026-03 PTFusion: LLM-driven context-aware knowledge fusion for web penetration testing ⭐新补充 Wang et al. Information Fusion 2026 上下文感知知识融合的 Web 渗透策略规划
A13 2026-03 Building adaptative and transparent cyber agents with local language models ⭐新补充 Maria Rigaki Expert Systems with Applications 2026 本地 LLM 构建自适应、可解释攻击 Agent
A14 2026-02 AWE: Adaptive Agents for Dynamic Web Penetration Testing ⭐新补充 Akshat Singh Jaswal et al. NDSS 2026 stuxlabs/AWE:记忆增强多 Agent 动态 Web 渗透
A15 2026-02 What Makes a Good LLM Agent for Real-world Penetration Testing? ⭐新补充 Gelei Deng et al. arXiv Excalibur:难度感知规划 + 证据引导攻击树搜索,GOAD 攻陷 4/5 主机
A16 2026-02 LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks ⭐新补充 Andreas Happe Empirical Software Engineering 2026 自主 Linux 提权攻击实证
A17 2026-01 PenForge: On-the-Fly Expert Agent Construction for Automated Penetration Testing Huihui Huang et al. ICSE-NIER 2026 动态构造领域专家 Agent,CVE-Bench 零日设定 30%(SOTA 3×)
A18 2026-01 WiFiPenTester: Advancing Wireless Ethical Hacking with Governed GenAI ⭐新补充 Haitham S. Al-Sinani, Chris J. Mitchell arXiv 治理型 GenAI 无线渗透(人在回路)
A19 2026-01 CTFAgent: An LLM-powered Agent for CTF Challenge Solving ⭐新补充 Yuwen Zou JISA 2026 LLM 驱动 CTF 解题 Agent
A20 2026 AI-Driven Penetration Testing for ARM Systems: Experimental Evaluation and Deployment Framework Across Four Paradigms ⭐新补充 Matthew Ragsdale IEEE Access 2026 ARM 平台四范式 AI 渗透评估
A21 2025-12 PentestEval: Benchmarking LLM-based Penetration Testing with Modular and Stage-Level Design ⓝ Ruozhao Yang et al. arXiv 六阶段模块化渗透评测,346 任务
A22 2025-12 Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing ⓝ Justin W. Lin et al.(Stanford) ICLR 2026 Stanford-Trinity/ARTEMIS:8,000 主机企业网,胜 9/10 人类专家
A23 2025-12 Automated Penetration Testing with LLM Agents and Classical Planning ⭐新补充 Lingzhi Wang et al. arXiv CHECKMATE:经典规划作外置"结构化大脑",超 Claude Code 20%
A24 2025-11 Controller Makes Pentesting Better: An Improved Multi-Agent Automated Penetration Testing Framework ⭐新补充 Geng et al. IEEE TrustCom 2025 Controller 跨阶段调度多 Agent 渗透
A25 2025-11 Automated tactics planning for cyber attack and defense based on large language model agents ⭐新补充 Yimo Ren Neural Networks 2025 LLM Agent 攻防战术自动规划
A26 2025-10 AutoPentester: An LLM Agent-based Framework for Automated Pentesting ⓝ Yasod Ginige et al. IEEE TrustCom 2025 全自动渗透,子任务完成率较 PentestGPT +27%
A27 2025-09 xOffense: An Autonomous Multi-Agent Framework for Penetration Testing with Domain-Adapted Large Language Models Phung Duc Luong et al. arXiv 微调 Qwen3-32B 多 Agent,子任务 79.17%
A28 2025-09 Guided Reasoning in LLM-Driven Penetration Testing Using Structured Attack Trees ⓝ Katsuaki Nakano et al. arXiv MITRE ATT&CK 攻击树约束推理,查询量大幅下降
A29 2025-09 PentestMCP: LLM and MCP Based Multi-Agent Framework for Automated Penetration Testing ⭐新补充 Jiqiang Zhai et al. Research Square(预印本·在审) LLM + MCP + RAG 端到端自动渗透
A30 2025-08 Multi-Agent Penetration Testing AI for the Web (MAPTA) Isaac David, Arthur Gervais arXiv arthurgervais/mapta:XBOW 76.9%,10 项发现进入 CVE 评审
A31 2025-08 Chimera: Harnessing Multi-Agent LLMs for Automatic Insider Threat Simulation ⭐新补充 — NDSS 2026 fish98/Chimera:多 Agent 内部威胁自动化模拟
A32 2025-08 CurriculumPT: LLM-Based Multi-Agent Autonomous Penetration Testing with Curriculum-Guided Task Scheduling Xingyu Wu et al. Applied Sciences 2025 课程式由易到难任务调度 + 经验知识库
A33 2025-08 Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage RL ⓝ He Kong et al. arXiv 离线+在线两阶段 RL,8B 模型比肩 GPT-4o
A34 2025-08 Automated penetration testing: Formalization and realization ⭐新补充 Charilaos Skandylas Computers & Security 2025 自动化渗透测试的形式化与实现
A35 2025-07 PenTest2.0: Towards Autonomous Privilege Escalation Using GenAI ⓝ Haitham S. Al-Sinani, Chris J. Mitchell arXiv RAG + CoT + 任务树自主提权
A36 2025-07 On the Surprising Efficacy of LLMs for Penetration-Testing ⓝ Andreas Happe, Jürgen Cito arXiv LLM 渗透有效性实证(含恶意采用视角)
A37 2025-05 AutoPentest: Enhancing Vulnerability Management With Autonomous LLM Agents ⓝ Julius Henke arXiv GPT-4o + LangChain 黑盒渗透
A38 2025-05 RedTeamLLM: an Agentic AI framework for offensive security Brian Challita, Pierre Parrend arXiv 总结-推理-行动循环,含错误恢复
A39 2025-05 RefPentester: A Knowledge-Informed Self-Reflective Penetration Testing Framework Based on Large Language Models ⭐新补充 Hanzheng Dai et al. arXiv ipa-lab/hackingBuddyGPT:七状态机自反思渗透
A40 2025-04 CAI: An Open, Bug Bounty-Ready Cybersecurity AI ⓝ Víctor Mayoral-Vilches et al.(aliasrobotics) arXiv aliasrobotics/cai:首个网络安全自主等级分类
A41 2025-02 Construction and Evaluation of LLM-based agents for Semi-Autonomous penetration testing ⓝ Masaya Kobayashi et al. arXiv 多 LLM 模块半自主渗透
A42 2025-02 RapidPen: Fully Automated IP-to-Shell Penetration Testing with LLM-based Agents ⓝ Sho Nakatani(SecDevLab) arXiv IP→Shell 全自动,单次 $0.3-0.6
A43 2025-02 PenTest++: Elevating Ethical Hacking with AI and Automation ⓝ Haitham S. Al-Sinani, Chris J. Mitchell arXiv 道德黑客 AI 自动化升级
A44 2025-02 Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks Andreas Happe, Jürgen Cito ACM TOSEM 2025 andreashappe/cochise:GOAD 全自主 AD 渗透
A45 2025-02 D-CIPHER: Dynamic Collaborative Intelligent Multi-Agent System with Planner and Heterogeneous Executors for Offensive Security Meet Udeshi et al.(NYU) arXiv NYU-LLM-CTF/nyuctf_agents:Planner-Executor 架构
A46 2025-02 ARACNE: An LLM-Based Autonomous Shell Pentesting Agent ⭐新补充 Tomas Nieponice et al. arXiv 多 LLM 自主 Shell 渗透,OTW Bandit 57.58%
A47 2025-01 Incalmo: An Autonomous LLM-assisted System for Red Teaming Multi-Host Networks Brian Singer et al.(CMU) arXiv 多主机红队,MHBench 40 网络 37 成功
A48 2025-01 VulnBot: Autonomous Penetration Testing for A Multi-Agent Collaborative Framework He Kong et al. arXiv KHenryAegis/VulnBot:渗透任务图 PTG
A49 2024-12 HackSynth: LLM Agent and Evaluation Framework for Autonomous Penetration Testing Lajos Muzsai et al.(ELTE) arXiv aielte-research/HackSynth:PicoCTF/OTW 200 题
A50 2024-12 Hacking CTFs with Plain Agents ⓝ Rustem Turtayev et al. arXiv 朴素 Agent 饱和 InterCode-CTF(95%)
A51 2024-11 PentestAgent: Incorporating LLM Agents to Automated Penetration Testing Xiangmin Shen et al. AsiaCCS 2025 GH05TCREW/pentestagent
A52 2024-11 AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? ⓝ Benlong Wu et al. arXiv 渗透状态机 PSM,任务完成 22%→41%
A53 2024-09 BreachSeek: A Multi-Agent Automated Penetration Tester Ibrahim Alshehri et al. arXiv LangGraph 多 Agent 渗透
A54 2024-09 Hacking, The Lazy Way: LLM Augmented Pentesting ⓝ Dhruva Goyal et al. arXiv bugbasesecurity/pentest-copilot:浏览器内 LLM 增强渗透
A55 2024-09 EnIGMA: Interactive Tools Substantially Assist LM Agents in Finding Security Vulnerabilities Talor Abramovich et al.(NYU) ICML 2025 交互式工具(gdb 等)CTF Agent,识别"独白"幻觉现象
A56 2024-08 CIPHER: Cybersecurity Intelligent Penetration-testing Helper for Ethical Researcher ⓝ Derry Pratama et al. Sensors 2024 300+ writeup 训练的渗透垂域模型 + FARR 基准
A57 2024-08 ChainReactor: Automated Privilege Escalation Chain Discovery via AI Planning ⭐新补充 Giulio De Pasquale et al. USENIX Security 2024 PDDL 经典规划(非 LLM)自动提权链发现
A58 2024-07 PenHeal: A Two-Stage LLM Framework for Automated Pentesting and Optimal Remediation ⓝ Junjie Huang, Quanyan Zhu ACSW 2024 两阶段:渗透 + 最优修复
A59 2024-07 From Sands to Mansions: Towards Automated Cyberattack Emulation with Classical Planning and Large Language Models ⓝ Lingzhi Wang et al. ACNS 2026 Aurora:CTI 报告→攻击链自动编排(250 报告数据集)
A60 2024-03 AutoAttacker: A Large Language Model Guided System to Implement Automatic Cyber-attacks Jiacen Xu et al.(UC Irvine) arXiv 后渗透"hands-on-keyboard"自动化攻击
A61 2023-08 PentestGPT: An LLM-empowered Automatic Penetration Testing Tool Gelei Deng et al.(NTU) USENIX Security 2024 GreyDGL/PentestGPT:奠基之作
A62 2023-07 Getting pwn'd by AI: Penetration Testing with Large Language Models Andreas Happe, Jürgen Cito(TU Wien) ESEC/FSE 2023 奠基论文,hackingBuddyGPT 前身

B. 漏洞挖掘 / 利用 / 修复

Vulnerability Discovery / Exploitation / Repair

# 时间 论文 作者 / 机构 发表渠道 关联项目 / 主题
B1 2026-05 FuzzingBrain V2: A Multi-Agent LLM System for Automated Vulnerability Discovery and Reproduction Ze Sheng et al. arXiv 构建于 OSS-Fuzz,实战挖出 29 个 0day(2 个获 CVE),AIxCC 数据集 90% 检出
B2 2026-02 FirmAgent: Leveraging Fuzzing to Assist LLM Agents with IoT Firmware Vulnerability Discovery ⭐新补充 Jiangan Ji et al.(清华/信息工程大学) NDSS 2026 AxiaoJJ/FirmAgent:Fuzzing + 双 LLM Agent 的 IoT 固件漏洞发现与 PoC 生成
B3 2025-10 LLM Agents for Automated Web Vulnerability Reproduction: Are We There Yet? ⓝ Bin Liu et al. arXiv 20 个 Agent × 80 真实 CVE 漏洞复现实证
B4 2025-09 VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing LLM Vulnerability Repair ⓝ Weizhe Wang et al. arXiv 基于 PoC exploit 的修复评测(12 LLM,最高仅 21.7%)
B5 2025-09 All You Need Is A Fuzzing Brain: An LLM-Powered System for Automated Vulnerability Detection and Patching ⓝ Ze Sheng et al.(o2lab) arXiv AIxCC 决赛第 4 名 CRS 论文,28 漏洞(含 6 个 0day),附公开榜单
B6 2025-09 LLM-Driven SAST-Genius: A Hybrid Static Analysis Framework for Comprehensive and Actionable Security ⓝ Vaibhav Agrawal, Kiarash Ahi arXiv SAST + LLM 混合静态分析,误报降约 91%
B7 2025-09 ATLANTIS: AI-driven Threat Localization, Analysis, and Triage Intelligence System ⓝ Taesoo Kim et al.(Team Atlanta) arXiv AIxCC 决赛冠军 CRS 论文(符号执行 + 定向 fuzz + LLM)
B8 2025-08 Prompt to Pwn: Automated Exploit Generation for Smart Contracts ⓝ ZeKe Xiao et al. ACISP 2026 ReX 框架:LLM + Foundry 端到端智能合约 Exploit 生成
B9 2025-07 LLMxCPG: Context-Aware Vulnerability Detection Through Code Property Graph-Guided Large Language Models ⓝ Ahmed Lekssays et al. USENIX Security 2025 CPG 切片 + LLM,代码量降 67-91%、F1 +15-40%
B10 2025-07 MalCodeAI: Autonomous Vulnerability Detection and Remediation via Language Agnostic Code Reasoning ⓝ Jugal Gajjar et al. IEEE IRI 2025 跨 14 语言漏洞检测 + 修复(LoRA 微调 Qwen2.5-Coder-3B)
B11 2025-07 PwnGPT: Automatic Exploit Generation Based on Large Language Models ⓝ Wanzong Peng et al. ACL 2025 CTF 二进制 pwn 自动 Exploit 生成(分析-生成-验证三模块)
B12 2025-05 VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation ⓝ Ethan TS. Liu et al. arXiv 漏洞处理四维人评基准(174 真实漏洞)
B13 2025-04 CVE-Bench (NAACL): Benchmarking LLM-based Software Engineering Agent's Ability to Repair Real-World CVE Vulnerabilities ⓝ Peiran Wang et al. NAACL 2025 509 个真实 CVE 修复评测(注:与 ICML 版同名不同任务)
B14 2025-03 CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Vulnerabilities Yuxuan Zhu et al.(UIUC Kang Lab) ICML 2025 uiuc-kang-lab/cve-bench:真实 Web CVE 利用评测
B15 2025-03 CASTLE: Benchmarking Dataset for Static Code Analyzers and LLMs towards CWE Detection ⓝ Richard A. Dubniczky et al. arXiv 25 类 CWE × 250 微基准程序
B16 2024-10 HonestCyberEval: An AI Cyber Risk Benchmark for Automated Software Exploitation ⓝ Dan Ristea, Vasilios Mavroudis arXiv 自动化利用能力风险基准(o1-preview 92.85%)
B17 2024-07 eyeballvul: a future-proof benchmark for vulnerability detection in the wild ⓝ Timothee Chauvin arXiv 每周更新、防训练泄漏的漏洞检测基准
B18 2024-06 Teams of LLM Agents can Exploit Zero-Day Vulnerabilities Yuxuan Zhu et al.(UIUC) arXiv HPTSA:规划 Agent + 子 Agent 协作 0day 利用(+4.3×)
B19 2024-04 LLM Agents can Autonomously Exploit One-day Vulnerabilities Richard Fang et al.(UIUC) arXiv GPT-4 给定 CVE 描述利用 87%,无描述仅 7%
B20 2024-02 LLM Agents can Autonomously Hack Websites Richard Fang et al.(UIUC) arXiv 早期工作:GPT-4 自主盲注/SQLi 攻击网站

C. 评测基准 & 训练方法 & 综述 & 奠基

Evaluation Benchmarks, Training Methods, Surveys & Foundational

# 时间 论文 作者 / 机构 发表渠道 关联项目 / 主题
C1 2026-08 RangeFactory: Scalable Construction of Multi-Hop Cyber Ranges ⭐新补充 Hanlin Jiang et al.(北大) arXiv 多跳靶场自动编排,RangeBench 1,148 实例 × 287 攻击链
C2 2026-08 CyberForge: Verified Vulnerability Injection at Repository Level for Cybersecurity Agent Training ⭐新补充 Amine Lbath et al.(NIST/UMD) arXiv Cyb3rForge/CyberForge:仓库级漏洞注入合成训练数据(1,034 实例)
C3 2026-07 Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing ⭐新补充 Ananda Dhakal et al. arXiv 同模型 plain-agent 基线对照,质疑安全 harness 增益归因
C4 2026-06 AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges ⭐新补充 Fengyu Liu et al.(复旦) arXiv AgentCyberRange:110 漏洞 × 8 企业级靶场,GPT-5.5+Codex 最优
C5 2026-06 CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities ⭐新补充 Tianneng Shi et al.(UC Berkeley) ICML 2026 920 真实漏洞端到端(发现→PoC→补丁)
C6 2026-05 CTFusion: A CTF-based Benchmark for LLM Agent Evaluation Dongjun Lee, Ga-eun Bae, Insu Yun ICML 2026 AIWILD Workshop 基于 Live CTF 的流式评测,抗数据污染/作弊
C7 2026-05 ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? ⭐新补充 Zhun Wang et al.(UC Berkeley) arXiv 898 实例"漏洞→利用"基准(用户态/V8/内核),Claude Mythos Preview 157 题
C8 2026-05 How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency ⭐新补充 Galip Tolga Erdem arXiv 4 模型 × 100 次同目标攻击一致性实证
C9 2026-04 Autonomous LLM Agents & CTFs: A Second Look ⭐新补充 Youness Bouchari et al. EuroS&P 2026 Workshop 复检"接近人类"论断:claude-code 通用 Agent 即强基线
C10 2026-04 Towards Optimal Agentic Architectures for Offensive Security Tasks ⭐新补充 Isaac David, Arthur Gervais arXiv 600 次运行的架构族消融(白盒 vs 黑盒、Web vs 二进制)
C11 2026-03 Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios ⭐新补充 Linus Folkerts et al. arXiv 32 步企业网 + 7 步工控攻击链,性能随算力对数线性扩展
C12 2025-11 From Capabilities to Performance: Evaluating Key Functional Properties of LLM Architectures in Penetration Testing ⭐新补充 Lanxiao Huang et al. EMNLP 2025 记忆/通信/规划/监控五类功能增强对渗透成功率的影响
C13 2025-11 Measuring and Augmenting Large Language Models for Solving Capture-the-Flag Challenges ⭐新补充 Zimo Ji et al. ACM CCS 2025 CTF 求解能力测量与增强
C14 2025-10 PACEbench: A Framework for Evaluating Practical AI Cyber-Exploitation Capabilities ⓝ Zicheng Liu et al. ICLR 2026 实战 AI 网络利用能力评测(单点/混合/链式/带防御)
C15 2025-10 HackWorld: Evaluating Computer-Use Agents on Exploiting Web Application Vulnerabilities ⭐新补充 Xiaoxue Ren et al. ICLR 2026 GUI-Agent/HackWorld:CUA 视觉交互漏洞利用评测
C16 2025-08 Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark Minghao Shao et al.(NYU) AAAI 2026 CTFTiny + CTFJudge + CCI 部分正确性指标
C17 2025-08 Training Language Model Agents to Find Vulnerabilities with CTF-Dojo ⭐新补充 Terry Yue Zhuo et al.(Amazon) arXiv amazon-science/CTF-Dojo:658 个容器化 CTF 可执行训练环境
C18 2025-07 Cyber-Zero: Training Cybersecurity Agents without Runtime Terry Yue Zhuo et al.(Amazon AGI) ICLR 2026 amazon-science/Cyber-Zero:无运行时轨迹合成训练
C19 2025-06 CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale Zhun Wang et al.(UC Berkeley Sunblaze) ICLR 2026 sunblaze-ucb/cybergym:1,507 真实漏洞,衍生 34 个 0day
C20 2025-06 SEC-bench: Automated Benchmarking of LLM Agents on Real-World Software Security Tasks Hwiwon Lee et al. NeurIPS 2025 SEC-bench/SEC-bench:PoC 生成 + 补丁全自动评测
C21 2025-05 Forewarned is Forearmed: A Survey on Large Language Model-based Agents in Autonomous Cyberattacks ⭐新补充 Minrui Xu et al. arXiv LLM Agent 自主网络攻击综述("网络威胁通胀")
C22 2025-04 Benchmarking Practices in LLM-driven Offensive Security: Testbeds, Metrics, and Experiment Design ⓝ Andreas Happe, Jürgen Cito arXiv 19 篇原型评测方法学批判
C23 2025 A Unified Modeling Framework for Automated Penetration Testing ⭐新补充 — Computers & Security 2025 AutoPT 统一建模框架
C24 2025-02 OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities ⓝ Michael Kouremetis et al. arXiv 进攻性网络作战能力评测(TACTL/CyberLayer)
C25 2024-10 AutoPenBench: Benchmarking Generative Agents for Penetration Testing Luca Gioacchini et al.(Politecnico di Torino) EMNLP Industry 2025 lucagioacchini/auto-pen-bench:33 任务
C26 2024-10 Catastrophic Cyber Capabilities Benchmark (3CB): Robustly Evaluating LLM Agent Cyber Offense Capabilities ⭐新补充 Andrey Anurin et al.(Apart Research) arXiv apartresearch/3cb:进攻能力稳健评测
C27 2024-10 Towards Automated Penetration Testing: Introducing LLM Benchmark, Analysis, and Improvements ⓝ Isamu Isozaki et al. ACM UMAP 2025 渗透 LLM 基准 + PentestGPT 消融改进
C28 2024-08 Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models Andy K. Zhang et al.(Stanford CRFM) ICLR 2025 Oral andyzorigin/cybench:40 道专业 CTF
C29 2024-07 SoK: A Comparison of Autonomous Penetration Testing Agents ⭐新补充 Raphael Simon ARES 2024 AutoPT Agent 系统化对比 SoK
C30 2024-06 NYU CTF Bench: A Scalable Open-Source Benchmark for Evaluating LLMs in Offensive Security Minghao Shao et al.(NYU) NeurIPS 2024 D&B NYU-LLM-CTF/NYU_CTF_Bench:CSAW 200 题
C31 2024-05 Got Root? A Linux Priv-Esc Benchmark ⭐新补充 Andreas Happe, Jürgen Cito arXiv Linux 提权能力标准化基准
C32 2024-02 An Empirical Evaluation of LLMs for Solving Offensive Security Challenges ⭐新补充 Minghao Shao et al.(NYU) NeurIPS 2024 NickNameInvalid/LLM_CTF:早期全自动 CTF 工作流实证,超人类平均
C33 2024 自动化渗透测试技术研究综述 ⭐新补充 — 软件学报 2024 中文视角的自动化渗透测试技术综述
C34 2023-06 InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback John Yang et al.(Princeton NLP) NeurIPS 2023 D&B princeton-nlp/intercode:交互式执行反馈奠基基准

注:会议/期刊年份为论文实际收录会议届期;arXiv 时间为 v1 提交月份。来源致谢:tmylla/Awesome-LLM4Cybersecurity、EvanThomasLuke/Awesome-AI-Hacking-Agents、simon-p-j-r/LLM4Pentest(2026-09-11 逐篇交叉核对)。本轮移除的 4 篇"攻击 AI 系统 / LLM 自身安全"类论文:UDora(劫持 LLM Agent 推理的红队框架)、AgentPoison(LLM Agent 记忆投毒后门)、CyberSecEval 1/3(LLM 安全编码与风险评测,其基准本体仍保留于 Benchmark 章节)。 Note: conference years refer to actual proceedings; arXiv dates are v1. Credits to the awesome lists above. Four "attacking-AI / LLM-safety" papers removed this round: UDora, AgentPoison, and CyberSecEval 1/3 (the CyberSecEval benchmark family itself remains in the Benchmark section).


🧪 Agent 能力评测 Benchmark

Agent Capability Benchmarks (sorted by stars, desc)

用于评估渗透测试 / 网络安全 / CTF / 红队 Agent 能力的开源 benchmark。 Open-source benchmarks for evaluating pentest / cybersecurity / CTF / red-team Agent capabilities.

# Benchmark 仓库 Stars 时间 任务规模 评测重点 关联论文
1 TSecBench ⭐新补充 tsecbench.zc.tencent.com — 2026-07 从腾讯云黑客松诞生,采用闭卷模式,结果更准确 🔥 腾讯安全云鼎实验室出品,智能攻防 AI Agent 统一跑分基准,覆盖 Web/二进制漏洞挖掘、漏洞利用、多阶段渗透、云攻击、对抗规避 6 大维度,支持 3 种 Agent 接入方式 —
2 CyberSecEval (1/2/3/4) meta-llama/PurpleLlama 4.4k 2023-12 跨多类任务(不安全代码 / Prompt Injection / 攻击辅助 / AutoPatchBench 等) Meta 出品,覆盖 LLM "防/攻"两端 arXiv:2312.04724 / arXiv:2408.01605
3 CyberGym sunblaze-ucb/cybergym 784 2025-06 真实世界漏洞分析任务(240GB 数据集) UC Berkeley 出品,强调 real-world,配 4 个示例 Agent(Star 一个多月翻倍,375→784) arXiv:2506.02548(ICLR 2026)
4 XBOW Validation Benchmarks xbow-engineering/validation-benchmarks 694 2025-06 104 道 Web 漏洞挑战(Jeopardy CTF) XBOW(首个登顶 HackerOne 的 AI)出品;⚠️ 已被主流模型刷至约 100% 饱和,仓库转为历史保留 XBOW Engineering Blog
5 Cybench andyzorigin/cybench 317 2024-08 40 道专业级 CTF 任务(17 个子任务) Stanford CRFM,支持 Unguided / Subtask 双模式 arXiv:2408.08926(ICLR 2025)
6 InterCode-CTF princeton-nlp/intercode 255 2023-06 100 道 picoCTF 题 Bash/SQL/Python/CTF 交互式代码 Agent 评测 arXiv:2306.14898(NeurIPS 2023 D&B)
7 NYU CTF Bench NYU-LLM-CTF/NYU_CTF_Bench 171 2024-06 200 题正式 + 55 题开发集,6 大类 CSAW CTF 历年题目 + Docker 化部署 arXiv:2406.05590(NeurIPS 2024 D&B)
8 AutoPenBench lucagioacchini/auto-pen-bench 97 2024-10 33 个任务(22 In-Vitro + 11 真实 CVE) 生成式 Agent 渗透测试通用评测 arXiv:2410.03225(EMNLP Industry 2025)
9 inspect_cyber UKGovernmentBEIS/inspect_cyber 38 2025-06 通用扩展(任务可插拔) UK AI Security Institute 官方 Agentic Cyber 评估扩展 —
10 CVE-Bench uiuc-kang-lab/cve-bench — 2025-03 40 个 critical 严重程度 CVE 首个基于真实 CVE 的 Web 漏洞利用 Agent 评测 arXiv:2503.17332(ICML 2025)
11 BountyBench bountybench/bountybench — 2025-05 25 个真实 GitHub 项目 + Bug Bounty 用美元金额量化攻防影响力 Stanford CRFM Blog(2025-05)
12 SEC-bench SEC-bench/SEC-bench — 2025-06 200 个 C/C++ 真实 CVE,PoC + 补丁双任务 首个全自动化的真实安全工程评测 arXiv:2506.11791(NeurIPS 2025)
13 CTFTiny NYU-LLM-CTF/CTFTiny — 2025-08 50 题轻量 CTF 子集 配套 CTFJudge(LLM-as-a-Judge),降低复现成本 arXiv:2508.05674(AAAI 2026)

备注:标 — 的 Stars 表示数据缺失或仓库较新。许多 Agent 项目(PentestGPT、cochise、xOffense、Cyber-Zero、deadend-cli 等)会在自己 README 中报告在 NYU CTF Bench / Cybench / AutoPenBench / XBOW 等 Benchmark 上的得分。 Note: "—" means missing data or a new repo. Many agent projects report scores against these benchmarks in their own READMEs.

Benchmark 选型小贴士|Selection Cheatsheet

评测目标 / Goal 推荐 Benchmark / Recommendation
通用 CTF 能力 / General CTF NYU CTF Bench(200 题)、Cybench(40 题精选)、InterCode-CTF(轻量起步)
真实漏洞利用 / Real-world Exploit XBOW(104 Web)、CyberGym(真实漏洞 240GB)、AutoPenBench(CVE 任务)、CVE-Bench(Web)、SEC-bench(C/C++ CVE)、TSecBench(云鼎黑客松靶场)
LLM 安全 / 红队基础 / LLM Safety & Red Team CyberSecEval(Meta 全家桶)
经济影响量化 / Economic Impact BountyBench
政府级评估扩展 / Government-grade inspect_cyber(UK AISI)
快速回归 / Lightweight Regression CTFTiny

💼 商业化解决方案

Commercial Solutions

本节盘点全球范围内主流的 AI / Agentic 智能渗透测试 / 自主攻击安全 商业化产品。分为「国外」与「国内」两个子表。国外部分经全网核查(融资记录、公司估值、官网定价、并购/退出事件、权威媒体报道)后,按公司/产品的融资规模、估值与行业影响力精选 Top 20——原列表中缺乏可查融资证据、无第三方媒体报道、疑似早期占位官网的长尾条目已剔除(如 KinoSec、Casco、PentX、Revelion、qriousec、Penligent、bugbunny ai、Sec1、Zentinel、Shinobi Security、AutoVAPT.ai、RedVeil.ai、PAIStrike、Novee、AISLE、Pensar、Origin/Prelude、Hound、PentestGPT Pro 等)。国外首位为 Anthropic 的 Mythos(本身为前沿模型而非纯渗透产品,但其安全能力已构成该赛道的现象级存在,故保留)。 This section enumerates representative commercial AI / Agentic penetration testing & autonomous offensive security products worldwide. The international table has been fact-checked against funding records, valuations, official pricing pages, M&A/exit events, and credible media coverage, then narrowed to the Top 20 by funding scale, valuation, and market influence — long-tail entries lacking verifiable funding or press coverage were removed.

🌍 国外厂商 Top 20(按融资规模 / 估值 / 影响力排序)

International Vendors — Top 20 (ranked by funding, valuation & market influence)

# 公司 产品 官网 融资 / 估值 / 影响力证据 产品定位与特色
1 Anthropic ⭐新补充 Claude Mythos anthropic.com/claude/mythos 万亿美元级估值母公司,Project Glasswing 覆盖 150+ 关键基础设施机构 🔥 2026 年最受关注的 AI 安全模型,无需专项安全训练即能发现数千 0day 并自主编写完整利用链,被美国财政部与美联储联合推荐
2 Pentera Pentera AVP pentera.io 累计融资 $250-314M,估值 $1B,ARR 突破 $100M(2026-01),1200+ 企业客户 AI 驱动的暴露验证平台(Exposure Validation),覆盖身份/终端/网络/云,持续真实攻击模拟(含 LockBit/BlackCat 等勒索家族)
3 XBOW XBOW xbow.com 2026-03 完成 $120M Series C(DFJ Growth/Northzone 领投),估值超 $1B,成立仅 26 个月即成独角兽 首个登顶 HackerOne 排行榜的 AI,自主攻击性安全平台,真实 exploit 独立验证每一发现
4 Aikido Security Aikido AI Pentest aikido.dev/attack/aipentest 2026-01 完成 $60M Series B(DST Global 领投),估值 $1B,欧洲史上最快独角兽网络安全公司 All-in-one 应用安全平台,AI Pentest 为其模块之一,代码/云/应用统一安全平台
5 SPLX SPLX (含 agentic-radar) splx.ai 2025-11 被纳斯达克上市公司 Zscaler(NASDAQ: ZS)收购,商业化验证等级最高的退出事件 LLM Agent 工作流安全扫描 + 红队,开源 agentic-radar
6 Horizon3.ai NodeZero® horizon3.ai 累计融资 $183.5M,估值 $660-750M(NEA 领投 $100M Series D) 自称 "World's Best AI Hacker",无 Agent 部署,已执行 24 万+ 次自主渗透测试,客户含 NSA 与 4 家财富 10 强
7 Hadrian Hadrian hadrian.io 荷兰/伦敦网络安全公司,多轮 Growth 融资(Notion Capital 等机构),Gartner Peer Insights 常客 持续攻击面管理 + Agentic AI 自主渗透,覆盖域名/子域名/证书/IP 全资产测绘
8 RunSybil Sybil runsybil.com 2026-03 完成 $40M 融资(Khosla Ventures 领投),创始人为 OpenAI 首位安全员工 自主 Web 应用渗透 AI Agent,强调与人工 pentester 协作
9 Strix (Usestrix) Strix usestrix.com 开源版本 GitHub 60k+ Stars(社区影响力最高,一个多月激增 19k),商业化融资已启动 开源 + 商业双栈 AI 黑客,动态运行代码找漏洞并用真实 PoC 验证
10 Terra Security Terra Portal terra.security 2025-09 完成 $30M Series A(Felicis Ventures 领投),累计融资 $38M+ 首个 Agentic AI + Human-in-the-Loop 持续渗透测试平台
11 CalypsoAI Calypso calypsoai.com 累计融资 $40.8M,估值 $145M,2018 年成立的老牌厂商,Gartner Cool Vendor 企业级 GenAI 安全 + 红队评估
12 Corridor Corridor corridor.dev 2026-03 完成 $25M Series A,创始人 Jack Cable 为美国前 CISA 安全工程师 AI 生成代码实时安全护栏,源头级漏洞检测
13 Veria Labs Veria CTF Agent verialabs.com 2026-02 完成 $3.2M 种子轮,出自 CTFtime 美国第一战队,BSidesSF 2026 CTF 52/52 全胜夺冠 自主 CTF 求解 Agent,多模型并行"蜂群"架构
14 Dreadnode Dreadnode dreadnode.io 累计融资 $14M,估值 $60M,前 Microsoft AI Red Team 核心成员创办 攻击性 ML 研究平台,聚焦 AI 系统评测与网络靶场
15 Mindgard Mindgard mindgard.ai 累计融资 $11.9M,Lancaster University 学术孵化,2026 Gartner 新兴技术报告收录 专注 AI / LLM 红队(测 AI 模型本身),含 Mindgard Lite 自助平台
16 Hex Security Hex hex.co Y Combinator 2026 冬季批入选企业,已获种子轮融资 AI Agent 驱动的持续自主渗透测试
17 Harmony Intelligence Harmony harmonyintelligence.com 2025-03 完成 $3M 种子轮(Airtree 领投,30+ 投资人参与) AI 红队 + 安全评估,替代传统年度人工渗透
18 Theori Xint / Xint Code xint.io DARPA AIxCC 2025 决赛季军(RoboDuck),公开对比复现并超越 Anthropic Mythos 发现数 一线攻防专家创办的老牌安全公司,AI 代码审计与渗透产品
19 MindFort MindFort mindfort.ai 2026-04 完成 $3M+ 种子轮(Y Combinator/468 Capital/CRV 参投),创始人为 OpenAI/Anthropic 前员工 自主红队 AI Agent,长期在后台运行守护组织安全
20 Hacktron Hacktron AI hacktron.ai 累计融资 $3.5M,估值 $9.3M,创始团队为精英 CTF 竞技选手 端到端 AI 渗透 / 漏洞挖掘平台,每次代码变更即触发安全测试

🇨🇳 国内厂商

Domestic Vendors (China)

# 公司 产品 官网 产品定位与特色
1 绿盟科技 绿盟智能渗透系统 AI-PTS AI-PTS 产品页 基于"风云卫大模型 SecLLM + 多智能体(MAS)",2025-08 正式发布。聚焦 Web 应用安全测试与自动化渗透,含 8.8 万+ 漏洞知识图谱、8600+ POC 库
2 京东云 ⭐新补充 AIPTS AI 智能渗透测试服务 京东云 AIPTS 2026-06 正式上线,"One For All"理念服务多安全角色;自然语言发起任务 + AI 自动编排(资产探测/接口验证/漏洞分析)+ 攻击路径动态推进 + 一键生成攻击链证据报告,隶属京东云全栈大模型安全产品体系
3 360 ⭐新补充 "破阵子" 渗透测试智能体 360.cn 专属安全记忆机制(企业资产/权限/历史风险持续沉淀)+ 双引擎架构(批量常态化巡检 + 业务逻辑深度风险挖掘)+ 全流程闭环(发现→核验→整改复测);已具备 AI 应用新型风险检测(提示词注入/智能体越权),实战覆盖 132 家关基单位,发现 312 个有效漏洞(含 46 个 AI 新型漏洞),零误报
4 阿里云 ⭐新补充 Agentic BAS 智能渗透验证 阿里云开发者社区 2026-07-16 开放邀测,千问大模型驱动"三段式调度多 Agent 协同架构"(侦察/渗透/验证/报告 Agent + 中心调度),可还原完整攻击链(非孤立漏洞点),覆盖 AI 生成代码 / Agent 应用新型风险(Prompt 注入、工具滥用、RAG 投毒),支持每周例行自动验证与合规留痕
5 万径安全(Yaklang) 万径千机 / 小智 智能渗透机器人 megavector.cn 国内首款融合知识图谱与大模型的智能渗透机器人,"AI+YAK" 双引擎(YAK 为自研网络安全语言)
6 长亭科技 无锋 chaitin.com --
7 斗象科技(漏洞盒子) 蛙池AI digpool.cn 全球首款"原生 AI"漏洞挖掘工具 / 白帽工作台。对话式挖洞,AI 自主拆解渗透意图,内置 SQLi/XSS/RCE/上传等漏洞检测专家技能矩阵
8 奇安信 AI 加特林 自动化渗透测试系统 qianxin.com / AI "自动化漏洞攻击的火力平台",能在数分钟内将漏洞公告转为可执行的渗透链;与 QAX-GPT 安全大模型联动
9 安恒信息 AI 渗透测试智能体(基于恒脑 3.0) dbappsecurity.com.cn 国内首个安全垂域大模型"恒脑"驱动的渗透 Agent,三大能力:自动化风险发现 + 任务规划、智能调度渗透工具、深度解析被动流量
10 悬镜安全 灵脉 PTE AI 自动化渗透测试平台 pte.xmirror.cn 结合漏扫工具与专家渗透优势,将专家能力训练为 AI,半自动化 / 自动化检测业务逻辑漏洞

🎯 选型对照(按典型场景)

Pick by Scenario

场景 / Scenario 推荐产品(国外) 推荐产品(国内)
Web App / API 自主渗透 XBOW、Pentera、Strix、Mythos 绿盟 AI-PTS、京东云 AIPTS、斗象蛙池AI
生产环境安全验证 Horizon3.ai NodeZero、Pentera 绿盟 AI-PTS、阿里云 Agentic BAS
漏洞赏金 / Bug Hunting XBOW、Strix、Veria Labs 斗象蛙池AI、长亭 chainreactors
持续攻击面 + 攻击模拟 Hadrian、Pentera、Terra Security 360 破阵子、华云安灵刃
业务逻辑 / 复杂渗透 XBOW、RunSybil、Mythos 悬镜灵脉 PTE、万径千机 / 小智
火力打击型自动化漏洞利用 Horizon3.ai NodeZero、Mythos 奇安信 AI 加特林
LLM / Agent 红队(测 AI 本身) Mindgard、Dreadnode、SPLX(已被 Zscaler 收购) —
AI 生成代码 / Agent 新型风险 Corridor、Harmony Intelligence 阿里云 Agentic BAS、360 破阵子
CTF / 竞赛型自主求解 Veria Labs、Hacktron —

📚 Awesome List 资源汇编

Awesome List Collection

本节汇总专门收录 Offensive AI / AI 安全相关精选资源的 Awesome List 仓库,本文档大量内容来自这几个 list 的交叉合并。 This section gathers Awesome List–style repositories. This document is largely derived from cross-merging the following lists.

# 仓库 Stars 维护者 内容定位
1 fr0gger/Awesome-GPT-Agents ⭐新补充 6.6k fr0gger 网络安全 GPT Agents 全景清单,攻防双方向覆盖
2 jiep/offensive-ai-compilation 1.4k jiep 攻击性 AI 综合资源(对抗 ML / 渗透 / 钓鱼 / 生成式 AI 滥用)
3 ottosulin/awesome-ai-security 1.4k ottosulin 通用 AI 安全资源集合(攻防兼顾)
4 TalEliyahu/Awesome-AI-Security 861 TalEliyahu 偏 AI 系统防御侧的资源、研究与工具
5 EvanThomasLuke/Awesome-AI-Hacking-Agents 653 EvanThomasLuke AI Hacking Agent 全景 + AIxCC 决赛队伍 + 商业产品 + 论文(一个多月 Star 从 258 涨至 653)
6 raphabot/awesome-cybersecurity-agentic-ai ⭐新补充 578 raphabot 网络安全 Agentic AI 精选资源(MCP / 工具 / 框架 / 论文 / 社区)
7 Eyadkelleh/awesome-skills-security ⭐新补充 374 Eyadkelleh 基于 SecLists 精选打包的 Agent Skill 合集(Fuzzing/密码字典/Payload/Webshell/LLM 测试等),60+ Agent 兼容
8 simon-p-j-r/LLM4Pentest 352 simon-p-j-r 基于《Hackers or Hallucinators?》论文整理的 LLM 自动化渗透测试资源合集:105 篇学术论文 + 开源工具 / 博客 / 评测基准(自项目主表迁入)
9 gmh5225/awesome-ai-security 44 gmh5225 面向渗透测试者 / 漏洞猎人 / 安全研究的 AI 安全精选

⚠️ 变动说明(2026-09-02):原收录的 ox01024/awesome-offensive-security-ai 已被作者删除(404),本轮移除;EvanThomasLuke/Awesome-AI-Hacking-Agents 重新排序时反超 raphabot 列表。2026-09-07:simon-p-j-r/LLM4Pentest(352 Stars)实为资源合集而非 Agent 项目,自项目主表迁入本节。 Changelog note: ox01024/awesome-offensive-security-ai was deleted by its owner (404) and removed. 2026-09-07: simon-p-j-r/LLM4Pentest (352 stars) is a curated resource collection rather than an agent project, moved here from the main project table.


📊 统计概览

Statistics Overview

  • 项目总数 / Total projects:53(项目主表 46 个 + AIxCC CRS 系统 7 个;2026-09-07 移除 9 个偏离主线的项目,LLM4Pentest 迁入 Awesome List)
  • 进攻型 / 安全专用模型 / Models:11 个(A. 无对齐进攻型 6 个:Qwythos、WhiteRabbitNeo/DeepHat、Lily-Cybersecurity、BaronLLM、CyberStrike-OffSec-35B、BugTraceAI-CORE-Ultra-27B;B. 安全专用 5 个:VulnLLM-R、Foundation-Sec-8B-Reasoning、CyberSecQwen-4B、Meta-SecAlign、Titus-CybersecurityLLM)
  • 进攻型 AI Skill / Skills:3 个,均为 Star ≥ 100 的纯 Skill 项目(Anthropic-Cybersecurity-Skills、ctf-skills、awesome-skills-security)
  • 进攻型 AI MCP Server / MCP Servers:7 个,均为 Star ≥ 100 的安全工具集合类 MCP(PortSwigger mcp-server、MCP-Kali-Server、mcp-security-hub、MetasploitMCP、BloodHound-MCP-AI、mcp-shodan、pentest-mcp)
  • 收录论文 / Papers:116 篇(A. 渗透 & 红队 62 篇 / B. 漏洞挖掘 20 篇 / C. 评测 & 训练 34 篇;覆盖 2023-06 → 2026-08;2026-09-11 与 LLM4Pentest 交叉核对:勘误多项 + 补充 47 篇 + 移除 4 篇 LLM 自身安全类)
  • 收录 Benchmark / Benchmarks:13 个(覆盖 2023-06 → 2026-07)
  • 商业产品 / Commercial products:32 个(国外 Top 20,经融资/估值/媒体报道核查精选 + 国内 12)
  • Awesome List:9 个(2026-09-07 新增 LLM4Pentest 资源合集;此前 ox01024/awesome-offensive-security-ai 已被作者删除并移除)
  • 主要语言 / Languages:Python ≈ 70%,TypeScript ≈ 12%,Go ≈ 8%,其他 ≈ 10%
  • 领域趋势 / Trends:
    • 2023:方向探索(Happe & Cito、PentestGPT、InterCode-CTF)
    • 2024:基础工作落地 + 评测基准建立(Cybench、NYU CTF Bench、AutoPenBench、EnIGMA、Fang 三部曲、PenHeal、AutoPT)
    • 2025:多 Agent 协作 + 训练方法 + 自主 AD 渗透 + 真实 CVE 评测 + AIxCC 决赛 + RL 渗透 + 实证研究(VulnBot、cochise、D-CIPHER、Cyber-Zero、xOffense、CVE-Bench、SEC-bench、CyberGym、ATLANTIS、Buttercup、RapidPen、Pentest-R1、OCCULT、PACEbench)
    • 2026 起:商业化加速(XBOW、Pentera、Horizon3.ai、Hacktron、MindFort、Anthropic Mythos 等纷纷涌现)+ 持续基准化(PentestEval、PenForge、CTFusion、HackWorld、ExploitGym、AgentCyberRange)+ 靶场与训练数据基建(RangeFactory、CyberForge、CTF-Dojo)+ 攻防闭环与实战化(ZERO-APT 攻防裁判闭环、FuzzingBrain V2 实战挖 0day、Agents4Pentest 综述成型)

🕐 最后更新时间 / Last updated:2026-09-11 (UTC+8)


⚠️ 免责声明

Disclaimer

本文档汇总的所有项目、论文与 Benchmark 仅供学习研究、企业内部安全防护与授权渗透测试使用。 在任何情况下,使用者均须严格遵守所在国家和地区的法律法规以及目标组织的授权范围;严禁将其用于未经授权的攻击、入侵、破坏或其他任何违法活动。任何因滥用本文档收录内容而引发的法律责任、经济损失或安全后果,均由使用者自行承担,与本文档作者及所列项目维护者无关。

All projects, papers, and benchmarks compiled in this document are intended solely for learning, internal enterprise security hardening, and authorized penetration testing. Users must strictly comply with the laws and regulations of their jurisdiction as well as the authorization scope granted by the target organization. Any unauthorized attack, intrusion, sabotage, or other illegal activities are strictly prohibited. Any legal liability, financial loss, or security consequence resulting from misuse of the contents herein shall be borne entirely by the user, and is unrelated to the authors of this document or the maintainers of the listed projects.

Explore related projects