wgzhao/addax-admin
wgzhao/addax-admin has 38 GitHub stars and 9 forks. Star changes are not measured yet. Last checked 2026-11-15 22:19 UTC. Last push 2026-11-15.
Gemessener Sternzuwachs
- in 24h
- Aktualisierung verzögert
- in 7 days
- Aktualisierung verzögert
- in 15 days
- Aktualisierung verzögert
- in 1 month
- Aktualisierung verzögert
Nettoänderungen in überlappenden Zeiträumen, keine Tagessummen. Fehlende Messwerte bleiben leer. Sterne zeigen Interesse, nicht Qualität.
Über uns
面向 Addax 离线引擎的 T+1 ODS 采集控制台:采集定义、调度、补数、对账、告警与审计一体。开源,Java 21 + Vue 3。
DatenREADME.md
Original
让数据采集像水电一样可靠
面向 Addax 离线引擎的 T+1 ODS 采集控制台
快速开始 · 文档 · 界面预览 · 路线图 · 发布记录 · Docker Hub
产品定位
Addax Admin 是 Addax 离线 ETL 引擎的企业级管理与运维控制台,专注 T+1 ODS 层数据落地。它在同一个界面里完成采集定义、调度执行、补数回补、数据对账、告警与审计的完整闭环,帮助数据团队回答三个问题:今天的采集是否健康、数据是否落对、出了问题能否快速定位与追溯。
| 适合场景 | 明确不做 |
|---|---|
| T+1 离线采集与 ODS 落地 | 实时 CDC / 流式同步 |
| Hive、关系型数据库作为目标端 | 通用 ETL 转换(T 交给下游 Hive / dbt / Spark) |
| MongoDB、Elasticsearch 等异构源接入 | 通用 DAG 编排平台 |
| 需要多节点高可用、审计与源级授权的团队 | 通用数据质量平台 |
界面预览

经营总览:今日采集健康度、KPI、风险与待办、采集量趋势。

今日运行:按采集源展开的日切心跳与风险下钻。

采集表详情:字段映射、执行快照、对账与失败记录集中在一处。
核心能力
采集与建模
- 批量创建采集表:UI 中几次点击即可批量新增数百到上千张采集表,并一键在目标端(Hive 或关系型数据库)同步创建表与字段。
- 目标契约与显式字段映射:目标表支持平台托管(自动建表与结构演进)与外部管理(只读校验、不执行 DDL)两种模式;源字段与目标字段允许不同名,Reader 输出、Writer 列、DDL、执行快照和错误提示共用同一份一对一映射;批量创建逐表预览并隔离阻断与告警。
- 表结构演化:自动探测源端字段类型变更、新增/删除字段并同步修改目标表结构;分区表提供历史数据兼容策略,最大限度减少中断与人工干预。
- 多源接入:关系型数据库、MongoDB(集合采样推断字段、多库接入)与 Elasticsearch(索引/别名、mapping 与文档采样、Query DSL 过滤)。
- 动态表名:原生支持日表、月表等模板(如
t_order_${biz_date_short}),自动解析业务日期并生成采集任务。
调度与运行
- 增量采集与智能过滤:支持以上一次采集结果(如前一日最大 ID 或指定字段)作为增量条件,也支持自定义过滤表达式。
- 补数回补:在采集表详情页按日历选择历史日期(支持多段区间和单日),异步逐日回补并实时查看批次进度;业务日期变量按目标日期注入,不影响正常调度。
- 混合并发控制架构:DB 持久化队列 + Redis 选主与任务分发 + 数据库租约,兼顾可靠性、审计能力与故障恢复。
- 多节点并发与权重:sharing-nothing 架构、Redis 选主与心跳、节点权重(
WEIGHT),实现全局/源级并发控制、任务高可用与负载均衡。
可信与治理
- 数据对账:核对 Addax 上报的读取行数与写入行数(写入 = 读取 − 错误行数),差异进入失败记录并触发告警。
- 字段级血缘:按字段名全局搜索,查看字段从哪个源表来、落到哪张 ODS 表。
- 数据质量断言:近 7 天非零均值为基线,识别空采与漏采,命中后走告警中心与错误中心。
- 执行快照:采集启动时冻结定义、字段映射与上下文,后续配置修改不影响历史结论。
- 失败事实与错误中心:记录失败阶段、可执行摘要与堆栈片段,按错误指纹聚合重复失败,日志过期后摘要仍然保留。
- 就绪信号外发:采集完成后按需外发
collection_completeWebhook,驱动下游调度。
企业级能力
- 告警中心:企业微信、钉钉、飞书、Webhook 与邮件(SMTP)通道在界面维护,支持测试发送、规则路由、投递重试、静默窗口和通道配置加密。
- 源级授权:admin / user / guest 三角色,普通用户按采集源授予「可操作」权限;角色或密码变更立即使旧令牌失效。
- 安全审计:登录、配置变更、权限拒绝均有审计记录,可导出 CSV。
- 可扩展:JWT + Spring Security、Spring Data JPA、前端模块化设计,并提供客户白标配置(产品名、Logo、支持与文档链接)。
技术架构
| 层 | 技术栈 |
|---|---|
| 后端 | Java 21、Spring Boot 4.1、Spring Data JPA、Spring Security + JWT、PostgreSQL、Redis |
| 前端 | Vue 3、TypeScript、Vite、Vuetify、Pinia |
| 部署 | Docker Compose(应用 + PostgreSQL + Redis),或 Java 21 + Nginx 主机模式 |
addax-admin/
├── backend/ # Spring Boot 后端服务(API、调度、持久化、队列与租约)
├── frontend/ # Vue 3 + Vite + TypeScript + Vuetify 管理界面
├── docs/ # 安装与使用手册、ADR、测试与安全文档
├── scripts/ # 部署与运维脚本(DB 初始化、systemd service 模板等)
└── screenshots/ # 界面截图与仓库视觉资产
数据库初始化脚本 scripts/schema.sql 与 scripts/data.sql 会打包进后端 jar,空库由应用首次启动自动初始化。
快速开始
Addax Admin 只负责管理与调度,不执行实际采集,两种部署模式都需要单独准备 Addax 采集引擎。
Docker 模式(推荐)
前置条件:Docker 20.10+、Docker Compose 2.0+、可访问的 Addax 安装目录。
# 1. 创建部署目录并下载部署文件
mkdir addax-admin && cd addax-admin
RELEASE_TAG=v4.5.0 # 替换为最新 Release 标签
wget "https://raw.githubusercontent.com/wgzhao/addax-admin/${RELEASE_TAG}/docker-compose.yml"
wget "https://raw.githubusercontent.com/wgzhao/addax-admin/${RELEASE_TAG}/.env.example"
cp .env.example .env
# 2. 拉取镜像并启动
export VERSION="${RELEASE_TAG#v}"
docker compose -f docker-compose.yml pull
docker compose -f docker-compose.yml up -d
访问 http://localhost:50080,默认账号 admin,密码 admin123,首次登录后请立即修改密码。
镜像仅在发布时构建,
latest指向最新 Release;master分支仍在快速迭代,请勿用于生产。国内网络可改用 Quay 备用源:echo "DOCKER_REGISTRY=quay.io/wgzhao" >> .env。
主机模式
适用于已有 Java 21、Maven、Node.js、Yarn、PostgreSQL、Redis 和 Nginx 的环境,编译产物分别部署后端与前端。完整步骤见 主机模式与本地开发。
文档
- 安装与使用手册
- Docker 部署
- 主机模式与本地开发
- 快速上手
- 目标表结构与字段映射
- 目标端能力与表属性
- MongoDB 采集
- Elasticsearch 采集
- 调度与并发
- 补数回补
- 故障排查
- 架构决策记录
参与贡献
欢迎提交 Issue 与 Pull Request。开始之前请阅读 贡献指南;安全问题请按 SECURITY.md 私下报告。
许可证
本项目基于 Apache License 2.0,详见 LICENSE。
