Skip to content
Projekte

wgzhao/addax-admin has 38 GitHub stars and 9 forks. Star changes are not measured yet. Last checked 2026-11-15 22:19 UTC. Last push 2026-11-15.

So werden diese Zahlen gemessen

Gemessener Sternzuwachs

in 24h
Aktualisierung verzögert
in 7 days
Aktualisierung verzögert
in 15 days
Aktualisierung verzögert
in 1 month
Aktualisierung verzögert

Nettoänderungen in überlappenden Zeiträumen, keine Tagessummen. Fehlende Messwerte bleiben leer. Sterne zeigen Interesse, nicht Qualität.

Über uns

面向 Addax 离线引擎的 T+1 ODS 采集控制台:采集定义、调度、补数、对账、告警与审计一体。开源,Java 21 + Vue 3。

Daten

README.md

Original

Addax Admin — 面向 Addax 离线引擎的 T+1 ODS 采集控制台

让数据采集像水电一样可靠
面向 Addax 离线引擎的 T+1 ODS 采集控制台

License Release Docker Pulls Java 21 Spring Boot Vue 3

快速开始 · 文档 · 界面预览 · 路线图 · 发布记录 · Docker Hub


产品定位

Addax Admin 是 Addax 离线 ETL 引擎的企业级管理与运维控制台,专注 T+1 ODS 层数据落地。它在同一个界面里完成采集定义、调度执行、补数回补、数据对账、告警与审计的完整闭环,帮助数据团队回答三个问题:今天的采集是否健康、数据是否落对、出了问题能否快速定位与追溯。

适合场景 明确不做
T+1 离线采集与 ODS 落地 实时 CDC / 流式同步
Hive、关系型数据库作为目标端 通用 ETL 转换(T 交给下游 Hive / dbt / Spark)
MongoDB、Elasticsearch 等异构源接入 通用 DAG 编排平台
需要多节点高可用、审计与源级授权的团队 通用数据质量平台

界面预览

经营总览

经营总览:今日采集健康度、KPI、风险与待办、采集量趋势。

今日运行

今日运行:按采集源展开的日切心跳与风险下钻。

采集表详情

采集表详情:字段映射、执行快照、对账与失败记录集中在一处。

更多界面截图

Home - light and dark Health Data Quality SLA Source Management Target Management Collection Tables Field Mapping Execution Snapshots Collection Result Addax Job Collection Log Security Audit Dictionary System Settings

完整截图见 screenshots/。


核心能力

采集与建模

  • 批量创建采集表:UI 中几次点击即可批量新增数百到上千张采集表,并一键在目标端(Hive 或关系型数据库)同步创建表与字段。
  • 目标契约与显式字段映射:目标表支持平台托管(自动建表与结构演进)与外部管理(只读校验、不执行 DDL)两种模式;源字段与目标字段允许不同名,Reader 输出、Writer 列、DDL、执行快照和错误提示共用同一份一对一映射;批量创建逐表预览并隔离阻断与告警。
  • 表结构演化:自动探测源端字段类型变更、新增/删除字段并同步修改目标表结构;分区表提供历史数据兼容策略,最大限度减少中断与人工干预。
  • 多源接入:关系型数据库、MongoDB(集合采样推断字段、多库接入)与 Elasticsearch(索引/别名、mapping 与文档采样、Query DSL 过滤)。
  • 动态表名:原生支持日表、月表等模板(如 t_order_${biz_date_short}),自动解析业务日期并生成采集任务。

调度与运行

  • 增量采集与智能过滤:支持以上一次采集结果(如前一日最大 ID 或指定字段)作为增量条件,也支持自定义过滤表达式。
  • 补数回补:在采集表详情页按日历选择历史日期(支持多段区间和单日),异步逐日回补并实时查看批次进度;业务日期变量按目标日期注入,不影响正常调度。
  • 混合并发控制架构:DB 持久化队列 + Redis 选主与任务分发 + 数据库租约,兼顾可靠性、审计能力与故障恢复。
  • 多节点并发与权重:sharing-nothing 架构、Redis 选主与心跳、节点权重(WEIGHT),实现全局/源级并发控制、任务高可用与负载均衡。

可信与治理

  • 数据对账:核对 Addax 上报的读取行数与写入行数(写入 = 读取 − 错误行数),差异进入失败记录并触发告警。
  • 字段级血缘:按字段名全局搜索,查看字段从哪个源表来、落到哪张 ODS 表。
  • 数据质量断言:近 7 天非零均值为基线,识别空采与漏采,命中后走告警中心与错误中心。
  • 执行快照:采集启动时冻结定义、字段映射与上下文,后续配置修改不影响历史结论。
  • 失败事实与错误中心:记录失败阶段、可执行摘要与堆栈片段,按错误指纹聚合重复失败,日志过期后摘要仍然保留。
  • 就绪信号外发:采集完成后按需外发 collection_complete Webhook,驱动下游调度。

企业级能力

  • 告警中心:企业微信、钉钉、飞书、Webhook 与邮件(SMTP)通道在界面维护,支持测试发送、规则路由、投递重试、静默窗口和通道配置加密。
  • 源级授权:admin / user / guest 三角色,普通用户按采集源授予「可操作」权限;角色或密码变更立即使旧令牌失效。
  • 安全审计:登录、配置变更、权限拒绝均有审计记录,可导出 CSV。
  • 可扩展:JWT + Spring Security、Spring Data JPA、前端模块化设计,并提供客户白标配置(产品名、Logo、支持与文档链接)。

技术架构

层 技术栈
后端 Java 21、Spring Boot 4.1、Spring Data JPA、Spring Security + JWT、PostgreSQL、Redis
前端 Vue 3、TypeScript、Vite、Vuetify、Pinia
部署 Docker Compose(应用 + PostgreSQL + Redis),或 Java 21 + Nginx 主机模式
addax-admin/
├── backend/                 # Spring Boot 后端服务(API、调度、持久化、队列与租约)
├── frontend/                # Vue 3 + Vite + TypeScript + Vuetify 管理界面
├── docs/                    # 安装与使用手册、ADR、测试与安全文档
├── scripts/                 # 部署与运维脚本(DB 初始化、systemd service 模板等)
└── screenshots/             # 界面截图与仓库视觉资产

数据库初始化脚本 scripts/schema.sql 与 scripts/data.sql 会打包进后端 jar,空库由应用首次启动自动初始化。


快速开始

Addax Admin 只负责管理与调度,不执行实际采集,两种部署模式都需要单独准备 Addax 采集引擎。

Docker 模式(推荐)

前置条件:Docker 20.10+、Docker Compose 2.0+、可访问的 Addax 安装目录。

# 1. 创建部署目录并下载部署文件
mkdir addax-admin && cd addax-admin
RELEASE_TAG=v4.5.0   # 替换为最新 Release 标签
wget "https://raw.githubusercontent.com/wgzhao/addax-admin/${RELEASE_TAG}/docker-compose.yml"
wget "https://raw.githubusercontent.com/wgzhao/addax-admin/${RELEASE_TAG}/.env.example"
cp .env.example .env

# 2. 拉取镜像并启动
export VERSION="${RELEASE_TAG#v}"
docker compose -f docker-compose.yml pull
docker compose -f docker-compose.yml up -d

访问 http://localhost:50080,默认账号 admin,密码 admin123,首次登录后请立即修改密码。

镜像仅在发布时构建,latest 指向最新 Release;master 分支仍在快速迭代,请勿用于生产。国内网络可改用 Quay 备用源:echo "DOCKER_REGISTRY=quay.io/wgzhao" >> .env。

主机模式

适用于已有 Java 21、Maven、Node.js、Yarn、PostgreSQL、Redis 和 Nginx 的环境,编译产物分别部署后端与前端。完整步骤见 主机模式与本地开发。


文档


参与贡献

欢迎提交 Issue 与 Pull Request。开始之前请阅读 贡献指南;安全问题请按 SECURITY.md 私下报告。


许可证

本项目基于 Apache License 2.0,详见 LICENSE。