Projects
View on GitHub
wangfan002/db2es
wangfan002/db2es has 230 GitHub stars and 45 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-20 21:52 UTC. Last push 2022-06-24.
Measured star growth
- in 24h
- 0
- in 7 days
- Collecting history
- in 15 days
- Collecting history
- in 1 month
- Collecting history
Net star changes over overlapping periods, not daily totals. Missing measurements are left blank. Stars measure attention, not software quality.
About
同步数据库到数据到ES sync data from database to es
DataREADME.md
Originaldb2es:1.0
数据库同步ES的Swagger版(脚手架)
标签
ElasticSearch7.10 ES 数据库 同步 mysql sqlserver 数据清洗 多线程 大数据量 全量 增量 定时 脚手架
优点
- 对大数据量同步性能更出色,基于id或自增列进行多线程分批同步
- 完全由java语言进行开发,数据清洗更为简单
- 基于Sqlserver日志的CDC增量同步
- 支持同步完毕的邮件和钉钉通知
- 同步基于sql,支持mysql,sqlserver等关系型数据库
- 支持多ES集群
DEMO
- 例:同步大数据量数据 10W以上数据 --> 仿照BigData
- 例:同步小数据量数据 10W以下数据 --> 仿照SmallData
接口展示

访问地址
- dev
- db2es地址:http://localhost:8888/doc.html
主要流程图

技术架构
springboot2 maven mybatis-plus mysql sqlserver logback ElasticSearch7.10 swagger2