Skip to content

一个轻量级的数据同步平台,提供了开箱即用的数据同步服务,基于binlog4j开源组件+轻量级java框架 solon开发,旨在以最小的资源开销,完成数据同步任务

License

Notifications You must be signed in to change notification settings

zj-prism/data-pulse

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

92 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

轻量级binlog同步平台

Fork me on Gitee jdk-17 star

📚简介

data-pulse 是一个轻量级的数据同步平台,提供了开箱即用的数据同步服务,基于binlog4j开源组件+国产纯血轻量级java框架 solon开发,旨在以最小的资源开销,完成数据同步任务。

🍬特点

  1. 轻量:基于binlog4j开源组件+国产纯血轻量级java框架 solon开发,资源开销较小。
  2. 高可用:支持集群模式,断点续传。
  3. 简单:配置简单,无需编写代码,即可完成数据同步任务。
  4. 易扩展: 支持多种数据源,如mysql、oracle、sqlserver、postgresql等,用户只需要编写对应的目标库的方言即可实现数据同步。

🕒版本

版本 描述
v1.0-beta 初始版本(开发中)

🚀开发计划

好吧,我承认有点慢,因为是用零碎时间开发的,希望有更多大佬一起加入,我需要更多的的灵感,更多的意见,更多催更,来推进它向前🫶

  1. 2024.7月-9月 v1.0.0 mysql-->es mysql-->mysql mysql-->clickhouse 搭建基本框架,binlog数据订阅并同步,全量数据同步
  2. 2024.9月-12月 v1.5 开始规划用户管理界面,实现用户管理功能,用户可以自定义同步任务,并管理任务状态,任务日志,任务配置等。
  3. 2025.1月--* 持续迭代,持续优化,持续完善,持续更新。

🔨规划思维导图

💡注意

请将静态文件目录下的db文件放到设备的固定位置后在配置文件中配置文件地址后重启服务,防止更新代码后覆盖db文件导致数据丢失。

#示例:
db.db1:
  db_rock0:
    driverClassName: org.sqlite.JDBC
    jdbcUrl: jdbc:sqlite:/Users/joshua/IdeaProjects/projects/datapulse.db

👥联系我们

看到这里的小伙伴,请给我的代码与开发思路提些意见,请大家使劲喷我,谢谢🙏 QQ群:621215734 Email: [email protected]

About

一个轻量级的数据同步平台,提供了开箱即用的数据同步服务,基于binlog4j开源组件+轻量级java框架 solon开发,旨在以最小的资源开销,完成数据同步任务

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages