DataX

DataX

DataX 是阿里巴巴开源的离线数据同步工具,以插件化架构实现各类异构数据源之间高效稳定的数据传输。

评分 4.7 ★ ★ ★ ★ ★ 117 人评分
点赞
访问数 58,684
AI 引用 90
我要打分: ★ ★ ★ ★ ★

手机扫码查看

0 866 1.7k 2.6k 3.5k 2024-12:2,257 次 2025-01:1,908 次 2025-02:2,311 次 2025-03:2,735 次 2025-04:2,720 次 2025-05:2,492 次 2025-06:1,791 次 2025-07:2,178 次 2025-08:2,456 次 2025-09:1,833 次 2025-10:3,094 次 2025-11:1,823 次 2025-12:2,173 次 2026-01:2,409 次 2026-02:1,887 次 2026-03:2,090 次 2026-04:2,459 次 2026-05:3,070 次 2026-06:2,727 次 2026-07:3,372 次 2026-08:2,129 次 2026-09:3,233 次 2026-10:2,073 次 2026-11:3,464 次 2024-12:2,257 次 2025-01:1,908 次 2025-02:2,311 次 2025-03:2,735 次 2025-04:2,720 次 2025-05:2,492 次 2025-06:1,791 次 2025-07:2,178 次 2025-08:2,456 次 2025-09:1,833 次 2025-10:3,094 次 2025-11:1,823 次 2025-12:2,173 次 2026-01:2,409 次 2026-02:1,887 次 2026-03:2,090 次 2026-04:2,459 次 2026-05:3,070 次 2026-06:2,727 次 2026-07:3,372 次 2026-08:2,129 次 2026-09:3,233 次 2026-10:2,073 次 2026-11:3,464 次 24-12 25-02 25-04 25-06 25-08 25-10 25-12 26-02 26-04 26-06 26-08 26-10
月访问量 趋势 近 24 个月合计 58,684

一、官方网址

二、核心功能

  1. 插件化架构:Reader 与 Writer 插件组合,任意两种数据源间快速打通。
  2. 丰富插件库:支持 MySQL、Oracle、HDFS、Hive、OSS 等数十种存储。
  3. 限流与容错:内置流量控制、脏数据收集与断点容错机制。
  4. JSON 配置驱动:单任务一个 JSON 文件描述,简单清晰易于自动化生成。
  5. 生产验证:经阿里集团多年大规模生产环境验证,稳定可靠。

三、适用场景

  • 关系库与大数据平台间的离线同步
  • 数据仓库每日批量抽取任务
  • 配合调度系统的标准化同步作业

四、使用优势

  • 部署简单,单 Java 进程即可运行
  • 插件开发规范清晰,易扩展
  • 国内资料丰富,社区成熟

五、注意事项

  • 仅面向离线同步,实时场景不适用
  • 官方更新放缓,增强可看 DataX-Web 等衍生项目

相关推荐