Apache Sqoop

Apache Sqoop

Apache Sqoop 是经典的关系数据库与 Hadoop 之间批量数据传输工具,广泛用于传统数仓的导入导出作业。

评分 4.8 ★ ★ ★ ★ ★ 169 人评分
点赞
访问数 84,427
AI 引用 52
我要打分: ★ ★ ★ ★ ★

手机扫码查看

0 1.2k 2.4k 3.6k 4.8k 2024-12:2,963 次 2025-01:3,153 次 2025-02:3,838 次 2025-03:2,562 次 2025-04:3,707 次 2025-05:2,987 次 2025-06:2,520 次 2025-07:3,299 次 2025-08:3,758 次 2025-09:3,241 次 2025-10:3,685 次 2025-11:3,861 次 2025-12:3,884 次 2026-01:2,795 次 2026-02:3,078 次 2026-03:4,569 次 2026-04:3,147 次 2026-05:2,840 次 2026-06:4,441 次 2026-07:3,602 次 2026-08:4,826 次 2026-09:3,357 次 2026-10:3,780 次 2026-11:4,534 次 2024-12:2,963 次 2025-01:3,153 次 2025-02:3,838 次 2025-03:2,562 次 2025-04:3,707 次 2025-05:2,987 次 2025-06:2,520 次 2025-07:3,299 次 2025-08:3,758 次 2025-09:3,241 次 2025-10:3,685 次 2025-11:3,861 次 2025-12:3,884 次 2026-01:2,795 次 2026-02:3,078 次 2026-03:4,569 次 2026-04:3,147 次 2026-05:2,840 次 2026-06:4,441 次 2026-07:3,602 次 2026-08:4,826 次 2026-09:3,357 次 2026-10:3,780 次 2026-11:4,534 次 24-12 25-02 25-04 25-06 25-08 25-10 25-12 26-02 26-04 26-06 26-08 26-10
月访问量 趋势 近 24 个月合计 84,427

一、官方网址

二、核心功能

  1. 双向传输:支持关系库导入 HDFS/Hive/HBase,也可将结果导回数据库。
  2. 并行导入:按主键切分为多个 Map 任务并行抽取,吞吐量高。
  3. 增量导入:支持 append 与 lastmodified 两种增量抽取模式。
  4. 直连模式:对 MySQL、Postgres 等提供原生直连通道,性能更佳。
  5. 作业管理:可保存作业定义,配合调度实现周期化同步。

三、适用场景

  • 传统 Hadoop 数仓的关系库数据接入
  • 分析结果回写业务库
  • 遗留系统的批量迁移项目

四、使用优势

  • Hadoop 生态兼容性成熟
  • 命令行操作简单直接
  • 长期生产验证,稳定可靠

五、注意事项

  • 项目已进入 Attic 退休状态,新项目建议选 SeaTunnel 等替代
  • 仅支持批量模式,无实时能力

相关推荐