Apache Sqoop

Apache Sqoop

Apache Sqoop 是经典的关系数据库与 Hadoop 之间批量数据传输工具,广泛用于传统数仓的导入导出作业。

评分 4.8 169 人评分
点赞
访问数 84,374
AI 引用 52
我要打分:

手机扫码查看

0 1.2k 2.4k 3.6k 4.8k 2024-10:2,961 次 2024-11:3,151 次 2024-12:3,836 次 2025-01:2,560 次 2025-02:3,705 次 2025-03:2,985 次 2025-04:2,518 次 2025-05:3,297 次 2025-06:3,756 次 2025-07:3,239 次 2025-08:3,683 次 2025-09:3,859 次 2025-10:3,882 次 2025-11:2,794 次 2025-12:3,076 次 2026-01:4,566 次 2026-02:3,145 次 2026-03:2,838 次 2026-04:4,438 次 2026-05:3,600 次 2026-06:4,823 次 2026-07:3,355 次 2026-08:3,778 次 2026-09:4,529 次 2024-10:2,961 次 2024-11:3,151 次 2024-12:3,836 次 2025-01:2,560 次 2025-02:3,705 次 2025-03:2,985 次 2025-04:2,518 次 2025-05:3,297 次 2025-06:3,756 次 2025-07:3,239 次 2025-08:3,683 次 2025-09:3,859 次 2025-10:3,882 次 2025-11:2,794 次 2025-12:3,076 次 2026-01:4,566 次 2026-02:3,145 次 2026-03:2,838 次 2026-04:4,438 次 2026-05:3,600 次 2026-06:4,823 次 2026-07:3,355 次 2026-08:3,778 次 2026-09:4,529 次 24-10 24-12 25-02 25-04 25-06 25-08 25-10 25-12 26-02 26-04 26-06 26-08
月访问量 趋势 近 24 个月合计 84,374

一、官方网址

二、核心功能

  1. 双向传输:支持关系库导入 HDFS/Hive/HBase,也可将结果导回数据库。
  2. 并行导入:按主键切分为多个 Map 任务并行抽取,吞吐量高。
  3. 增量导入:支持 append 与 lastmodified 两种增量抽取模式。
  4. 直连模式:对 MySQL、Postgres 等提供原生直连通道,性能更佳。
  5. 作业管理:可保存作业定义,配合调度实现周期化同步。

三、适用场景

  • 传统 Hadoop 数仓的关系库数据接入
  • 分析结果回写业务库
  • 遗留系统的批量迁移项目

四、使用优势

  • Hadoop 生态兼容性成熟
  • 命令行操作简单直接
  • 长期生产验证,稳定可靠

五、注意事项

  • 项目已进入 Attic 退休状态,新项目建议选 SeaTunnel 等替代
  • 仅支持批量模式,无实时能力
蔡远
蔡远 8个月前
希望能增加批量导出功能。
2 条回复
大桥头哦
大桥头哦 回复 蔡远 5个月前
我这边体验也差不多。
老竹林要不要
老竹林要不要 回复 蔡远 6个月前
试了下,确实挺好用。
海上要不要
海上要不要 1年前
支持一下,希望越做越好。
1 条回复
喵喵_76
喵喵_76 回复 海上要不要 3周前
细节确实做得不错。
姜嘉
姜嘉 1年前
先收藏了,回头慢慢研究。
1 条回复
黄军
黄军 回复 姜嘉 10个月前
同感,我用着也还不错。
云间-85
云间-85 1年前
界面设计挺用心的,看着舒服。
1 条回复
孙雨泽
孙雨泽 回复 云间-85 2周前
我用的免费版,够用了。
林深45
林深45 1年前
找了很久终于找到一个合适的。
1 条回复
宋雅静
宋雅静 回复 林深45 2个月前
细节确实做得不错。
小有光在路上
小有光在路上 1年前
先收藏了,回头慢慢研究。
1 条回复
赵洋
赵洋 回复 小有光在路上 8个月前
有同款问题,后来解决了。

相关推荐