数据清洗与预处理工具

共 30 个站点

https://openrefine.org

开源数据清洗工具，支持去重、格式标准化、缺失值处理，适配专业数据预处理场景

https://www.alteryx.com

Alteryx 是知名的自助式数据分析平台，通过拖拽式工作流完成数据清洗、混合与预处理，无需编写代...

https://www.talend.com

Talend 是领先的数据集成与数据质量管理平台，提供可视化 ETL 设计能力，支持批处理与实时数据管...

https://www.informatica.com

Informatica 是企业级数据管理领域的标杆厂商，其 PowerCenter 与智能云平台广泛应用于大型企业...

https://www.hitachivantara.com/en-us/products/pentaho-platform.html

Pentaho 是日立旗下数据集成与分析平台，其核心组件 Kettle（PDI）以可视化方式完成数据抽取、转...

https://nifi.apache.org

Apache NiFi 是 Apache 基金会顶级项目，专注自动化数据流的管理、路由与转换，适合实时数据清洗...

https://kafka.apache.org

Apache Kafka 是分布式流处理平台，以高吞吐消息管道著称，Kafka Streams 与 Connect 支撑实时数...

https://airbyte.com

Airbyte 是流行的开源数据集成引擎，提供数百个开箱即用连接器，将各类数据源同步到数仓并支持基...

https://www.fivetran.com

Fivetran 是云原生自动化数据集成服务，以零维护的托管连接器将各系统数据自动同步至数据仓库。

https://www.getdbt.com

dbt 是数据转换领域的事实标准，让分析师用 SQL 在数仓内完成清洗、建模与测试，实现可维护的转...

https://www.dataiku.com

Dataiku 是企业级数据科学与 AI 平台，以可视化 Prepare 配方完成数据清洗，并贯通机器学习全流...

https://www.knime.com

KNIME 是开源的可视化数据分析平台，通过节点拖拽构建工作流，覆盖数据清洗、转换到机器学习的完...

https://rapidminer.com

RapidMiner（现属 Altair）是经典的数据科学平台，以可视化算子流程实现数据预处理、建模与评估...

https://orangedatamining.com

Orange 是开源的可视化数据挖掘工具，以组件连线方式完成数据预处理、可视化与机器学习，深受教...

https://www.cs.waikato.ac.nz/ml/weka

Weka 是怀卡托大学开发的经典机器学习工作台，提供图形界面完成数据预处理、特征筛选与算法实验...

https://www.datameer.com

Datameer 是面向数据仓库的自助式数据准备平台，以类电子表格界面让分析师直接在云端完成清洗转...

https://www.tamr.com

Tamr 是基于机器学习的云原生数据掌握平台，专注大规模实体解析与主数据清洗，解决记录匹配合并...

https://winpure.com

Winpure 是专注数据清洗与去重的桌面工具，通过模糊匹配识别重复记录，广泛用于客户数据的净化整...

https://dataladder.com

Data Ladder 是数据质量软件厂商，其 DataMatch 产品以高精度模糊匹配帮助企业完成去重、匹配与...

https://pandas.pydata.org

Pandas 是 Python 生态最核心的数据处理库，DataFrame 结构让数据清洗、整形与探索分析变得高效...

https://numpy.org

NumPy 是 Python 科学计算的基石库，提供高性能多维数组与向量化运算，是数值数据清洗与预处理的...

https://jupyter.org

Jupyter 是开源交互式计算笔记本，单元格中混合代码、结果与文档，是数据清洗探索与可复现分析的...

https://colab.research.google.com

Google Colab 是免费的云端 Jupyter 笔记本服务，无需配置环境即可进行数据清洗与分析，并提供免...

https://www.dask.org

Dask 是 Python 的并行计算框架，让 Pandas 式数据清洗代码平滑扩展到多核与集群环境，突破单机...

https://pola.rs

Polars 是基于 Rust 与 Arrow 的超高性能 DataFrame 库，以多线程与查询优化实现数倍于传统方案...

Great Expectations

https://greatexpectations.io

Great Expectations 是开源数据质量框架，用「期望」声明式校验数据，自动生成验证报告与数据文...

https://www.soda.io

Soda 是数据质量监控平台，以简洁的 SodaCL 语言定义检查规则，在管道中持续发现并拦截数据问题...

Apache SeaTunnel

https://seatunnel.apache.org

Apache SeaTunnel 是国产开源超高性能分布式数据集成平台，支持批流一体，提供上百种连接器完成...

https://github.com/alibaba/DataX

DataX 是阿里巴巴开源的离线数据同步工具，以插件化架构实现各类异构数据源之间高效稳定的数据传...

https://sqoop.apache.org

Apache Sqoop 是经典的关系数据库与 Hadoop 之间批量数据传输工具，广泛用于传统数仓的导入导出...