大数据
大数据平台、CDC、ETL、湖仓与实时计算的分类入口。
常见大数据产品大数据产品提供数据存储、处理、分析和可视化功能,支持从海量数据中提取价值。包括Hadoop、Spark等处理框架,HDFS、HBase等存储系统,Hive、Impala等数据仓库工具,…
数据库CDC工具CDC技术(Change Data Capture)是一种实时捕获数据库变更的技术,可以监控并捕获数据库中的插入、更新、删除等操作,实现数据同步、数据备份、实时数据分析等功能
大数据ETL汇总 DataX、Kettle、SeaTunnel、Airbyte、Fivetran 等 ETL/ELT 与数据集成工具,按离线同步、实时入湖和调度场景整理。
Zero ETL整理 Fivetran、Airbyte、Zapier、Workato 等数据集成与 Reverse ETL 工具,用于 SaaS 数据回写和业务系统同步。
ELT与ETL对比 ETL 与 ELT 工具,覆盖批处理、实时同步、云原生数据管道和 Lakehouse 入湖方案。
2026-11 版本基线
Section titled “2026-11 版本基线”- 计算:Spark 4.3、Flink 2.3。
- 消息:Kafka 4.3。
- 调度:Airflow 3.3。
- 湖仓:Iceberg 1.12、Delta Lake 4.4、Paimon 2.0、Hudi 1.1。
- 存储/查询:HBase 3.0、ClickHouse、Doris、StarRocks。
- 建议移除 Ambari、Oozie、Storm 等退役或边缘项目,并把 44 个卡片按“计算/存储/湖仓/查询”分组。
本栏目内容按 2026 年 11 月版本线整理;具体工具版本、价格和许可请以官网为准。