从数据仓库到湖仓一体：现代数据架构的演进与原理

本课程聚焦从传统数据仓库到数据湖、再到湖仓一体（Lakehouse）的演进路径，强调原理讲解与架构思维训练，帮助学习者从工程实践和系统设计两个维度理解现代数据平台的整体图景。

本节课程与前续章节（HDFS 文件系统、MapReduce/Spark 计算、Hive 数仓、Parquet 列存、ETL 与流式计算等）形成闭环：前面的课程回答“如何存、如何算、如何流”，本课程回答“整体架构应该长成什么样，以及为什么会这样长”。

通过本课程的学习，读者将能够：

1. 1. 系统回顾从传统数据仓库到数据湖、再到湖仓一体的演进脉络与驱动力。
2. 2. 理解数据湖常见问题（数据沼泽、元数据失控）的根源与工程症状。
3. 3. 掌握 Lakehouse 的核心技术基石——Table Format（表格式） 的设计思想与实现原理。
4. 4. 建立现代数据栈中存储、计算、格式、编排等组件之间的角色分工与协同关系。
5. 5. 能够基于典型业务场景，对比分析 Data Warehouse / Data Lake / Lakehouse 的架构优劣与适用边界。

本部分作为课程的理论基础，旨在帮助学习者建立从 传统数据仓库 到 现代湖仓一体（Lakehouse） 的完整认知体系。我们将基于已学过的 Hadoop / Hive / Spark 技术栈，深入剖析数据架构演进的内在逻辑，理解 Table Format（表格式） 如何成为连接过去与未来的关键技术。

本部分以 Apache Iceberg 为例，深入剖析 Lakehouse 如何在不可变的文件系统上实现事务特性与多版本并发控制，重点回答第 1 章中提出的三个技术问题：

1. 1. 如何在对象存储之上保障表级 ACID 事务与一致性，避免“半写入目录被误读”的问题；
2. 2. 如何管理不断变化的 Schema 与历史版本，既支持演进，又保留可追溯能力；
3. 3. 如何在同一张表上同时支撑批处理与流式更新，实现真正意义上的“批流一体”数据平面。

在前两部分中，我们分别从“架构演进与原理”（第一部分）和“Table Format 与 Lakehouse 的内部机制”（第二部分）两个维度，对现代数据平台的技术基础进行了系统梳理。本部分将视角进一步拉高，把 Lakehouse 放回到一个完整的 现代数据栈（Modern Data Stack） 中，从组件协同、典型应用场景和业界产品方案三个角度进行分析，帮助读者完成从“理解原理”到“能够画出端到端方案”的过渡。