W11 · WAREHOUSE & LAKEHOUSE

DuckLake 深入·对接平台DuckLake Advanced

真实湖仓会持续发生 schema 变化、碎片增长和多引擎访问。进阶目标是理解维护动作,而不是只会建表。

数仓与湖仓第 10 次课课后自学课堂验收
0 / 0 已完成
01

知识范围 · 交互图谱

Know the map before details

学完后大致能做到

能用自己的话解释「Schema 演化」与「快照」
多表 schema 演化 + snapshot;写一份《如何接入实验室湖仓》笔记
保留可运行文件、真实输出和至少一则排错证据
能在课堂共享屏幕展示进度,并回答一部分底层问题
02

零基础起步

Start small · bring real progress

不要等到「全部学会」才开始

先完成最小动作。哪怕没有成功复现,也请保留报错、截图和尝试过程;课堂可以展示卡点、旁听提问,并继续获得积分。

先迈一步

只做第一步也可以

为湖仓表增加 source 与 ingest_time 字段

保留真实输出或卡点,带到课堂;不要求一次完成全部。
完整复现

做出核心结果

多表 schema 演化 + snapshot;写一份《如何接入实验室湖仓》笔记

成功复现可获得「复现 +1」,并具备展示资格。
自由拓展

想多做再继续

模拟两个写入批次的冲突

有拓展 +1,多拓展 +2;不影响零基础起步。

实验目标

多表 schema 演化 + snapshot;写一份《如何接入实验室湖仓》笔记

new_batch.csv(schema 演化)

完整复现步骤

为湖仓表增加 source 与 ingest_time 字段
写入新旧两批 schema 不完全相同的数据
查看快照与文件数量变化
依据当前版本文档执行或设计 compaction
写一页实验室平台接入说明与回滚步骤
DuckLake · Schema 演化示意
USE lake;
ALTER TABLE transactions ADD COLUMN source VARCHAR DEFAULT 'unknown';
INSERT INTO transactions BY NAME
SELECT *, 'batch_02' AS source FROM read_parquet('../data/new_batch.parquet');
SELECT source, count(*) AS rows FROM transactions GROUP BY source;
-- Compaction 与历史查询语法请按当前 DuckLake 版本文档执行并记录版本。

展示时可拿出的证据

  • schema 演化前后对比
  • 快照与文件清单
  • 平台接入与回滚文档

本机自查清单

03

让 AI 一步一步带你做

Copy this starter prompt

循环方式

  • 告诉 AI:我是零基础、使用什么系统、当前做到哪一步
  • 一次只要一个步骤,先看预期结果再执行
  • 把真实输出或报错贴回 AI,不要只说「不行」
  • 把验证过的步骤整理回飞书实验报告
  • 重复:问 → 做 → 报错 → 修正 → 再做
给 AI 的起步提示词
我是金融科技本科生,计算机零基础。我正在学习《金融数据库(双语)》W11,本周目标是:实验 09 · DuckLake 深入·对接平台。
请把我当作第一次接触这些工具的人,并遵守:
1. 一次只给一个步骤,不要一次倾倒完整答案。
2. 每一步先解释目的,再给可复制的命令、SQL 或代码。
3. 告诉我正常情况下应该看到什么,以及最常见的一个错误。
4. 如果不知道我的系统、目录、软件版本或数据位置,先问我。
5. 等我贴回真实输出或完整报错后,再判断下一步。
6. 不要让我上传账号密码、API Key 或真实个人信息。
现在只带我完成第一步:为湖仓表增加 source 与 ingest_time 字段
04

问题驱动

这些问题不是课前考试。遇到不懂就问 AI;最后只需能结合自己的操作,说清其中一部分。

Q01

字段增加后旧文件怎么办?

Q02

为什么频繁小批写会产生小文件?

Q03

存算分离带来哪些收益和代价?

Q04

多个写入者如何避免互相覆盖?

05

只交一份实验报告

The learning process is the deliverable

建议结构

  1. 本周目标:我想完成什么,以及最后做到哪一步
  2. 环境:操作系统、软件版本、安装方式与必要依赖
  3. 操作步骤:按真实执行顺序写出可复制的命令或代码
  4. 结果:关键输出、截图及我如何判断它是否正确
  5. 踩坑与克服:现象 → 可能原因 → 实际排查 → 解决办法
  6. 结论:本周学会了什么,仍有什么没有解决
  7. 诚实标注:哪些来自 AI 建议,哪些已由本人亲自验证
下载无表格版报告模板

本周常见坑

  • 直接改列类型却不检查兼容性
  • 合并文件前不保留快照证据
  • 只考虑读性能忽略写入与恢复

不另交 AI 使用记录

只需在实验报告中诚实标注:哪些步骤来自 AI 建议,哪些已经本人验证,哪些仍未验证。学习过程写好,报告就自然产生。

06

课堂时间全部用于验收

No new lecture · public verification
①

两次考勤

上课提前 5 分钟点名,下课前 5 分钟再次点名。

②

自愿共享屏幕

用本人笔记本打开实验报告,展示真实操作、结果或卡点。

③

现场复现与双分

作者现场运行;同学也可仅凭该文档复现,作者与复现者都加分。

④

随机拷问与好问题

教师判断掌握程度;旁听同学可提出被采纳的好问题。

本周可能被问

  • schema 演化与数据迁移有何不同?
  • 小文件为什么慢?
  • 存算分离的边界在哪里?
  • 何时应该回滚而不是继续修补?
07

本周课堂积分

Same rules every week
✅

考勤

上课提前 5 分钟点名,下课前 5 分钟再点名

出勤 +3迟到 +2早退 +2请假 +1旷课 +0
💻

复现

使用 AI 自学,按照教学大纲完成了每周实验任务

成功复现 +1未能复现 +0
🚀

拓展

按照教学大纲完成一项或多项拓展任务

多拓展 +2有拓展 +1无拓展 +0
🖥️

展示

主动共享屏幕展示复现过程,接受核验与拷问

课堂自愿共享屏幕展示 +3无课堂展示 +0
🥇

首讲

每节课堂最先自愿开讲的前 3 人

前 3 人 +1
💡

提问

认真旁听并提出被采纳的好问题

被采纳 +0.5
🔍

拷问

面对面随机拷问 · 反空心化闸门

空心代工 −1一知半解 +1融会贯通 +2
🤝

双分

仅凭文档课堂现场复现

作者与复现者 都 +1
🏆

精选

本周最佳文档

知识库 + 席位 + 署名 + 积分 +3

做一点,也算一点

没有完成全部实验,也可以凭考勤、展示卡点、认真提问和真实回答获得积分;做得越扎实,展示、拓展、拷问、双分和精选带来的激励越多。飞书应用展示过去 30 天积分榜与总积分榜。

08

自由拓展与参考资源

拓展挑战

  • 模拟两个写入批次的冲突
  • 设计每日 compaction 策略
  • 比较湖仓表与普通 Parquet 目录