W16 · FRONTIER & CAPSTONE

流批一体 + 端到端项目Batch & Stream

批与流是两种到达和计算方式。用微批模拟事件链路,并启动一个可展示的端到端数据产品。

流批、治理与作品第 15 次课课后自学课堂验收
0 / 0 已完成
01

知识范围 · 交互图谱

Know the map before details

学完后大致能做到

能用自己的话解释「批处理」与「流处理」
启动 capstone:采集 → DuckLake 存储 → 建模 → Rill 看板,全链路打通
保留可运行文件、真实输出和至少一则排错证据
能在课堂共享屏幕展示进度,并回答一部分底层问题
02

零基础起步

Start small · bring real progress

不要等到「全部学会」才开始

先完成最小动作。哪怕没有成功复现,也请保留报错、截图和尝试过程;课堂可以展示卡点、旁听提问,并继续获得积分。

先迈一步

只做第一步也可以

从四个方向中确定 Capstone 问题和最小数据集

保留真实输出或卡点,带到课堂;不要求一次完成全部。
完整复现

做出核心结果

启动 capstone:采集 → DuckLake 存储 → 建模 → Rill 看板,全链路打通

成功复现可获得「复现 +1」,并具备展示资格。
自由拓展

想多做再继续

模拟一条迟到事件

有拓展 +1,多拓展 +2;不影响零基础起步。

实验目标

启动 capstone:采集 → DuckLake 存储 → 建模 → Rill 看板,全链路打通

events.jsonl(合成事件流)

完整复现步骤

从四个方向中确定 Capstone 问题和最小数据集
用 events.jsonl 模拟按批次到达的交易事件
按事件时间生成 5 分钟窗口指标
把结果写入 DuckLake 或 Parquet,并连接 Rill
画出采集、存储、建模、语义和展示全链路
Python · 微批窗口模拟
import json
from collections import defaultdict
from datetime import datetime

buckets = defaultdict(float)
with open("data/events.jsonl", encoding="utf-8") as f:
    for line in f:
        event = json.loads(line)
        t = datetime.fromisoformat(event["event_time"])
        minute = (t.minute // 5) * 5
        window = t.replace(minute=minute, second=0).isoformat()
        buckets[(event["symbol"], window)] += float(event["amount"])
for key, value in sorted(buckets.items()):
    print(*key, round(value, 2))

展示时可拿出的证据

  • 端到端架构图
  • 一条可运行的数据链路
  • 窗口结果与迟到事件说明

本机自查清单

03

让 AI 一步一步带你做

Copy this starter prompt

循环方式

  • 告诉 AI:我是零基础、使用什么系统、当前做到哪一步
  • 一次只要一个步骤,先看预期结果再执行
  • 把真实输出或报错贴回 AI,不要只说「不行」
  • 把验证过的步骤整理回飞书实验报告
  • 重复:问 → 做 → 报错 → 修正 → 再做
给 AI 的起步提示词
我是金融科技本科生,计算机零基础。我正在学习《金融数据库(双语)》W16,本周目标是:实验 14 · 流批一体 + 端到端项目。
请把我当作第一次接触这些工具的人,并遵守:
1. 一次只给一个步骤,不要一次倾倒完整答案。
2. 每一步先解释目的,再给可复制的命令、SQL 或代码。
3. 告诉我正常情况下应该看到什么,以及最常见的一个错误。
4. 如果不知道我的系统、目录、软件版本或数据位置,先问我。
5. 等我贴回真实输出或完整报错后,再判断下一步。
6. 不要让我上传账号密码、API Key 或真实个人信息。
现在只带我完成第一步:从四个方向中确定 Capstone 问题和最小数据集
04

问题驱动

这些问题不是课前考试。遇到不懂就问 AI;最后只需能结合自己的操作,说清其中一部分。

Q01

批和流的本质差别是什么?

Q02

事件时间与处理时间为何不同?

Q03

迟到事件进入哪个窗口?

Q04

什么场景不值得引入流处理?

05

只交一份实验报告

The learning process is the deliverable

建议结构

  1. 本周目标:我想完成什么,以及最后做到哪一步
  2. 环境:操作系统、软件版本、安装方式与必要依赖
  3. 操作步骤:按真实执行顺序写出可复制的命令或代码
  4. 结果:关键输出、截图及我如何判断它是否正确
  5. 踩坑与克服:现象 → 可能原因 → 实际排查 → 解决办法
  6. 结论:本周学会了什么,仍有什么没有解决
  7. 诚实标注:哪些来自 AI 建议,哪些已由本人亲自验证
下载无表格版报告模板

本周常见坑

  • 为很小的离线任务强行上流系统
  • 混淆事件时间和处理时间
  • 项目范围过大,最小链路尚未跑通

不另交 AI 使用记录

只需在实验报告中诚实标注:哪些步骤来自 AI 建议,哪些已经本人验证,哪些仍未验证。学习过程写好,报告就自然产生。

06

课堂时间全部用于验收

No new lecture · public verification
①

两次考勤

上课提前 5 分钟点名,下课前 5 分钟再次点名。

②

自愿共享屏幕

用本人笔记本打开实验报告,展示真实操作、结果或卡点。

③

现场复现与双分

作者现场运行;同学也可仅凭该文档复现,作者与复现者都加分。

④

随机拷问与好问题

教师判断掌握程度;旁听同学可提出被采纳的好问题。

本周可能被问

  • 什么场景必须用流?
  • 窗口解决什么问题?
  • 迟到数据如何处理?
  • 你的项目如何降级为批处理?
07

本周课堂积分

Same rules every week
✅

考勤

上课提前 5 分钟点名,下课前 5 分钟再点名

出勤 +3迟到 +2早退 +2请假 +1旷课 +0
💻

复现

使用 AI 自学,按照教学大纲完成了每周实验任务

成功复现 +1未能复现 +0
🚀

拓展

按照教学大纲完成一项或多项拓展任务

多拓展 +2有拓展 +1无拓展 +0
🖥️

展示

主动共享屏幕展示复现过程,接受核验与拷问

课堂自愿共享屏幕展示 +3无课堂展示 +0
🥇

首讲

每节课堂最先自愿开讲的前 3 人

前 3 人 +1
💡

提问

认真旁听并提出被采纳的好问题

被采纳 +0.5
🔍

拷问

面对面随机拷问 · 反空心化闸门

空心代工 −1一知半解 +1融会贯通 +2
🤝

双分

仅凭文档课堂现场复现

作者与复现者 都 +1
🏆

精选

本周最佳文档

知识库 + 席位 + 署名 + 积分 +3

做一点,也算一点

没有完成全部实验,也可以凭考勤、展示卡点、认真提问和真实回答获得积分;做得越扎实,展示、拓展、拷问、双分和精选带来的激励越多。飞书应用展示过去 30 天积分榜与总积分榜。

08

自由拓展与参考资源

拓展挑战

  • 模拟一条迟到事件
  • 增加去重键与幂等写入
  • 为 Capstone 增加质量与安全检查