第 15 / 19 篇

第 14 章 Kafka Connect、Streams 与下一步

Connect:搬运数据

Kafka Connect 是 Kafka 生态中的数据集成框架。Source Connector 把外部系统的数据送进 Kafka,Sink Connector 把 Kafka 数据送到外部系统。例如数据库变更进入主题,主题数据写入分析仓库。

框架与连接器不是同一件事。不同连接器的安装、许可证、容错和投递语义不同。CDC 表示捕获数据变化,常用于数据库变更流;它仍要处理快照、表结构变化、权限和运维。

Streams:处理事件

Kafka Streams 是用于构建流处理应用的 Java/Scala 客户端库,不是必须额外搭建的独立 Kafka Broker。它可以做筛选、聚合、窗口计算和关联,应用本身仍需要部署、监控和扩容。

举例:统计每五分钟的订单金额,需要明确事件时间还是处理时间、窗口边界、迟到事件和重复事件如何处理。“五分钟统计”并不只是对数组求和那么简单。

四周学习安排

第一周完成第 1 至 5 章,每个概念配一个自己的例子。第二周完成组、进度和保留练习,记录重启和回放的结果。第三周精读可靠性与幂等,画出“业务成功、进度未提交”的故障时间线。第四周完成项目,选择熟悉的语言实现一个带数据库去重的消费者。

之后再研究多节点 KRaft、客户端编程、Connect、Streams、安全和容量。不要同时追逐所有参数;用一个真实问题推动下一次学习。