Kafka 实时事件流 从入门到精通
3天 · Kafka 集群、可靠交付与应用集成实战

Kafka 从入门 到精通

掌握高吞吐、可扩展、可靠的实时事件流架构

从主题、分区和消费者组基础开始，逐步进入集群部署、ISR 与 ACK、事务幂等、Rebalance、监控优化，并完成 Java 客户端与 Spring Boot 集成，构建面向生产的消息流能力。

查看课程模块 课程咨询
3天 集中实战
6 核心模块
Topic / Partition 事件流基础
Java / Spring 客户端集成

COURSE OVERVIEW

从消息收发到可靠集群，建立可用于生产环境的实时事件流能力

Kafka 以主题、分区和副本组织事件流，通过生产者、消费者和消费者组连接上游业务与下游应用。本课程从单机入门开始，带领学员理解消息如何被写入、保存、复制、读取和重新分配，再逐步完成集群部署、可靠交付与客户端开发。

学习将聚焦工程中最容易影响稳定性的环节：消息顺序、offset、ACK、ISR、HW/LEO、幂等与事务、重复消费、积压和 Rebalance，并结合监控平台、Java API、Spring Boot 与 Flume 对接，形成端到端的实战视角。

  • 需要构建实时消息、数据同步或事件驱动系统的开发与架构人员
  • 负责 Kafka 集群部署、日常维护、监控与性能优化的运维人员
  • 具备基础 Linux 操作与 Java 语法基础，希望掌握 Spring 整合的学员
课程周期 3天集中实战
集群主题 Broker、分区与副本
可靠交付 ISR、ACK、幂等与事务
应用落地 Java、Spring Boot、Flume

EVENT STREAM PATH

跟随一条消息，理解 Kafka 的端到端运行路径

从事件发布到消费提交，将吞吐、顺序、容错与业务集成连接为一套完整工程能力。

生产事件

生产者以同步、异步或事务方式将消息写入指定主题。

写入分区

按分区策略路由消息，在分区日志中保持有序存储和持续追加。

副本同步

Broker 通过副本、ISR、HW 与 LEO 机制保障高可用与数据一致性。

消费协同

消费者组按分区分配策略读取消息，并管理 offset 与 Rebalance。

应用与运维

用 Java、Spring Boot 接入业务，并通过监控和优化保持稳定运行。

PRACTICE FOCUS

将实时事件流的基础、可靠性与应用开发连成一体

每个模块都围绕生产环境的关键问题：如何扩展、如何可靠、如何定位和如何接入业务。

01

主题、分区与消费者组

理解主题操作、单播与多播、分区机制、文件存储，以及生产消费的基本流程。

02

集群部署与副本机制

完成 Kafka 集群部署、启动验证与基础脚本编写，理解 Broker、分区和副本关系。

03

可靠生产与一致性

掌握分区策略、ISR、ACK、幂等性、事务和 Exactly Once 语义的工程实践。

04

消费分配与 Offset 管理

理解消费者分区分配、Offset 存储、指定分区或时间消费，以及 Rebalance 机制。

05

监控、调优与故障处理

面向丢失、重复、积压和延时队列等问题，结合 Kafka Eagle 进行监控与排查。

06

Java 与 Spring Boot 集成

实现生产者、消费者、拦截器和事务机制，并完成 Spring Boot 与 Flume 对接。

FULL CURRICULUM

3天课程安排

从单机和集群基础开始，逐步进入可靠性、监控运维与客户端应用开发。

DAY 01 消息与集群基础 完成单机入门与集群部署
MODULE 01

Kafka 单机版入门

  • Kafka 简介、应用场景与基本架构
  • Linux 单机部署与配置文件详解
  • 主题创建、查看、修改与删除
  • 生产者、消费者、单播多播与消费者组
  • 分区、文件存储与生产消费流程
MODULE 02

搭建 Kafka 集群

  • ZooKeeper 协同集群与 Kafka 集群架构
  • 集群部署、启动停止脚本与验证
  • Broker、分区和副本核心概念
  • 集群环境下的生产者与消费者实践
DAY 02 可靠性与集群运维 保证交付质量并解决运行问题
MODULE 03

Kafka 集群进阶：可靠交付

  • 生产者分区策略、ISR、ACK 与一致性
  • Exactly Once 语义、幂等性与事务管理
  • 消费者分区分配策略与 Offset 存储
  • 高效读写、集群协调与分区实践
MODULE 04

Kafka 集群进阶：调优监控

  • Controller、Rebalance、HW 与 LEO 机制
  • 防止消息丢失和重复消费
  • 解决消息积压与实现延时队列
  • Kafka Eagle 监控平台搭建与使用
DAY 03 客户端与应用集成 让消息流进入 Java 业务系统
MODULE 05

Java 实现生产者和消费者

  • 普通生产者、常见配置与同步异步发送
  • 分区策略、事务机制与消息拦截器
  • 普通消费者与业务场景配置
  • 自动与手动提交 Offset、重置和保存
  • 指定分区与指定时间消费
MODULE 06

Spring Boot 整合 Kafka

  • Spring Boot 中 Kafka 基本实现
  • Kafka 配置详解与生产消费实现
  • 面向业务服务的消息交互实践
  • Kafka 与 Flume 对接及数据分类

LEARNING OUTCOMES

完成课程后，你能够构建并维护一套可靠的 Kafka 消息流体系

01

管理主题与消费者组

创建和维护主题，理解分区、消费者组、单播多播和生产消费的运行方式。

02

部署验证 Kafka 集群

完成基础集群部署、脚本化启停和健康验证，理解 Broker 与副本的协同关系。

03

设计可靠交付策略

结合 ISR、ACK、幂等、事务、HW 与 LEO，降低丢失、重复与不一致风险。

04

处理消费和积压问题

管理分区分配、Offset 和 Rebalance，针对积压、延时和重复消费制定处理方案。

05

监控并优化集群运行

使用监控平台观察集群状态，定位副本、吞吐、消费滞后和控制器相关问题。

06

完成 Java 业务集成

使用 Java API 与 Spring Boot 实现生产、消费、事务、拦截和外部系统的数据对接。

APACHE KAFKA PRACTICE

把高吞吐事件流、可靠存储与实时处理连接为可运营的业务基础设施

Apache Kafka 以主题、分区、复制与消费者组实现可扩展的事件流处理。课程围绕这些基础能力展开，同时延伸到可靠交付、消费协调、监控与应用接入，帮助学员用工程视角理解实时数据系统。

官方技术能力参考 事件流、主题分区、复制与消费者组

了解 Apache Kafka 对事件发布订阅、持久化存储、分区扩展、复制容错和实时处理的核心支持。

查看 Apache Kafka 官方文档

START LEARNING

用 3 天完成从 Kafka 基础到生产级事件流实践的训练

适合希望构建、运维或集成实时消息系统的后端开发、数据平台和运维工程人员。

咨询课程安排