AI小编归纳总结
本课程为基于Apache Flink的企业级实时大数据流处理实战教程，以“实时旅游平台”为业务场景，完整覆盖集群搭建、行为数据采集、流式分析与Grafana可视化全链路。深度融合Hadoop、Kafka、Elasticsearch、Redis、MySQL、Zookeeper等组件，旨在解决“缺乏项目经验”痛点，构建工程化实时计算能力。课程分环境、数据、分析、展示四篇，共132课时，配套源码、笔记、PPT及软件包，采用企业级稳定版本。适用大数据工程师、转型者、架构师与学生，提供从环境部署到多维聚合、TopN统计、告警等高阶技能，是系统性落地实时数据平台的权威参考。
资源概述本课程是一套基于 Apache Flink 的企业级实时大数据流处理项目实战教程，以“实时旅游平台”为业务蓝本，完整覆盖从底层集群环境搭建、行为数据采集埋点、流式数据分析处理到 Grafana 可视化大屏呈现的全链路开发流程。课程深度融合 Hadoop、Kafka、Elasticsearch、Redis、MySQL、Zookeeper 等多种大数据生态组件，帮助学习者突破“只会 Demo、缺乏项目经验”的瓶颈，构建从零到一落地实时计算系统的工程化能力。
适用人群大数据开发工程师：系统掌握 Flink 在真实业务场景中的流式处理应用，包括实时 ETL、多维聚合、异步维度关联、TopN 统计等高阶操作，将技术知识转化为项目经验。 后端开发者转型大数据方向：课程从环境搭建起步，逐步过渡到复杂的流处理逻辑与多组件协作，提供完整的项目源码与笔记，降低转型门槛。 架构师与技术 Leader：理解实时数据平台的架构设计思路，掌握 Flink HA 高可用部署、多组件协同配合方案及可视化监控体系，为技术选型与架构评审提供决策参考。 计算机专业学生与求职者：通过一个完整的企业级项目案例，丰富简历中的项目经历，面试中可深入讲解架构设计与技术细节。
核心学习收获完整集群环境搭建能力：掌握从 JDK 安装、Zookeeper 部署、Hadoop 配置与测试、Kafka 集群搭建与验证，到 Elasticsearch 集群（含 Head 插件）、Redis 主从部署、Flink HA 高可用及 HistoryServer 配置的全套环境搭建技能。 行为数据采集与埋点 SDK 开发：学会创建行为日志 SDK 项目，编写订单事实数据与用户行为数据（浏览、点击、产品浏览列表）的采集代码，完成本地与部署环境的数据生成测试。 Flink 流式数据处理核心能力：掌握 Flink 实时执行环境的获取与配置，封装 Flink-Kafka 消费者与 JDBC 维度数据流，实现订单行为数据实时 ETL 写入 HDFS，以及用户交互行为的明细数据打入 Elasticsearch 与 Kafka。 多维数据分析与聚合实战：深入理解订单明细宽表的构建与异步维度数据加载，掌握订单数量/时间触发的聚合统计、自定义状态统计、境内外游订单统计及实时 TopN 统计等复杂分析逻辑的实现。 数据可视化与监控呈现：学会 Grafana 的安装部署及与 Elasticsearch 的数据源整合，构建订单金额折线图、累计订单仪表盘、面积图及聚合列表等多种可视化图表。 多技术栈协作整合：贯通 Flink 与 Kafka、ES、Redis、MySQL、HDFS 之间的数据流交互，理解各组件在实时数据链路中的角色与协作方式。
内容体系
环境篇：基础集群搭建与组件部署从项目计划与行业背景讲起，全面介绍项目架构与软件版本选型；逐步完成 JDK、Zookeeper、Hadoop、Kafka、Elasticsearch（含 Head 插件）、Redis、Flink HA 及 MySQL 的安装、配置与功 能验证，为后续开发打下坚实基础。
数据篇：业务理解与数据采集开发深入讲解平台功能、数据流程及各维度数据描述，带领完成行为日志 SDK 项目的创建、依赖配置、订单与用户行为埋点代码编写，并通过本地与部署环境的双重测试确保数据链路通畅。
分析篇：流式计算核心逻辑实现系统构建数据分析的实体封装、工具类封装（ES、Redis、Kafka、Druid、Flink 等），实现订单行为实时 ETL、用户点击/浏览/产品浏览明细数据打入 ES 与 Kafka、订单明细宽表异步维度关联、订单多维聚合统计、TopN 实时排名及用户行为告警等完整分析链路。
展示篇：可视化呈现与项目总结讲解 Grafana 可视化框架的安装配置，完成与 ES 的数据源整合，构建折线图、仪表盘、面积图、聚合列表等多种图表，并做整体项目技术总结。
配套资源与说明课程规模：共 132 个课时视频，按环境篇、数据篇、分析篇、展示篇四阶段组织，配套完整的课程笔记（PDF）、源码（ZIP）、PPT 课件及环境安装所需软件包。 软件版本：Flink 1.9.1、Hadoop 2.7.6、Elasticsearch 6.5.3、Kafka（课程内置版本）、Redis 4.0.11、Zookeeper 3.4.10、MySQL 5.7.18，均为企业常见稳定版本。 环境支持：提供 CentOS 7.7 系统镜像、Linux 所需软件包（Elasticsearch、Flink、Hadoop、JDK、MySQL、Redis、Zookeeper 等）、Windows 开发工具安装文档，覆盖从系统到开发的完整环境链路。 源码与资料：包含 qianfeng_tdata.zip、qianfeng_travel.zip 等完整项目源码，数据库 SQL 文件，及分阶段配套的 PPT 课件与 PDF 笔记。 注意事项：
课程基于特定版本组件录制，核心代码逻辑与架构设计具有长期参考价值，但部分 API 在更高版本中可能有所调整，学习时建议以课程版本为基础，后续自行升级适配。 集群搭建实验依赖多台虚拟机或物理节点，建议在内存不低于 16GB 的机器上进行完整环境部署，或使用云主机替代本地虚拟机。 行为日志 SDK 的部署测试需确保网络互通与 Kafka 集群可用，本地测试时可适当降低并发量以匹配开发环境资源。
| 
