知识地图
把 10 章、103 个知识点、16 周的进度对齐到一条主线上：每章先学什么、学完能做什么、下一步去哪。
章依赖关系
| 章 | 标题 | 周次 | 学时 | 前置 | 学完能做什么 |
|---|---|---|---|---|---|
| 第1章 | Hadoop基础知识 | 第1周 | 4 | — | 能说清 Hadoop 是什么、由哪些组件构成、在什么场景下用 |
| 第2章 | 搭建Hadoop分布式集群 | 第2–3周 | 8 | 第1章 | 能独立搭出 3 节点高可用 Hadoop 集群并验证 |
| 第3章 | 搭建Eclipse开发环境 | 第4周 | 4 | 第2章 | 能在本地写 MapReduce 程序并提交到集群运行 |
| 第4章 | Hadoop分布式文件系统 | 第5–6周 | 8 | 第2–3章 | 能讲清 HDFS 架构与读写流程，并熟练用命令行/API 操作 |
| 第5章 | Hadoop的I/O操作 | 第7周 | 4 | 第4章 | 能解释校验和、序列化、压缩与容器文件的原理与用法 |
| 第6章 | MapReduce基础与编程 | 第8–9周 | 8 | 第5章 | 能独立编写、打包、提交 MapReduce 作业并调优 |
| 第7章 | Hive实战 | 第10–11周 | 8 | 第6章 | 能用 HiveQL 完成建表、查询、UDF 与数据迁移 |
| 第8章 | HBase实战 | 第12–13周 | 8 | 第7章 | 能用 HBase 做随机读写并写出增删改查程序 |
| 第9章 | Spark实战 | 第14–15周 | 8 | 第8章 | 能用 Spark RDD 写出行数统计等内存计算程序 |
| 第10章 | 天气数据分析实战 | 第16周 | 4 | 第1–9章 | 能独立完成"采集 → 预处理 → 分析"的离线分析项目 |
章节 × 知识点全景
第1章 Hadoop基础知识
- 1.1 Hadoop概述：1.1.1 什么是Hadoop、1.1.2 Hadoop的产生与发展、1.1.3 Hadoop的版本变迁、1.1.4 Hadoop的基本特性
- 1.2 Hadoop生态系统：1.2.1 生态圈各组件分工
- 1.3 Hadoop与Spark对比分析
- 1.4 Hadoop的应用场景
第2章 搭建Hadoop分布式集群
- 2.1 创建虚拟机并安装 CentOS 7：2.1.1 安装虚拟机软件与创建虚拟机、2.1.4 安装 CentOS 7 操作系统
- 2.2 配置虚拟机集群环境：2.2.1 修改主机名和设置固定IP、2.2.3 安装和配置JDK、2.2.4 克隆虚拟机和配置主机IP映射、2.2.5 配置集群各节点SSH免密码登录
- 2.3 搭建Hadoop高可用集群：2.3.1 安装与配置ZooKeeper、2.3.2 安装与配置Hadoop、2.3.3 启动与测试Hadoop
第3章 搭建Eclipse开发环境
- 3.1 搭建Hadoop伪分布式环境
- 3.2 在Eclipse中配置Hadoop开发环境：3.2.1 Windows中安装配置JDK、3.2.2 安装Eclipse并配置Hadoop插件
- 3.3 演示Hadoop自带的单词统计程序
第4章 Hadoop分布式文件系统
- 4.1 HDFS概述：4.1.1 HDFS的设计目标和不足、4.1.2 HDFS的体系结构
- 4.2 数据错误与恢复：4.2.1 block损坏处理、4.2.2 NameNode和DataNode错误处理
- 4.3 HDFS的运行机制
- 4.4 HDFS的工作流程：4.4.3 HDFS写流程、4.4.2 HDFS读流程
- 4.5 HDFS的基本操作：4.5.1 HDFS命令行操作、4.5.2 HDFS Java API操作
第5章 Hadoop的I/O操作
- 5.1 数据完整性：5.1.1 HDFS的数据完整性、5.1.2 验证数据完整性
- 5.2 序列化与反序列化：5.2.1 序列化、5.2.2 反序列化
- 5.3 数据压缩：5.3.1 压缩与解压缩方法Codec、5.3.2 压缩与输入分片
- 5.4 Hadoop文件的数据结构：5.4.1 SequenceFile、5.4.2 MapFile
第6章 MapReduce基础与编程
- 6.1 MapReduce概述：6.1.1 分布式并行计算、6.1.3 MapReduce的特点
- 6.2 MapReduce的工作流程：6.2.1 输入分片和数据格式化、6.2.3 Shuffle过程、6.2.4 Reduce过程
- 6.3 案例解析——单词统计编程：6.3.4 编程实现（Mapper/Reducer/Driver）、6.3.5 运行程序、6.3.6 数据优化
- 6.4 案例解析——二次排序编程：6.4.3 编程实现（自定义 WritableComparable + 分区 + 分组）
第7章 Hive实战
- 7.1 Hive概述：7.1.2 Hive的文件存储格式、7.1.3 Hive支持的数据类型
- 7.2 安装与验证Hive：7.2.2 安装和配置Hive
- 7.3 HiveQL详解：7.3.2 表操作、7.3.3 数据查询
- 7.5 用户自定义函数：7.5.1 编写UDF
- 7.7 数据迁移工具Sqoop：7.7.2 MySQL数据导入Hive
第8章 HBase实战
- 8.1 HBase概述：8.1.1 什么是HBase、8.1.2 逻辑视图与模式设计
- 8.2 安装HBase
- 8.3 HBase Shell命令操作：8.3.1 Shell常用命令
- 8.4 HBase Java API操作
- 8.5 Phoenix实战：8.5.2 Phoenix基础操作
第9章 Spark实战
- 9.1 Spark概述：9.1.2 Spark的主要组件
- 9.2 安装Spark
- 9.3 Spark RDD：9.3.1 转化算子、9.3.2 行动算子、9.3.3 RDD依赖关系
- 9.4 Spark Java API操作
- 9.5 案例解析——单词统计编程
第10章 天气数据分析实战
- 10.1 案例简介
- 10.2 数据采集
- 10.3 数据预处理：10.3.1 缺失值处理与格式化、10.3.3 数据去重与分区
- 10.4 数据分析：10.4.1 月气温分析、10.4.2 各城市每月晴天天数统计、10.4.3 北京市霾天气的初步分析