知识地图 · 数据从页面到分析结果

七个项目的依赖关系：先会拿页面，再会抽字段，然后工程化、上日志通道，最后能清洗分析。

主链路

项目	任务 / 小节
项目一	项目导言与学习目标
项目一	任务 1-1 认识大数据采集与预处理
项目一	任务 1-2 搭建数据采集与预处理开发环境
项目一	知识拓展与实例案例
项目二	项目导言与学习目标
项目二	任务 2-1 使用 Urllib 模块采集"新闻动态"
项目二	任务 2-2 使用 Requests 库采集"浪潮云说"
项目二	知识拓展与实例案例
项目三	项目导言与学习目标
项目三	任务 3-1 使用 XPath 解析"新闻动态"
项目三	任务 3-2 使用 Beautiful Soup 解析"浪潮云说"
项目三	知识拓展与实例案例
项目四	项目导言与学习目标
项目四	任务 4-1 使用 Scrapy 框架完成新闻公告页面数据采集与存储
项目四	知识拓展与实例案例
项目五	项目导言与学习目标
项目五	任务 5-1 使用 Flume 采集某官网访问日志数据
项目五	任务 5-2 使用 Kafka 消费 Flume 中某官网访问日志数据
项目五	知识拓展与实例案例
项目六	项目导言与学习目标
项目六	任务 6-1 使用 Pandas 实现新闻动态网页数据预处理
项目六	任务 6-2 使用 Pig 实现浪潮云说网页数据预处理
项目六	任务 6-3 使用 ELK 实现某官网日志数据预处理
项目六	知识拓展与实例案例
项目七	项目背景与目标
项目七	技术架构
项目七	实训步骤
项目七	完整代码 main.py
项目七	验收标准
项目七	拓展任务（进阶选做）

urllib / requests 拿页面，Flume / Kafka 拿日志——数据从哪来。

XPath / BS4 抽字段，Scrapy 工程化——把网页变成表。

pandas / Pig 清洗统计——把表变成结论。

建议走法按 1→7 顺序；只想做爬虫的重点 2、3、4；要做日志分析的重点 5；做数据清洗报告的重点 6；第 7 个项目至少完整跑一遍。