《动态网页数据采集与预处理》学习网站
七个项目一条链路：采集 → 解析 → 框架化 → 日志通道 → 预处理 → 综合实训。讲义、代码与表格沿用原有内容，版式与导航已与另外四门课统一，并补上了零基础引导、练习、速查与教学流程。
7项目
14任务
82段代码
16周
64学时
49术语条目
学习路径 · 五个阶段
七个项目 · 知识轨
项目一 初识动态网页数据采集与预处理
数据来源有哪些、大数据采集与预处理的流程、常用工具，以及在 PyCharm 里把开发环境装好。
项目二 动态网页数据采集
用 urllib 与 requests 抓取“新闻动态”“浪潮云说”页面：请求参数、请求头、编码、异常处理。
项目三 动态网页数据解析
用 XPath（lxml）与 BeautifulSoup 从 HTML 中精准提取标题、时间、来源、正文。
项目四 基于框架实现动态网页数据采集与存储
Scrapy 的工程结构、爬虫编写、items 定义、Pipeline 落库——从“脚本”升级到“工程”。
项目五 动态网页访问日志数据采集
Flume 采集官网访问日志、Kafka 消费日志：Source / Channel / Sink 三段式链路与拦截器。
项目六 动态网页数据预处理
pandas 的 Series/DataFrame、缺失值处理、分组统计，以及 Pig 的批量处理写法。
项目七 综合实训：校园新闻动态采集与分析系统
把前六个项目串成一条完整链路：采集 → 解析 → 清洗 → 统计 → 输出，并达到验收标准。
速查与工具箱
怎么用① 每个知识点卡片右上角可勾选“已掌握”，进度存浏览器本地；② Ctrl+K 全站搜索（可搜任务名、库名、命令）；③ 代码块一键复制；④ 左侧栏顶部有“课程总入口”，可回到五门课的总览页。