教学流程 · 16 周 64 学时
在原站 7 个项目的基础上补齐教学安排：每周讲哪段、上机练什么、学时与考核怎么分。节奏与《Hive数据仓库工具》《Python 程序设计》一致（16 周 / 64 学时 / 每周 2+2）。
16 周14 个任务16 次实训1 个综合系统
一、学时分配 建议方案
| 项目 | 学时 | 说明 |
|---|
| 理论讲授 | 32 | 每周 2 学时，覆盖 7 个项目 14 个任务 |
| 上机实践 | 32 | 每周 2 学时，16 次实训，边讲边练 |
| 合计 | 64 | 4 学分 |
二、16 周教学进度
理论 2 学时 + 实践 2 学时
| 周次 | 进度 | 教学内容 | 上机实训 / 作业 | 学时 |
|---|
| 第1周 | 项目一 | 数据来源、采集与预处理流程、常用工具全景 | 实训1：装 PyCharm 与依赖库，跑通第一个脚本 | 2+2 |
| 第2周 | 任务 1-1 / 1-2 | 大数据采集概念；PyCharm 环境与快捷键 | 实训2：整理一份“数据从哪来”的调研表 | 2+2 |
| 第3周 | 任务 2-1 | urllib.request / error / parse 三模块 | 实训3：抓取新闻列表页并保存 HTML | 2+2 |
| 第4周 | 任务 2-2 | requests 的参数、请求头、超时与编码 | 实训4：抓“浪潮云说”并按行业分类存文件 | 2+2 |
| 第5周 | 任务 3-1 | XPath 语法：层级、属性、位置、文本提取 | 实训5：用 XPath 抽取新闻标题与链接 | 2+2 |
| 第6周 | 任务 3-2 | BeautifulSoup 的 find / select / 遍历 | 实训6：用 BS4 抽取时间、来源、正文 | 2+2 |
| 第7周 | 任务 4-1（上） | Scrapy 结构、创建项目、Spider 编写 | 实训7：新建 Scrapy 项目并抓一页数据 | 2+2 |
| 第8周 | 任务 4-1（下） | Item、Pipeline、settings 配置与落库 | 实训8：把抓到的数据写入 CSV | 2+2 |
| 第9周 | 任务 5-1 | Flume 的 Source/Channel/Sink 与配置 | 实训9：采集本机访问日志到 HDFS | 2+2 |
| 第10周 | 任务 5-2 | Kafka 的 topic、生产者、消费者与 API | 实训10：用 Kafka 消费 Flume 写入的日志 | 2+2 |
| 第11周 | 任务 6-1（上） | pandas 数据结构、读写、切选 | 实训11：读 CSV 并做基础探查 | 2+2 |
| 第12周 | 任务 6-1（下） | 缺失值、重复值、分组与统计 | 实训12：清洗新闻数据并统计来源分布 | 2+2 |
| 第13周 | 任务 6-2 | Pig 简介、配置与 Pig Latin 基础 | 实训13：用 Pig 做一次批量过滤统计 | 2+2 |
| 第14周 | 项目七（上） | 综合实训：需求、架构、字段设计 | 实训14：完成采集与解析两段 | 2+2 |
| 第15周 | 项目七（中） | 清洗与统计：pandas 分组、缺失值处理 | 实训15：产出统计结果表 | 2+2 |
| 第16周 | 项目七（下） | 整合成 main.py、自检与答辩 | 实训16：交付代码 + 结果 + 现场演示 | 2+2 |
三、项目与周次对照
四、考核与成绩构成 建议方案
| 类别 | 组成部分 | 占比 |
|---|
| 平时成绩 | 出勤与课堂表现 | 10% |
| 平时成绩 | 实训作业（16 次） | 30% |
| 期末成绩 | 综合实训系统（代码 + 结果 + 答辩） | 40% |
| 期末成绩 | 上机机试（限时抓取与解析） | 20% |
说明本课原站未提供课程标准，学时（64 学时 / 4 学分）与考核比例为按同类课程节奏给出的建议值；若院系已有要求，以正式文件为准。
五、与其他课程的节奏对照
五门课处于同一量级，便于同一批学生适应
| 课程 | 章/项目 | 讲/任务 | 学时 | 周次 | 每周节奏 |
|---|
| Hive数据仓库工具 | 8 单元 | 按任务拆分 | 64 | 16 周 | 2 理论 + 2 实验 |
| 数据库原理与应用 | 5 章 | 25 讲 | 材料未标注 | — | 每讲一个知识点 |
| Java 程序设计 | 11 章 | 773 页课件 | 材料未标注 | — | 每章 4-8 个知识点 |
| Python 程序设计 | 10 章 | 28 讲 | 64 | 16 周 | 2 理论 + 2 实验 |
| 动态网页数据采集与预处理（本课） | 7 项目 | 14 个任务 | 64 | 16 周 | 2 理论 + 2 实验 |