项目一 初识动态网页数据采集与预处理

# 结构化数据：类似一张"表格"，每一行是一条记录
student_list = [
    ["学号", "姓名", "成绩"],
    ["001", "张三", 89],
    ["002", "李四", 95],
    ["003", "王五", 78],
]
print("结构化数据（表格形式）：")
for row in student_list:
    print(row)

# 半结构化数据：JSON 风格的字典，键值对自带"字段名"
student_json = {"001": {"name": "张三", "score": 89},
                "002": {"name": "李四", "score": 95}}
print("\n半结构化数据（键值对形式）：")
print(student_json["002"]["name"], student_json["002"]["score"])

结构化数据（表格形式）：
['学号', '姓名', '成绩']
['001', '张三', 89]
['002', '李四', 95]
['003', '王五', 78]

半结构化数据（键值对形式）：
李四 95

# 模拟一份从网页采集到的"脏数据"
raw = [
    {"姓名": "张三", "年龄": 23, "电话": "13800138001"},
    {"姓名": "李四", "年龄": None, "电话": "13900139002"},   # 年龄缺失
    {"姓名": "张三", "年龄": 23, "电话": "13800138001"},     # 重复记录
    {"姓名": "王五", "年龄": "二十五", "电话": "13700137003"}, # 年龄格式异常
]

print("体检报告：")
seen = set()
for i, row in enumerate(raw, 1):
    problems = []
    if row["年龄"] is None:
        problems.append("缺失")
    elif not isinstance(row["年龄"], int):
        problems.append("格式异常")
    key = (row["姓名"], row["电话"])
    if key in seen:
        problems.append("重复")
    seen.add(key)
    status = "、".join(problems) if problems else "正常"
    print(f"第{i}条记录：{row['姓名']} → {status}")

体检报告：
第1条记录：张三 → 正常
第2条记录：李四 → 缺失
第3条记录：张三 → 重复
第4条记录：王五 → 格式异常

# 安装：pip install pandas
import pandas as pd

# 1. 读取：从 CSV 读入数据表
df = pd.read_csv("news.csv")

# 2. 检查：看看有没有缺失和重复
print("缺失统计：\n", df.isna().sum())
print("数据行数：", len(df))

# 3. 去重：删除重复记录
df = df.drop_duplicates()

# 4. 填充：用"未知"填补缺失的标题
df["标题"] = df["标题"].fillna("未知")

# 5. 保存：输出清洗后的结果
df.to_csv("news_clean.csv", index=False)
print("清洗完成，剩余行数：", len(df))

缺失统计：
 标题      2
发布时间    0
阅读量     1
数据行数： 120
清洗完成，剩余行数： 112