项目七 综合实训：校园新闻动态采集与分析系统

# 打开终端，安装所需库
pip install requests beautifulsoup4 lxml pandas

# 验证安装
python -c "import requests, bs4, lxml, pandas; print('环境就绪')"

# step2_fetch.py
import requests

# 真实场景：请求新闻网站
url = "https://www.example.com/news/index.html"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}
resp = requests.get(url, headers=headers, timeout=10)
resp.encoding = "utf-8"          # 指定编码，避免乱码
html = resp.text                 # 页面源码 → 下一步解析的输入
print("状态码：", resp.status_code, "页面长度：", len(html))

# step3_parse.py
from lxml import etree

# 课堂演示：内置一段新闻列表 HTML（模拟采集结果）
html = """
<div class="news-list">
  <div class="item"><a href="/n/1.html">学校召开教学改革会议</a><span>2023-02-10</span><em>官方发布</em></div>
  <div class="item"><a href="/n/2.html">春季运动会圆满落幕</a><span>2023-02-11</span><em>校园新闻</em></div>
  <div class="item"><a href="/n/3.html">新图书馆正式开放</a><span>2023-02-12</span><em>校园新闻</em></div>
  <div class="item"><a href="/n/4.html">人工智能专业获批</a><span>2023-02-13</span><em>官方发布</em></div>
  <div class="item"><a href="">标题缺失的新闻</a><span>2023-02-14</span><em>行业资讯</em></div>
</div>
"""
root = etree.HTML(html)

items = []
for item in root.xpath('//div[@class="item"]'):
    title = item.xpath('a/text()')[0] if item.xpath('a/text()') else ""
    link  = item.xpath('a/@href')[0]  if item.xpath('a/@href') else ""
    time  = item.xpath('span/text()')[0] if item.xpath('span/text()') else ""
    src   = item.xpath('em/text()')[0] if item.xpath('em/text()') else ""
    items.append({"标题": title, "链接": link, "发布时间": time, "来源": src})

print("解析出新闻", len(items), "条")
for it in items:
    print(it)

# step4_pandas.py
import pandas as pd

# 上一步解析得到的 items 列表 → DataFrame
df = pd.DataFrame(items)
print("原始数据：", df.shape)

# 1. 去重（按标题）
df = df.drop_duplicates(subset=["标题"])

# 2. 填充：标题为空补"未知"，链接为空补"无"
df["标题"] = df["标题"].fillna("未知").replace("", "未知")
df["链接"] = df["链接"].replace("", "无")

# 3. 类型转换：发布时间转成日期类型
df["发布时间"] = pd.to_datetime(df["发布时间"])
print("清洗后数据：\n", df)

# 4. 按"来源"分组统计
result = df.groupby("来源").agg(
    新闻条数=("标题", "count"),
    最早时间=("发布时间", "min"),
    最晚时间=("发布时间", "max")
).reset_index().sort_values("新闻条数", ascending=False)
print("\n按来源统计：\n", result)

# 5. 保存最终报表
result.to_csv("news_report.csv", index=False, encoding="utf-8-sig")
df.to_csv("news_clean.csv", index=False, encoding="utf-8-sig")
print("\n已保存 news_clean.csv 与 news_report.csv")

# main.py —— 校园新闻动态采集与分析系统（综合实训）
# 运行：python main.py
import pandas as pd
from lxml import etree
import requests

# ① 采集：真实场景请求页面（此处保留接口，课堂用内置示例）
def fetch_page(url=None):
    if url is None:
        # 课堂演示：内置新闻列表 HTML
        return """
<div class="news-list">
  <div class="item"><a href="/n/1.html">学校召开教学改革会议</a><span>2023-02-10</span><em>官方发布</em></div>
  <div class="item"><a href="/n/2.html">春季运动会圆满落幕</a><span>2023-02-11</span><em>校园新闻</em></div>
  <div class="item"><a href="/n/3.html">新图书馆正式开放</a><span>2023-02-12</span><em>校园新闻</em></div>
  <div class="item"><a href="/n/4.html">人工智能专业获批</a><span>2023-02-13</span><em>官方发布</em></div>
  <div class="item"><a href="">标题缺失的新闻</a><span>2023-02-14</span><em>行业资讯</em></div>
</div>
"""
    resp = requests.get(url, headers={"User-Agent": "Mozilla/5.0"}, timeout=10)
    resp.encoding = "utf-8"
    return resp.text

# ② 解析：XPath 提取标题 / 链接 / 时间 / 来源
def parse_news(html):
    root = etree.HTML(html)
    items = []
    for node in root.xpath('//div[@class="item"]'):
        title = node.xpath('a/text()')
        link  = node.xpath('a/@href')
        time  = node.xpath('span/text()')
        src   = node.xpath('em/text()')
        items.append({
            "标题": title[0] if title else "",
            "链接": link[0] if link else "",
            "发布时间": time[0] if time else "",
            "来源": src[0] if src else "",
        })
    return items

# ③ 预处理：去重、填充、类型转换
def clean(df):
    df = df.drop_duplicates(subset=["标题"])
    df["标题"] = df["标题"].replace("", "未知")
    df["链接"] = df["链接"].replace("", "无")
    df["发布时间"] = pd.to_datetime(df["发布时间"])
    return df

# ④ 统计：按来源分组
def report(df):
    return df.groupby("来源").agg(
        新闻条数=("标题", "count"),
        最早时间=("发布时间", "min"),
        最晚时间=("发布时间", "max")
    ).reset_index().sort_values("新闻条数", ascending=False)

# 主流程
if __name__ == "__main__":
    html = fetch_page()                 # ① 采集
    items = parse_news(html)            # ② 解析
    print("采集到新闻：", len(items), "条")

    df = pd.DataFrame(items)            # ③ 预处理
    df = clean(df)
    print("清洗后：", len(df), "条")

    result = report(df)                 # ④ 统计
    print("\n📊 按来源统计结果：")
    print(result.to_string(index=False))

    df.to_csv("news_clean.csv", index=False, encoding="utf-8-sig")
    result.to_csv("news_report.csv", index=False, encoding="utf-8-sig")
    print("\n✅ 已保存 news_clean.csv 与 news_report.csv")

# 运行输出示例
采集到新闻： 5 条
清洗后： 5 条

📊 按来源统计结果：
 来源     新闻条数   最早时间      最晚时间
 官方发布        2  2023-02-10  2023-02-13
 校园新闻        2  2023-02-11  2023-02-12
 行业资讯        1  2023-02-14  2023-02-14

✅ 已保存 news_clean.csv 与 news_report.csv