术语表

内容由 JavaScript 异步加载或服务端渲染后生成的网页，直接抓 HTML 往往拿不到完整数据。

内容固定写在 HTML 里，请求一次就能拿到全部内容的网页。

有固定字段与类型的数据，如数据库表、CSV。

有一定结构但不严格，如 JSON、XML、HTML。

没有固定结构的数据，如文本、图片、音视频。

把分散在各处的数据抓取、汇总到统一存储的过程。

对原始数据做清洗、转换、规整，使其可用于分析。

抽取—转换—加载，数据预处理的经典三步。

JetBrains 出品的 Python IDE，本项目用它写爬虫与数据分析代码。

浏览器向服务器索要资源的动作，由方法、URL、请求头、请求体组成。

GET 把参数拼在 URL 上取数据；POST 把数据放在请求体里提交。

随请求发送的附加信息，User-Agent、Cookie、Referer 都在这里。

标识客户端身份与浏览器的字符串，爬虫常需要伪装它。

服务器返回的处理结果：200 成功、403 拒绝、404 不存在、500 服务器错误。

把中文、空格等字符转成 %XX 形式，中文参数必须编码。

Python 标准库的 HTTP 模块，包含 request、error、parse 三个子模块。

最常用的第三方 HTTP 库，接口简洁，支持会话、参数、超时。

请求等待响应的最长时间，不设置可能导致程序卡死。

requests.Session 保持 Cookie，适合需要登录态的连续请求。

网站声明爬虫可访问范围的协议文件，采集前应查看。

网页的标记语言，由标签、属性、文本构成树形结构。

把 HTML 解析成的节点树，XPath 与 BS4 都在树上定位。

在 XML/HTML 树中定位节点的路径语言，支持层级、属性、位置、文本。

高性能 HTML/XML 解析库，配合 XPath 使用。

lxml 提供的解析接口，html = etree.HTML(text) 生成可查询对象。

容错的 HTML 解析库，提供 find、select、get_text 等方法。

CSS 选择器，如 div.news > a，BS4 的 select 支持。

标签上的键值对，如 href、src、class，是提取链接与图片地址的关键。

异步爬虫框架，把采集、解析、存储组织成工程。

Scrapy 的爬虫类，定义起始 URL 与解析逻辑。

Scrapy 中定义要抓取的字段结构。

Scrapy 的数据管道，负责清洗、去重、写入文件或数据库。

Scrapy 中拦截请求/响应的钩子，常用来换代理、加请求头。

网站限制爬虫的手段：频率限制、验证码、UA 校验、加密参数。

分布式日志采集工具，Agent 由 Source、Channel、Sink 组成。

数据从 Source 进来、经 Channel 缓存、由 Sink 写出。

Flume 中对事件做加工、过滤、加时间戳的插件。

分布式消息队列，用 topic 组织消息，支持高吞吐的生产与消费。

Kafka 中消息的分类单位。

生产者写消息到 topic，消费者从 topic 读消息。

服务器记录的每次请求信息：IP、时间、URL、状态码、UA 等。

Python 的数据分析库，核心是 Series 与 DataFrame。

带行列标签的二维数据表，pandas 的核心结构。

数据中的空值（NaN/None），需填充或删除。

删除重复记录，pandas 用 drop_duplicates。

按某列分组后做求和、均值、计数等统计。

Hadoop 上的批量数据处理工具，用 Pig Latin 描述数据流。

Pig 的脚本语言：LOAD、FILTER、GROUP、FOREACH、STORE。

逗号分隔的表格文本，是采集结果最常见的落地格式。