术语表

用于数据存储、分析和报表生成的集成化管理系统，为决策构建面向分析的统一数据环境。

课件原文：“数据仓库具有四个显著特点，分别是面向主题（Subject-Oriented）、集成性（Integrated）、非易失性（Non-Volatile）和时变性（Time-Variant）。” —— 单元1 数据仓库基础与Hive入门 · 第9页

数据仓库的特点之一：把分析对象抽象为主题，以便集中分析和综合归类。

课件原文：“面向主题是指将分析对象抽象为主题，以便集中分析和综合归类。” —— 单元1 数据仓库基础与Hive入门 · 第9页

把来自不同系统的数据集中处理，解决字段定义不统一、计量单位不一致、缺失值等问题。

课件原文：“数据仓库具有四个显著特点，分别是面向主题（Subject-Oriented）、集成性（Integrated）、非易失性（Non-Volatile）和时变性（Time-Variant）。” —— 单元1 数据仓库基础与Hive入门 · 第9页

数据仓库主要用于分析而非频繁修改，数据进入仓库后相对稳定。

课件原文：“非易失性是指数据仓库主要用于分析而非频繁修改。” —— 单元1 数据仓库基础与Hive入门 · 第9页

随着时间推移持续引入新的数据批次，支持对不同时间段的数据进行分析。

课件原文：“数据仓库具有四个显著特点，分别是面向主题（Subject-Oriented）、集成性（Integrated）、非易失性（Non-Volatile）和时变性（Time-Variant）。” —— 单元1 数据仓库基础与Hive入门 · 第9页

抽取（Extract）→ 转换（Transform，含清洗）→ 加载（Load），数据仓库从业务系统取数的标准过程。

课件原文：“ETL是Extract-Transform-Load的缩写，其中Extract（抽取）指从一个或多个数据源抽取数据；Transform（转换）指对抽取的数据进行清洗与转换；Load（加载）指将转换后的数据加载到目标系统。” —— 单元1 数据仓库基础与Hive入门 · 第10页

联机事务处理：面向应用、支撑事务，MB/GB 级数据、毫秒级响应、高并发，以增删改查为主。

课件原文：“OLTP是一种操作型处理模式，核心目标是支持日常数据处理，针对具体业务场景在数据库中执行联机事务操作，通过对数据的增、删、改、查完成业务交互。” —— 单元1 数据仓库基础与Hive入门 · 第17页

联机分析处理：面向主题、支撑决策，TB/PB 级数据，对全量历史数据做低频复杂查询与多维分析。

课件原文：“OLAP是一种分析型处理模式，核心目标是支持数据分析，针对特定业务主题的历史数据执行复杂的多维分析，为管理决策提供依据。” —— 单元1 数据仓库基础与Hive入门 · 第17页

把数据按处理阶段与用途划分为不同层级、每层以表的形式组织，实现数据管理的规范化与灵活性；经典三层为 ODS、DW、DA。

课件原文：“DA层是整个数据仓库分层架构中最接近上层应用的部分，其存储的数据源于DW层加工后的标准化数据，通过结合具体业务场景的分析需求，进行针对性的计算、建模或可视化处理，最终形成可直接被业务人员调用的结果数据。” —— 单元1 数据仓库基础与Hive入门 · 第28页

贴源层：从各业务系统抽取原始数据、通常不做改动，起缓冲区作用，避免直接连接业务系统带来的耦合风险。

课件原文：“DWD层主要存储ODS层的原始数据转化为结构规范、质量可靠的明细数据，这些明细数据存储于明细事实表（或明细表）中，完整保留业务的原始细节，既可以直接用于特定场景的明细查询，也可以为上层的汇总计算提供准确、一致的数据源。” —— 单元1 数据仓库基础与Hive入门 · 第24页

仓库层：ODS 的原始数据经清洗、转换加工为可分析、可复用的主题化数据，内部常细分为 DWD、DWB、DWS、DIM。

课件原文：“DWB层主要存储对DWD层的明细数据按业务主题进行整合和关联后的数据，这些数据存储于中间事实表（或业务表）中。DWB层的核心作用是聚焦特定业务场景，将分散的明细数据通过关联字段串联起来，形成面向完整业务过程的数据视图。” —— 单元1 数据仓库基础与Hive入门 · 第25页

明细层：存储由 ODS 转化而来的结构规范、质量可靠的明细数据，保存在明细事实表中。

课件原文：“通过预先聚合计算，上层应用可直接获取汇总后的指标数据，无需每次从DWD层的明细数据中重复计算，从而减少大量资源消耗提升分析效率和响应速度。” —— 单元1 数据仓库基础与Hive入门 · 第26页

基础层：把 DWD 明细数据按业务主题整合关联，形成面向完整业务过程的数据视图（中间事实表/业务表）。

课件原文：“DW层是整个数据仓库分层架构的核心部分，其数据由ODS层的原始数据经清洗、转换加工而成，将零散的原始数据处理为可分析、可复用的主题化数据。在DW层内部，企业会根据业务复杂度和分析需求进一步细分层次，常见的细分层次包括DWD层、DWB层、DWS层和DIM层。” —— 单元1 数据仓库基础与Hive入门 · 第23页

汇总层：对 DWD 明细数据做聚合计算，按维度汇总到对应粒度，形成标准化的指标数据（汇总事实表/宽表）。

课件原文：“DWS层主要存储对DWD层的明细数据进行聚合计算后得到的汇总数据，这些数据存储于汇总事实表（或宽表）中。DWS层的核心作用是根据分析需求，将分散的明细数据按不同维度（如地区、月份、用户群体等）汇总到对应粒度，形成标准的指标化的数据” —— 单元1 数据仓库基础与Hive入门 · 第26页

维度层：存储描述业务实体的维度数据（用户、商品、地区、时间等），为事实表提供统一的维度关联基础。

课件原文：“DIM层的核心作用是支撑多维度查询与分析，通过提供标准化的维度定义，为各类事实表提供统一的维度关联基础，确保不同事实表在按维度统计时口径统一，避免分析结果因维度定义差异产生歧义。” —— 单元1 数据仓库基础与Hive入门 · 第27页

应用层：最贴近上层应用，结合业务场景做针对性计算、建模或可视化，支撑报表输出、可视化展示与 BI 设计。

课件原文：“DA层覆盖的业务场景广泛，包括但不限于固定报表输出、可视化展示、BI设计等，直接支撑业务决策的落地与执行。” —— 单元1 数据仓库基础与Hive入门 · 第28页

存储业务事件中可量化度量数据以及与维度表关联外键的表，是记录业务行为结果的核心载体。

课件原文：“在星形模型中，事实表通过外键与所有维度表直接关联，而维度表之间无任何关联关系，保持相互独立。这种设计使星形模型结构简洁、直观易懂，查询时仅需通过事实表与维度表的直接连接即可获取完整分析数据，无须复杂的多表嵌套关联，因此查询效率较高，成为数据仓库中支撑高频业务分析的主流建模方法。” —— 单元1 数据仓库基础与Hive入门 · 第35页

描述业务事件相关属性的表，为度量数据提供多样化的观察视角。

课件原文：“星形模型是一种结构简单的多维数据模型，因整体形态类似星星而得名。它以一个事实表为核心，周围连接多个维度表，其中事实表主要存储业务事件中可量化的度量数据，以及与各维度表关联的外键，是记录业务行为结果的核心载体；而维度表则用于描述这些业务事件的相关属性，为度量数据提供丰富多样的观察视角。” —— 单元1 数据仓库基础与Hive入门 · 第34页

以事实表为核心、周围连接多个相互独立的维度表的多维数据模型；结构简洁、连接路径短，查询效率较高。

课件原文：“数据仓库中的数据模型结构是数据组织的骨架，它通过明确事实与维度之间的关联逻辑，将业务场景转化为可计算的表关系，直接影响查询效率和业务适配性。常见的数据模型结构包括星形模型和雪花模型，具体介绍如下。” —— 单元1 数据仓库基础与Hive入门 · 第33页

在星形模型基础上把部分维度表进一步细分为多个关联子维度表的模型；描述更细致，但连接更多、查询效率通常低于星形模型。

课件原文：“雪花模型是在星型模型基础上的扩展形式，因维度表细分后结构形似雪花而得名。其核心特征是将星型模型中的部分维度表进一步细分为多个关联的子维度表，形成层级关系。雪花模型通过维度细分实现了更细致的业务描述，但由于维度表存在多层级关联，查询时需要更多的表连接操作，因此查询效率通常低于星形模型。” —— 单元1 数据仓库基础与Hive入门 · 第37页

构建在 Hadoop 之上的数据仓库工具，用类 SQL 的 HQL 对存储在 HDFS 上的海量结构化数据做分析，底层把查询转换为 MapReduce 等作业执行。

课件原文：“Hive中的其他类型主要包括布尔类型和二进制类型，具体介绍如表。” —— 单元1 数据仓库基础与Hive入门 · 第74页

Hive 提供的类 SQL 查询语言，简称 HQL。

课件原文：“Hive是一个基于Hadoop的数据仓库工具，它提供了类似SQL的查询语言——HiveQL（Hive Query Language，简称HQL），使用户可以通过编写HiveQL语句，对存储在HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）中的大规模数据进行查询、分析和管理，而无须编写复杂的分布式计算程序。” —— 单元1 数据仓库基础与Hive入门 · 第43页

描述数据的数据，如库名、表结构、分区信息与存储位置；Hive 把元数据保存在关系型数据库中。

课件原文：“SemanticAnalyzer负责对抽象语法树进行语义校验，包括元数据验证、函数是否存在且参数是否合法、数据类型是否匹配等。” —— 单元1 数据仓库基础与Hive入门 · 第53页

基于 Thrift 协议的元数据管理服务，负责存储和管理表结构、分区信息、存储位置等元数据，可对接 MySQL 等外部数据库。

课件原文：“Metastore是一种基于Thrift协议的元数据管理服务，负责存储和管理表结构、分区信息、存储位置等元数据。Metastore可以将元数据保存在外部关系型数据库（如MySQL、PostgreSQL等），或内嵌的Derby数据库中。” —— 单元1 数据仓库基础与Hive入门 · 第51页

Hive 的服务端组件，对外提供 JDBC/ODBC 接口，支持 Beeline、DataGrip 等客户端远程并发访问。

课件原文：“先启动Beeline，进入交互界面后，再通过交互式命令!connect指定HiveServer2的JDBC连接地址。” —— 单元2 Hive部署与应用 · 第22页

Hive 自带的命令行客户端，通过 JDBC 连接 HiveServer2 执行 HQL。

课件原文：“命令选项在执行脚本文件beeline启动Beeline时使用，用于指定连接地址、认证方式、初始化参数等信息，常用命令选项如表。” —— 单元2 Hive部署与应用 · 第12页

使用 Hive 内置 Derby 数据库保存元数据、随 Hive 进程启动的部署方式，同一时刻只允许一个会话连接。

课件原文：“内嵌模式是最简单的Hive部署方式，其核心特征是元数据存储与服务组件高度集成。在内嵌模式下，无须启动HiveServer2。同时，Metastore以嵌入方式运行，并使用嵌入式Derby数据库存储元数据。” —— 单元2 Hive部署与应用 · 第26页

元数据保存在本机关系型数据库（如 MySQL）中的部署方式，适合单机学习与开发。

课件原文：“在本地模式下，由于Hive涉及多会话访问，为实现统一的会话管理，通常将HiveServer2作为独立的JVM进程启动，而Metastore仍然以嵌入方式运行。” —— 单元2 Hive部署与应用 · 第41页

元数据库独立部署、客户端通过 HiveServer2 远程连接 Hive 的部署方式，适合多人协同与生产环境。

课件原文：“远程模式是生产环境中常见的Hive部署方式，其核心特征在于实现了服务组件的分离部署。在远程模式下，Hive的元数据仍然存储在外部关系型数据库中，但HiveServer2和Metastore均作为独立的JVM进程启动，并且部署在不同计算机上，从而实现组件解耦和资源隔离。” —— 单元2 Hive部署与应用 · 第69页

基于 DAG 的计算引擎；Hive on Tez 用 Tez 替代 MapReduce 执行查询，减少中间结果落盘、提升执行速度。

课件原文：“在HDFS创建用于存放Tez相关库的目录/apps/tez，在虚拟机Node02执行如下命令。” —— 单元2 Hive部署与应用 · 第99页

用 PARTITIONED BY 指定分区列的表，数据在 HDFS 上按分区值划分为子目录，查询时可做分区裁剪只扫描相关目录。

课件原文：“为使分区表能通过指定分区的目录读取目标数据，必须先在元数据中注册该分区，这一过程称为添加分区。在Hive中添加分区的语法格式如下。” —— 单元3 Hive数据定义 · 第109页

用 CLUSTERED BY … INTO n BUCKETS 把数据按列哈希分散到固定数量桶中的表，便于高效抽样与连接。

课件原文：“图中语句表示从3个桶中的第一个桶中获取所有的天气记录，因为查询只需要读取和TABLESAMPLE子句匹配的桶，所以取样分桶表是非常高效的操作。” —— 第9周 分区表和分桶表

未指定 EXTERNAL 时创建的默认表，由 Hive 管理数据，删除表时元数据与数据一并删除。

课件原文：“通过上一节的学习，读者已对Hive中的建表语句CREATE TABLE有了初步了解。本节将进一步演示Hive中创建表的基本操作，包括内部表与外部表的创建。” —— 单元3 Hive数据定义 · 第61页

用 EXTERNAL 关键字创建的表，删除表只删除元数据、保留 HDFS 上的数据，通常与 LOCATION 配合使用。

课件原文：“EXTERNAL关键字为可选，用于创建外部表。若未指定该关键字，默认创建的是内部表。” —— 单元3 Hive数据定义 · 第36页

只保存查询逻辑、不存储数据的虚拟表，查询时展开为对底层表的查询。

课件原文：“物化视图是Hive 3.0新增的一种持久化存储查询结果的特殊视图。与视图相比，物化视图的主要区别体现在以下两方面。” —— 单元3 Hive数据定义 · 第164页

Hive 3.0 引入的特殊视图：既保存查询语句，又把查询结果持久化为数据文件，可配合查询重写加速复杂查询。

课件原文：“在Hive中，物化视图通过持久化存储查询结果，大幅提升了复杂查询的性能。然而，物化视图并不是一劳永逸的，它所依赖的表往往会不断更新，如果不加以维护，物化视图中的数据就可能与真实业务数据不一致，进而影响查询结果的准确性。” —— 单元3 Hive数据定义 · 第174页

仅在当前会话内有效的表，会话结束即自动删除。

课件原文：“TEMPORARY关键字为可选，用于创建临时表。” —— 单元3 Hive数据定义 · 第36页

Hive 的 ACID 能力：需要表使用 ORC 格式并开启分桶与事务相关参数，之后才能执行 UPDATE / DELETE 等操作。

课件原文：“基础文件用于存储事务表的数据。在物理层面，Hive会根据事务表是否分区，在事务表的数据存储目录或分区目录下生成以base为前缀的目录，用于存放基础文件。” —— 单元4 Hive数据操作 · 第65页

把本地（LOCAL）或 HDFS 上的文件加载进 Hive 表的语句，可用 OVERWRITE 覆盖表中已有数据。

课件原文：“LOAD DATA语句的本质是将文件复制或移动到表的数据存储目录中，并不会对文件内容进行转换，也不会触发执行引擎。从Hive 3.0开始，在某些特殊场景下，该语句可能被内部转换为插入数据的执行逻辑，从而通过执行引擎完成加载。例如，向分桶表加载数据，或向分区表加载数据但未显式指定分区信息。” —— 单元4 Hive数据操作 · 第8页

把查询结果写入表或分区的语句：INSERT INTO 追加数据，INSERT OVERWRITE 覆盖数据。

课件原文：“熟悉将查询结果写入文件的操作，能够使用INSERT语句将表的查询结果导出到指定文件中。” —— 单元4 Hive数据操作 · 第2页

远小于 HDFS 块大小的文件；插入方式不当会产生大量小文件，过多小文件会加重 HDFS 元数据管理开销并拖慢查询。

课件原文：“将值插入表是指通过为表中每个字段指定取值来插入单行或多行数据。如果某个字段无须赋值，不能省略该字段的取值，而必须使用字面量null代替。由于这种方式插入数据的效率较低，并且容易在HDFS中产生小文件，所以并不是大数据场景下向表插入数据的常用手段，而更多用于测试或小规模的数据补录。” —— 单元4 Hive数据操作 · 第37页

在关系型数据库与 Hadoop / HDFS / Hive 之间批量导入导出数据的工具。

课件原文：“由于提交的Sqoop命令最终会转换为MapReduce作业，所以安装Sqoop之前需要确保Hadoop集群正常运行。跟Hive类似，Sqoop客户端只需要选择一个节点安装即可，详细的安装步骤如下所示。” —— 第13周 教育大数据分析平台（一）

查询语句，由 SELECT、FROM、WHERE、GROUP BY、HAVING、ORDER BY、LIMIT 等子句组合而成。

课件原文：“select_expr参数用于指定查询内容，可以是字段、字面量、表达式、函数等。如果查询内容指定为单个*字符，表示查询所有字段。” —— 单元5 Hive数据查询 · 第12页

按指定列把数据分组后做聚合统计的子句。

课件原文：“GROUP BY子句为可选，用于根据指定字段的值对查询结果进行分组。” —— 单元5 Hive数据查询 · 第15页

对分组后的结果做过滤；WHERE 在分组前过滤，HAVING 在分组后过滤。

课件原文：“HAVING子句用于在GROUP BY子句完成分组查询后，对分组结果进行条件过滤。它通常与聚合函数配合使用，用于筛选满足条件的分组。” —— 单元5 Hive数据查询 · 第76页

全局排序：结果整体有序，所有数据会汇聚到同一个 Reduce 处理。

课件原文：“ORDER BY子句为可选，用于根据指定字段的值对查询结果进行全局排序。” —— 单元5 Hive数据查询 · 第15页

每个 Reduce 内部排序，只保证局部有序，效率高于 ORDER BY。

课件原文：“SORT BY子句为可选，用于在每个Task内部根据指定字段的值对数据进行排序。” —— 单元5 Hive数据查询 · 第18页

控制数据按指定列分发到不同 Reduce，常与 SORT BY 配合使用。

课件原文：“DISTRIBUTE BY子句和SORT BY子句不能用CLUSTER BY子句代替。同时，LIMIT子句是必须的，不可省略。” —— 单元5 Hive数据查询 · 第174页

DISTRIBUTE BY 与 SORT BY 作用于同一列时的简写，按该列分发并排序。

课件原文：“CLUSTER BY子句等价于DISTRIBUTE BY子句和SORT BY子句联合使用，且二者指定字段相同的效果。但需要注意，CLUSTER BY子句不支持显式指定排序规则，始终采用默认的升序排序。” —— 单元5 Hive数据查询 · 第100页

多表连接操作，包含内连接、左/右外连接与全外连接；Hive 通常按连接键把数据分发到同一任务完成连接。

课件原文：“关系运算符广泛应用于WHERE、HAVING、JOIN等子句中，它们直接决定记录是否被选中，是构建任何筛选条件的基础。关于Hive中关系运算符的介绍如表。” —— 单元5 Hive数据查询 · 第27页

用 WITH 定义的临时结果集，把复杂查询拆分为若干可读片段。

课件原文：“WITH子句为可选，用于定义公共表表达式（Common Table Expression，CTE）。” —— 单元5 Hive数据查询 · 第11页

用 TABLESAMPLE 从句按桶或百分比抽取部分数据，只读取匹配的数据块。

课件原文：“本单元主要讲解了Hive的数据查询语言。首先，介绍了SELECT语句的语法结构。然后，讲解了常见的查询方式，包括条件查询、公共表表达式、分组查询、排序查询、合并查询、连接查询和抽样查询。通过本单元的学习，读者能够熟练编写HiveQL查询语句查询Hive表中的数据，为实际数据仓库分析应用提供支撑。” —— 单元5 Hive数据查询 · 第177页

在结果集的“窗口”上计算而不折叠行的函数，如 row_number()、rank()、sum() OVER()。

课件原文：“窗口函数（Window Function）也称开窗函数，它是数据库用于在一组相关的行上进行计算的特殊函数。不同于常规的聚合函数只能对表或每组数据中的所有行执行运算，并输出单行，窗口函数可以扫描多行并计算每行的输出值，不会减少查询结果的行数。” —— 单元6 Hive函数应用 · 第94页

对一组行返回单个值的函数，如 count、sum、avg、max、min、collect_list。

课件原文：“窗口聚合函数用于对窗口内的数据进行汇总，支持内置聚合函数和自定义聚合函数。” —— 单元6 Hive函数应用 · 第99页

把一行输入展开为多行输出的函数，如 explode、posexplode，常配合 lateral view 使用。

课件原文：“在处理复杂数据类型时，常常需要将一行记录中的嵌套数据拆解成多行，以便进行更灵活的分析。这类将行内数据展开的需求由表生成函数来实现。表生成函数能够将单列数据扩展为多行输出，使原本嵌套在一行中的多值结构被拆解为多条独立记录。借助这一特性，可以对ARRAY集合中的每个元素单独处理，或将JSON对象的各字段拆分为独立行，从而显著增强Hive处理复杂数据的能力。” —— 单元6 Hive函数应用 · 第84页

用户自定义函数：一行输入一行输出，用 Java 编写后打包注册到 Hive。

课件原文：“initialize()方法用于校验UDF输入参数的合法性，并声明UDF输出值的数据类型，具体签名如下。” —— 单元6 Hive函数应用 · 第135页

用户自定义聚合函数：多行输入一行输出，用于实现自定义聚合逻辑。

课件原文：“接下来，演示如何实现一个UDAF用于处理数值类型的数据，聚合逻辑为同时计算累加值和平均值，并将两项指标封装在同一返回值中，具体实现过程如下。” —— 单元6 Hive函数应用 · 第158页

用户自定义表生成函数：一行输入多行输出。

课件原文：“initialize()方法用于校验UDTF输入参数的合法性，并声明UDTF输出结果的结构，包括字段名、数据类型等，该方法的签名如下。” —— 单元6 Hive函数应用 · 第164页

表的底层文件格式：Hive 常用 TEXTFILE、ORC 与 PARQUET，其中 ORC 为 Hive 官方推荐的列式格式。

课件原文：“在Hive的实际应用中，HiveQL语句的书写方式对查询性能有着直接影响。即使底层参数配置合理，如果语句本身存在冗余计算或不合理的逻辑，依旧可能导致作业运行缓慢、资源消耗过大。掌握语句优化技巧，可以在不修改数据存储格式和底层配置的情况下，显著提升查询效率。下面将介绍五种常见的HiveQL语句优化技巧。” —— 单元7 Hive性能优化 · 第30页

Hive 常用 Snappy、zlib、LZO、Zstandard 等压缩方式，需结合文件格式选用以降低存储与 I/O 开销。

课件原文：“Hive常用的压缩方式包括Snappy、zlib、LZO和Zstandard（Zstd），每种压缩方式具有不同的特点，具体介绍如下。” —— 单元7 Hive性能优化 · 第10页

分组字段中某些取值出现频率远高于其他值，导致部分下游任务数据量过大、整体作业被拖慢。

允许无依赖关系的任务同时运行以缩短查询耗时，由参数 hive.exec.parallel 控制（默认 false）。

课件原文：“并行执行是指允许多个彼此无依赖关系的任务同时运行，从而缩短整个查询语句的执行时间。例如，表连接前的子查询处理，或多条插入操作中的文件移动，都可以并行执行。” —— 单元7 Hive性能优化 · 第15页

开源数据可视化分析工具；本项目用它连接分析结果数据集，制作图表与仪表板。

课件原文：“1）由于是克隆的，主机还是hadoop3，我们需要修改为dataease，使用命令vi /etc/hostname修改主机名，具体操作如图10-26所示。” —— 第15周 教育大数据分析平台（三）