第15周 · 教育大数据分析平台（三）

教育大数据分析平台（三）

1.1导出数据

(1)创建MySQL业务表

在数据库nev中创建表visit_dws用于存储Hive数据仓库中访问用户量宽表visit_dws导出的数据，具体命令如下。

DROP TABLE IF EXISTS nev.visit_dws;

CREATE TABLE nev.visit_dws (

sid_total INT(11) COMMENT '根据用户ID去重统计',

sessionid_total INT(11) COMMENT '根据SessionID去重统计',

ip_total INT(11) COMMENT '根据IP地址去重统计',

area VARCHAR(32) COMMENT '地区',

origin_channel VARCHAR(32) COMMENT '来源渠道',

from_url VARCHAR(255) COMMENT '来源页面',

groupType VARCHAR(32) COMMENT '1.地区维度；1.来源渠道维度；3.会话页面维度；4.总访问量维度',

yearinfo VARCHAR(32) COMMENT '年',

monthinfo VARCHAR(32) COMMENT '月'

);

(2)在数据库nev中创建表consult_dws用于存储Hive数据仓库中咨询用户量宽表consult_dws导出的数据，具体命令如下。

DROP TABLE IF EXISTS nev.consult_dws;

CREATE TABLE nev.consult_dws(

sid_total INT(11) COMMENT '根据用户ID去重统计',

sessionid_total INT(11) COMMENT '根据sessionID去重统计',

ip_total INT(11) COMMENT '根据IP地址去重统计',

yearinfo VARCHAR(32) COMMENT '年',

monthinfo VARCHAR(32) COMMENT '月'

);

(3)查看数据库nev中是否成功创建表visit_dws和consult_dws，具体命令如下。

/*切换到数据库nev*/

use nev;

/*查看数据库nev中包含的表*/

show tables;

(5)在虚拟机hadoop1执行Sqoop命令将Hive数据仓库中访问用户量宽表visit_dws导出到关系型数据库MySQL中nev数据库的表visit_dws，具体命令如下所示。

bin/sqoop export \

--connect "jdbc:mysql://191.168.249.161:3306/nev?useUnicode=true&characterEncoding=utf-8" \

--username hive \

--password hive \

--table visit_dws \

--hcatalog-database hnsoft_dws \

--hcatalog-table visit_dws

在MySQL命令行交互界面执行“exit”命令登出MySQL，在虚拟机Node02执行Sqoop命令将Hive数据仓库中咨询用户量宽表consult_dws导出到关系型数据库MySQL中nev数据库的consult_dws，具体命令如下所示。

bin/sqoop export \

--connect "jdbc:mysql://191.168.249.161:3306/nev?useUnicode=true&characterEncoding=utf-8" \

--username hive \

--password hive \

--table consult_dws \

--hcatalog-database hnsoft_dws \

--hcatalog-table consult_dws

1.2 克隆虚拟机

1.Linux虚拟机克隆操作步骤如下：

（1）如图1-1所示，在VMware中右键点击hadoop1节点，然后选择hadoop3——>管理——>克隆，进入克隆虚拟机向导，点击“下一页”。

📷 图1-1 克隆虚拟机向导

（2）弹出如果1-2所示的克隆源页面，选择“虚拟机中的当前状态”然后点击“下一步”。

📷 图1-2 选择克隆源

（3）弹出如图1-3所示的克隆类型界面，选择“创建见完整克隆”选项，然后点击“下一步”。

📷 图1-3 选择克隆类型

（4）弹出如图1-4所示的界面，我们可以输入虚拟机的名称以及存储位置，然后点击“完成”按钮。

📷 图1-4 输入新虚拟机的名称

（5）弹出如图1-5的克隆进度界面，耐心等待虚拟机克隆进度条完成。

📷 图1-5克隆虚拟机

（6）如图1-6所示，点击“关闭”按钮，完成虚拟机的克隆。

📷 图1-6 完成虚拟机克隆

（7）如图1-7所示，使用与hadoop3相同的账号密码登录dataease，具体操作如图3-7所示（用户名：root 密码：123456）。

📷 图10-20 启动登录

1. 网络及工具配置

（1）配置静态IP

配置静态IP步骤如下：

1）如图1-8所示，在命令行输入：vi/etc/sysconfig/network-scripts/ifcfg-ens33命令。

📷 图1-8 配置静态ip（1）

2）如图1-9所示，修改ip地址为191.168.2410.164（可根据实际情况配置）。

📷 图1-9 配置静态ip（2）

3）如图1-10所示，使用systemctl restart NetworkManager

重启网络服务。

（2） Xshell连接

Xshell连接步骤如下：

1）如图1-11所示，静态IP地址配置成功之后，可以通过xshell连接克隆之后的虚拟机，在xshell中新建会话，配置好需要连接的虚拟机。

📷 图1-11 配置连接

2）如图1-12所示，然后配置用户身份验证，输入用户名和密码。

📷 图1-12配置用户身份验证

3）连接配置好的虚拟机，出现图1-13表示连接成功。

📷 图1-13通过xshell连接

（3） 修改主机名

修改主机名步骤如下：

1）由于是克隆的，主机还是hadoop3，我们需要修改为dataease，使用命令vi /etc/hostname修改主机名，具体操作如图10-26所示。

📷 图1-14 修改主机名

（4） FileZilla连接

在FileZilla中新建站点，进行配置，具体操作如图1-15所示。

📷 图1-15 FileZilla连接虚拟机

1.3安装启动与配置DataEase

1.下载DataEase

打开dataease的官方网站，https://www.fit2cloud.com/dataease/index.html，来到如图1-16所示界面。

📷 图1-16 DataEase官方网站

点击免费下载，来到如图1-17所示界面：

📷 图1-17 社区版下载页面

如图1-18所示，左侧导航栏点击其他版本，选择v1.18.19版本。

📷 图1-18 选择v1.18.19版本

如图1-19所示，点击下载此版本按钮。

📷 图1-19 点击下载此版本按钮

来到如图1-20所示界面

📷 图1-20 DataEase下载页面

点击下载，如果未登录或者注册账号，会弹出如图1-21登录页面，请注册账号登录。

📷 图1-21 注册并登录

如图1-22所示界面，点击下载按钮下载，弹出新建下载任务对话框，选择下载位置为桌面，点击下载开始下载。

📷 图1-22 开始下载

1.使用filezilla上传DataEase安装包

如图1-23所示，使用filezilla从桌面上传到Linux中。

📷 图1-23 上传DataEase安装包

3.安装DataEase

（1）解压安装包

如图1-24所示，使用如下命令解压安装包

[root@localhost ~]# tar -zxvf dataease-v1.18.19-offline.tar.gz

📷 图1-24 解压安装包

（2）安装DataEase

如图1-25所示，使用如下命令，进入到安装文件夹，并开始安装。

[root@localhost ~]# cd dataease-v1.18.19-offline

[root@localhost dataease-v1.18.19-offline]# bash install.sh

📷 图1-25 安装DataEase

4.登录

在浏览器中输入http://191.168.2410.164:80进入如图1-26所示登录界面

📷 图1-26 dataease登录界面

输入默认账号：admin，密码dataease，点击登录，首次登录会弹出如图1-27所示修改密码对话框，请按要求修改密码，点击确定

📷 图1-27 修改密码

修改后，弹出如图1-28所示界面，用新的密码重新登录。

📷 图 1-28使用新密码重新登录

如图1-29所示进入 DataEase 主界面后可以看到界面上方导航栏，有首页、仪表板、数据集、数据源、模板市场、应用、系统管理七大模块。

📷 图1-29 dataease主界面

1.4 dataease数据可视化分析步骤如下：

1. 创建数据源

（1）弹出图1-30所示界面，选择数据源，点击“+”，录入数据源相关信息，选择mysql数据库点击“保存”。

📷 图1-30 添加数据源

创建数据集

如图10-43所示，选择数据集，点击“新建文件夹”，创建一个nev的文件夹。

📷 图1-30创建文件夹

（2）使用如下语句创建统计地区访问用户量的前6条的数据集，具体操作如图1-31所示。

SELECT

sid_total,sessionid_total,ip_total,area,yearinfo,monthinfo

FROM visit_dws

WHERE grouptype='1'

LIMIT 6;

📷 图1-31 创建统计地区访问用户量的数据集

（3）使用如下语句创建统计会话页面排行榜的数据集，具体操作如图1-32所示。

SELECT distinct

sessionid_total,from_url,yearinfo,monthinfo

FROM visit_dws

WHERE grouptype='3' AND from_url!=""

ORDER BY sessionid_total DESC

📷 图1-32创建统计会话页面排行榜的数据集

（4）创建统计访问用户量的数据集，具体操作如图1-33所示。

SELECT distinct

sid_total,sessionid_total,ip_total,yearinfo,monthinfo

FROM visit_dws

WHERE grouptype='4';

📷 图1-33创建统计访问用户量的数据集的数据集

（5）使用如下语句统计创建渠道访问用户量的数据集，具体操作如图1-34所示。

SELECT distinct

sid_total,sessionid_total,ip_total,origin_channel,yearinfo,monthinfo

FROM visit_dws WHERE grouptype='2';

📷 图1-34创建统计创建渠道访问用户量的数据集

选择仪表板，点击+，创建一个文件夹，名字为nev，然后在文件中创建一个名为教育大数据分析的仪表板，具体操作如图1-35所示。

📷 图1-35 创建仪表板

4添加不同视图

添加指标卡

添加访问用户量指标卡，点击视图按钮，添加一个访问用户量的视图，数据集为用户访问量，具体操作如图1-36所示。

📷 图1-36 添加访问用户量视图

如图1-37所示，点击下一步按钮，选择指标卡，确定。

📷 图1-37 选择图表类型

将sid_total拓展到指标栏，得到如图1-38所示。

📷 图1-38设置指标栏

更改显示名称为sid统计访问用户量，效果如图10-52所示。

📷 图1-38 更改显示名称

在样式中隐藏标题，效果如图1-39所示。

📷 图1-39 隐藏标题

最后得到指标卡，效果如图1-40所示。

📷 图1-40 指标卡效果图

采用复制并修改相应属性的方式，得到session_id访问用户量，ip访问用户量指标卡，效果如图1-41所示。

📷 图1-41 指标卡效果图

（2）添加地区访问用户量视图，数据集合选择为地区访问用户量，图标类型为明星表。效果如图1-42所示：

📷 图1-42 添加地区访问用户量视图

将area、sid_total、sessionid_total、ip_total拖拽到数据列。修改字段显示名称分别为地区、按照sid统计量、sessionid统计量、ip_total统计量，最后调整视图的大小和位置，得到如图1-43所示效果图。

📷 图1-43 地区访问用户量视图效果图

（3）添加会话页面排行榜视图，数据集合选择为会话页面排行榜，图标类型为基础柱状图，from_url、sessionid拖拽到指标，结果展示前6条。效果如图1-44所示。

📷 图1-44 会话页面排行榜视图

（4）添加渠道访问用户统计视图，数据集合选择为渠道访问用户量，图标类型为基础柱状图，origin_channel、ip_total拖拽到指标，结果展示前6条，显示图例和标签的维度。效果如图1-45所示。

📷 图1-45 渠道访问用户统计视图

（5）从其他中拖拽一个文字组件作为标题，标题内容为教育大数据分析平台，效果如图1-46所示。

📷 图1-46 添加标题

（6）点击仪表板样式，选择仪表板主题为：智慧数据。得到效果图如图1-47所示：

📷 图1-47 教育大数据分析平台大屏效果图

II