建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想

【华为云校园大使】【心得攻略分享】【华为云智慧校园应用创新大赛】安装华为大数据平台FusionInsight HD

รักมา 2020/12/14 645

安装华为大数据平台FusionInsight HD

(本文参考大数据HCIA的时候的实验教程,根据实际操作自己有所更改。)

华为云账号:w1242410427

华为大数据平台FusionInsight HD功能很强大,要用到ETL (数据仓库)搭建或者用到常规大数据组件HDFSHiveSparkLoader都可以用FusionInsight HD

一、介绍FusionInsight HD

关于FusionInsight HD你需要知道的一些概念

管理节点:操作维护系统的管理节点,一般有两个,互为主备;

控制节点:控制监控数据节点执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能;

数据节点:执行管理节点发出的指示,上报任务状态、存储数据,以及执行数据节点的公共功能;

集群:管理节点和服务的一个逻辑概念;

服务:对外提供服务的服务组件,比如HDFSHbase;

角色:服务组件的逻辑组成部分,比如HDFSNameNodeDataNode;

实例:承载角色运行的一个具体进程,比如NameNode会部署到两个节点上形成两个运行的进程,这两个进程就是两个实例。

FusionInsight HD的管理模型:

图片1.png 

二、安装步骤

安装华为大数据平台FusionInsight HD需要如下六个步骤:

①安装FusionInsight HD

②安装Fusion Manager

③安装FusionInsight_Services_Client客户端

④安装Fusion Insight集群

⑤安装后检查

⑥安装后配置

三、安装FusionInsight HD

3.1 FusionInsight HD安装流程

FusionInsight HD安装流程,总共有四个部分:

安装前准备;

安装与部署(划重点);

安装后检查;

安装后配置(之后两个步骤没那么重要我就不放图了)。

图片2.png

跳过安装前环境(硬件、操作系统、软件工具和测试数据)的准备,安装的实质也就是解压、上传和校验软件包而已,具体步骤在华为的虚拟实验室下操作完成。

3.2安装FusionInsight HD

首先需要获取FusionInsight HD软件压缩包,华为官网应该有。

不管是用命令行scp还是其他拷贝方式,将压缩文件移动到指定目录就可以进行解压,主要用到这两条命令(sha256sum用于校验文件完整性,tar解压命令)

sha256sum -c FusionInsight_HD_V100R002C60SPC200_RHEL.tar.gz.sha256

tar -zxf FusionInsight_HD_V100R002C60SPC200_RHEL.tar.gz

如果有不成功的可以去-help看一下后缀,第一步可以没有,不过为了保证后续可以正常操作,还是建议进行校验。

操作成功之后,就会出现FusionInsight_HD_V100R002C60SPC200_RHEL.tar.gzFusionInsight_HD_V100R002C60SPC200_RHEL.tar.gz.sha256两个文件。

配置FusionInsight HD,即执行preinstall.sh

命令(刚才解压在哪个目录就去找相应文件夹)例如:

sh /opt/FusionInsight/preinstall.sh

3.3安装Fusion Manager

FusionInsight ManagerFusionInsight HD的运维管理系统,相当于包含关系,有两种方式安装,分别是单机和双机,区别在于单机只有一个管理节点,双机有两个管理节点,可以根据情况选择,这里我写一下双机安装。

可对配置IP和位置进行更改,只需用vi/vim打开脚本文件即可

vi install.sh或者vim install.sh

接下来在主备管理节点分别执行安装命令

sh /opt/FusionInsight/software/install.sh

出现http://IP:8080则配置成功

图片3.png

打开浏览器,输入 https://IP:8080/web出现登录入口则安装成功

图片4.png

输入用户名和密码就可以进入监控界面。

3.4安装FusionInsight_Services_Client客户端

输入用户名和密码登录客户端,来到管理界面,点击服务管理,下载客户端

图片5.png

解压客户端压缩包

tar xvf FusionInsight_Services_Client.tar

安装客户端

./install.sh出现下图则安装成功

图片6.png

3.5安装Fusion Insight集群

安装集群,这里我推荐萌新使用模板自动化安装集群(当然也可以自己用命令行更改配置或者选择手动安装集群)

①进入集群安装页面,选择“模板安装”,导入准备好的安装模板,点击“确定”

图片7.png

   ②填写用户名和密码(模板自动化安装从提示的第二步直接跳到确认,手动安装集群则会一步一步选完)

图片8.png

确认页面,点击提交

图片9.png

提交集群安装请求后,全部完成点击完成按钮

3.6安装后检查

有两种方法检查客户端是否可用:

方法一:用命令检查客户端是否可以正常运行

hdfs 客户端为例,导入环境变量后再执行

   hdfs dfs -touchz /tenant/username/clienttest(后跟hdfs路径)

图片10.png

如图显示则没有问题,FusionInsight HD安装成功

方法二:登录管理页面进行安装后检查

①服务概览页面上 “服务概览”健康状态均为“良好”

②登录管理页面,点击“更多操作”中的“启动集群健康检查”进行服务的健康检查

③登录管理页面检查“服务管理”页面所有组件,操作状态为“已启动”,健康状态为“良好”,配置状态为“已同步”

④主机状态检查,点击“主机管理”图标,各节点“健康状态”均为“良好”

⑤告警的个数均为0

3.7安装后配置

安装后配置实质上是第二次修改配置的机会,具体内容就不写了,大家可以根据需求进行配置。

四、总结

安装FusionInsight HD其实很简单,需要一些Linux功底,当然只是安装华为的大数据平台对于数据库和一些大数据操作远远不够,(在此立个flag)今后有时间会把HDFSHiveSparkLoader的使用也安排上。


回复 (0)

没有评论
上划加载中
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

รักมา

角色:成员

话题:1

发消息
更新于2020年12月14日 20:13:35 6450
直达本楼层的链接
楼主
倒序浏览 只看该作者
【华为云校园大使】【心得攻略分享】【华为云智慧校园应用创新大赛】安装华为大数据平台FusionInsight HD

安装华为大数据平台FusionInsight HD

(本文参考大数据HCIA的时候的实验教程,根据实际操作自己有所更改。)

华为云账号:w1242410427

华为大数据平台FusionInsight HD功能很强大,要用到ETL (数据仓库)搭建或者用到常规大数据组件HDFSHiveSparkLoader都可以用FusionInsight HD

一、介绍FusionInsight HD

关于FusionInsight HD你需要知道的一些概念

管理节点:操作维护系统的管理节点,一般有两个,互为主备;

控制节点:控制监控数据节点执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能;

数据节点:执行管理节点发出的指示,上报任务状态、存储数据,以及执行数据节点的公共功能;

集群:管理节点和服务的一个逻辑概念;

服务:对外提供服务的服务组件,比如HDFSHbase;

角色:服务组件的逻辑组成部分,比如HDFSNameNodeDataNode;

实例:承载角色运行的一个具体进程,比如NameNode会部署到两个节点上形成两个运行的进程,这两个进程就是两个实例。

FusionInsight HD的管理模型:

图片1.png 

二、安装步骤

安装华为大数据平台FusionInsight HD需要如下六个步骤:

①安装FusionInsight HD

②安装Fusion Manager

③安装FusionInsight_Services_Client客户端

④安装Fusion Insight集群

⑤安装后检查

⑥安装后配置

三、安装FusionInsight HD

3.1 FusionInsight HD安装流程

FusionInsight HD安装流程,总共有四个部分:

安装前准备;

安装与部署(划重点);

安装后检查;

安装后配置(之后两个步骤没那么重要我就不放图了)。

图片2.png

跳过安装前环境(硬件、操作系统、软件工具和测试数据)的准备,安装的实质也就是解压、上传和校验软件包而已,具体步骤在华为的虚拟实验室下操作完成。

3.2安装FusionInsight HD

首先需要获取FusionInsight HD软件压缩包,华为官网应该有。

不管是用命令行scp还是其他拷贝方式,将压缩文件移动到指定目录就可以进行解压,主要用到这两条命令(sha256sum用于校验文件完整性,tar解压命令)

sha256sum -c FusionInsight_HD_V100R002C60SPC200_RHEL.tar.gz.sha256

tar -zxf FusionInsight_HD_V100R002C60SPC200_RHEL.tar.gz

如果有不成功的可以去-help看一下后缀,第一步可以没有,不过为了保证后续可以正常操作,还是建议进行校验。

操作成功之后,就会出现FusionInsight_HD_V100R002C60SPC200_RHEL.tar.gzFusionInsight_HD_V100R002C60SPC200_RHEL.tar.gz.sha256两个文件。

配置FusionInsight HD,即执行preinstall.sh

命令(刚才解压在哪个目录就去找相应文件夹)例如:

sh /opt/FusionInsight/preinstall.sh

3.3安装Fusion Manager

FusionInsight ManagerFusionInsight HD的运维管理系统,相当于包含关系,有两种方式安装,分别是单机和双机,区别在于单机只有一个管理节点,双机有两个管理节点,可以根据情况选择,这里我写一下双机安装。

可对配置IP和位置进行更改,只需用vi/vim打开脚本文件即可

vi install.sh或者vim install.sh

接下来在主备管理节点分别执行安装命令

sh /opt/FusionInsight/software/install.sh

出现http://IP:8080则配置成功

图片3.png

打开浏览器,输入 https://IP:8080/web出现登录入口则安装成功

图片4.png

输入用户名和密码就可以进入监控界面。

3.4安装FusionInsight_Services_Client客户端

输入用户名和密码登录客户端,来到管理界面,点击服务管理,下载客户端

图片5.png

解压客户端压缩包

tar xvf FusionInsight_Services_Client.tar

安装客户端

./install.sh出现下图则安装成功

图片6.png

3.5安装Fusion Insight集群

安装集群,这里我推荐萌新使用模板自动化安装集群(当然也可以自己用命令行更改配置或者选择手动安装集群)

①进入集群安装页面,选择“模板安装”,导入准备好的安装模板,点击“确定”

图片7.png

   ②填写用户名和密码(模板自动化安装从提示的第二步直接跳到确认,手动安装集群则会一步一步选完)

图片8.png

确认页面,点击提交

图片9.png

提交集群安装请求后,全部完成点击完成按钮

3.6安装后检查

有两种方法检查客户端是否可用:

方法一:用命令检查客户端是否可以正常运行

hdfs 客户端为例,导入环境变量后再执行

   hdfs dfs -touchz /tenant/username/clienttest(后跟hdfs路径)

图片10.png

如图显示则没有问题,FusionInsight HD安装成功

方法二:登录管理页面进行安装后检查

①服务概览页面上 “服务概览”健康状态均为“良好”

②登录管理页面,点击“更多操作”中的“启动集群健康检查”进行服务的健康检查

③登录管理页面检查“服务管理”页面所有组件,操作状态为“已启动”,健康状态为“良好”,配置状态为“已同步”

④主机状态检查,点击“主机管理”图标,各节点“健康状态”均为“良好”

⑤告警的个数均为0

3.7安装后配置

安装后配置实质上是第二次修改配置的机会,具体内容就不写了,大家可以根据需求进行配置。

四、总结

安装FusionInsight HD其实很简单,需要一些Linux功底,当然只是安装华为的大数据平台对于数据库和一些大数据操作远远不够,(在此立个flag)今后有时间会把HDFSHiveSparkLoader的使用也安排上。


点赞 举报
分享

分享文章到朋友圈

分享文章到微博

游客

您需要登录后才可以回帖 登录 | 立即注册