-
一.环境信息二.安装jdkyum install java-1.8.0-openjdk*配置环境变量vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin环境变量生效source /etc/profile查看jdk版本java -version三.安装部署hadoop注意hive2.x和hadoop2.x适配下载wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/hadoop-2.6.5.tar.gz解压至/usr/local目录下tar -xzvf hadoop-2.6.5.tar.gz -C /usr/local配置环境变量vim /etc/profile export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH环境变量生效source /etc/profile创建软连接cd /usr/local/ ln -s hadoop-2.6.5/ hadoop查看hadoop版本hadoop version四.安装部署apache hive首先安装并启动mariadbyum install mariadb* systemctl start mariadb.service查看启动状态systemctl status mariadb.service登陆mysql配置密码并授权,密码不可过于简单mysql -uroot -p # 首次登陆无密码,直接回车登陆 set password=password('qwer1234!@#$'); grant all on *.* to root@'%' identified by 'qwer1234!@#$'; flush privileges;编辑配置my.cnfvim /etc/my.cnf [mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake重启mariadbsystemctl restart mariadb获取hive 2.0.1版本的软件安装包wget https://archive.apache.org/dist/hive/hive-2.0.1/apache-hive-2.0.1-bin.tar.gz解压至/usr/local目录下tar -xzvf apache-hive-2.0.1-bin.tar.gz -C /usr/local/创建软连接cd /usr/local ln -s apache-hive-2.0.1-bin hive配置环境变量vim /etc/profile export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH环境变量生效source /etc/profile查看hive版本hive --version修改配置文件cd /usr/local/hive/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh export JAVA_HOME=/usr/lib/jvm/java export HADOOP_HOME=/usr/local/hadoop export HIVE_CONF_DIR=/usr/local/hive/conf复制hive-site.xml这样才会生效cp hive-default.xml.template hive-site.xml sed -i 's/for&#/for/g' hive-site.xml vim hive-site.xml添加如下内容,注意格式 <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>qwer1234!@#$</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.mariadb.jdbc.Driver</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property>如果后面启动有报错,需要把其他内容删除,只保留这一部分。下载JDBC驱动,并放置/usr/local/hive/lib目录下cd /usr/local/hive/lib wget https://downloads.mariadb.com/Connectors/java/connector-java-2.3.0/mariadb-java-client-2.3.0.jar创建Hive数据目录/usr/local/hadoop/bin/hadoop fs -mkdir /tmp /usr/local/hadoop/bin/hadoop fs -mkdir -p /user/hive/warehouse /usr/local/hadoop/bin/hadoop fs -chmod g+w /tmp /usr/local/hadoop/bin/hadoop fs -chmod g+w /user/hive/warehouse创建Hive日志目录mkdir -p /usr/local/hive/log/ touch /usr/local/hive/log/hiveserver.log touch /usr/local/hive/log/hiveserver.err初始化Hiveschematool -dbType mysql -initSchema启动hive至此Apache Hive2.0.X部署完成。五.Hive基础操作1.查看数据库show databases;2.创建数据库create database if not exists euler;3.创建测试表create table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items terminated by '_' map keys terminated by ':' lines terminated by '\n';字段解释:row format delimited fields terminated by ‘,’ – 列分隔符collection items terminated by ‘_’ --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)map keys terminated by ‘:’ – MAP中的key与value的分隔符lines terminated by ‘\n’; – 行分隔符4.创建本地测试文件test.txtongsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing5.导入文本数据到测试表 load data local inpath "/root/test.txt"into table test;6.访问三种集合列里的数据,以下分别是ARRAY,MAP,STRUCT的访问方式select friends[1],children['xiao song'],address.city from test where name="ongsong";
-
一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1) 可用如下命令查询:[root@1ocalhost ~]# cat /etc/os-release [root@1ocalhost ~]# uname -i2.JDK依赖 安装ElasticSearch需要Java,因此在安装ElasticSearch之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境,需要自己自行安装。 这里安装JDK环境做简单说明,请开发者自行安装。[root@1ocalhost ~]# yum install java输入Y确认 查看JDK版本[root@1ocalhost ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤 下载elasticsearch[root@1ocalhost ~]# cd /opt/ [root@1ocalhost opt]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz 解压[root@1ocalhost opt]# tar -zvxf elasticsearch-7.5.1-linux-x86_64.tar.gz 启动 elasticsearch不需要特别的配置,只需要启动即可。 elasticsearch不能以root账户启动,所以需新建一个用户启动。[root@1ocalhost opt]# useradd es [root@1ocalhost opt]# chown -R es:es /opt/elasticsearch-7.5.1 切换到es用户:su es后台启动[es@1ocalhost opt]$ cd elasticsearch-7.5.1 [es@1ocalhost elasticsearch-7.5.1]$ bin/elasticsearch > elasticsearch.log 2>&1 & [1] 53805 [es@1ocalhost elasticsearch-7.5.1]$ 启动完成后,可使用命令curl http://localhost:9200 验证服务是否开启成功标签:Elasticsearch 云日志服务 LTS
-
kafka
-
一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1) 可用如下命令查询:[root@1ocalhost ~]# cat /etc/os-release [root@1ocalhost ~]# uname -i二.docker安装 下载软件rpm包wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-17.12.1.ce-1.el7.centos.x86_64.rpm 用yum命令安装[root@1ocalhost ~]# yum install docker-ce-17.12.1.ce-1.el7.centos.x86_64.rpm 加入自启动[root@1ocalhost ~]# systemctl enable docker 启动docker[root@1ocalhost ~]# systemctl start docker [root@1ocalhost ~]# docker run hello-world三.开启远程访问 查询状态[root@1ocalhost ~]# systemctl status docker ● docker.service - Docker Application Container Engine Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled) Active: active (running) since Wed 2021-08-18 14:30:54 CST; 3min 21s ago Docs: https://docs.docker.com Main PID: 39341 (dockerd) Tasks: 19 Memory: 28.7M CGroup: /system.slice/docker.service ├─39341 /usr/bin/dockerd └─39347 docker-containerd --config /var/run/docker/containerd/containerd.toml Aug 18 14:30:53 1ocalhost dockerd[39341]: time="2021-08-18T14:30:53.976077406+08:00" level=info msg="L> Aug 18 14:30:54 1ocalhost dockerd[39341]: time="2021-08-18T14:30:54.043802823+08:00" level=info msg="D> Aug 18 14:30:54 1ocalhost dockerd[39341]: time="2021-08-18T14:30:54.070649796+08:00" level=info msg="L> Aug 18 14:30:54 1ocalhost dockerd[39341]: time="2021-08-18T14:30:54.105805696+08:00" level=info msg="D> Aug 18 14:30:54 1ocalhost dockerd[39341]: time="2021-08-18T14:30:54.105846846+08:00" level=info msg="D> Aug 18 14:30:54 1ocalhost dockerd[39341]: time="2021-08-18T14:30:54.110040371+08:00" level=info msg="A> Aug 18 14:30:54 1ocalhost systemd[1]: Started Docker Application Container Engine. Aug 18 14:31:05 1ocalhost dockerd[39341]: time="2021-08-18T14:31:05+08:00" level=info msg="shim docker> Aug 18 14:31:05 1ocalhost dockerd[39341]: time="2021-08-18T14:31:05+08:00" level=info msg="shim reaped> Aug 18 14:31:05 1ocalhost dockerd[39341]: time="2021-08-18T14:31:05.974762303+08:00" level=info msg="i> lines 1-21/21 (END) 开启远程端口,允许远程访问[root@1ocalhost ~]# vi /usr/lib/systemd/system/docker.service 刷新配置重启docker[root@1ocalhost ~]# systemctl daemon-reload [root@1ocalhost ~]# systemctl restart docker测试[root@1ocalhost ~]# curl http://localhost:2375/version [root@1ocalhost ~]# curl http://localhost:2375/info
-
说明:本文参考https://bbs.huaweicloud.com/forum/thread-147823-1-1.html一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1) 可用如下命令查询:[root@1ocalhost ~]# cat /etc/os-release [root@1ocalhost ~]# uname -i2.软件版本 Kafka版本为:Kafka 2.7.03.JDK依赖 Kafka 是用Scala 语言开发的,运行在JVM上,因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境,需要自己自行安装。 这里安装JDK环境做简单说明,请开发者自行安装。[root@1ocalhost ~]# yum install java输入Y确认配置环境变量vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.x86_64 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin环境变量生效source /etc/profile 查看JDK版本[root@1ocalhost ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤1.在/root目录创建data目录cd /root mkdir data2.进入data目录并下载Kafka 2.7.0 [root@1ocalhost ~]# cd data/ [root@1ocalhost data]# wget http://archive.apache.org/dist/kafka/2.7.0/kafka_2.12-2.7.0.tgz3.解压并进入到解压后的目录[root@1ocalhost data]# tar -zvxf kafka_2.12-2.7.0.tgz [root@1ocalhost data]# cd kafka_2.12-2.7.04.启动zookeeper服务和kafka服务,可以在命令的结尾加个&符号,这样服务就可以在后台运行 说明:单节点的 kafka 是不用修改配置文件,直接照官网的介绍就可以,见kafka官网入门[root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/zookeeper-server-start.sh /root/data/kafka_2.12-2.7.0/config/zookeeper.properties > zookeeper.log 2>&1 & [root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/kafka-server-start.sh /root/data/kafka_2.12-2.7.0/config/server.properties > kafkastart.log 2>&1 & 三、验证 kafka原理:Kafka集群将 Record 流存储在称为 Topic 的类别中,每个记录由一个键、一个值和一个时间戳组成。Kafka 中消息是以 Topic 进行分类的,生产者生产消息,消费者消费消息,面向的都是同一个 Topic。Topic 是逻辑上的概念,而 Partition 是物理上的概念,每个 Partition 对应于一个 log 文件,该 log 文件中存储的就是 Producer 生产的数据。Producer 生产的数据会不断追加到该 log 文件末端,且每条数据都有自己的 Offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 Offset,以便出错恢复时,从上次的位置继续消费。1.创建一个叫"itren"的topic,它只有一个分区,一个副本:[root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic itren2.发送消息,运行producer并在控制台中输一些消息,这些消息将被发送到服务端[root@1ocalhost kafka_2.12-2.7.0]# /root/data/kafka_2.12-2.7.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic itren >it520 >itren666 >byebye >3.在另一个终端开启consumer,可以读取到刚才发出的消息并输出[root@1ocalhost ~]# /root/data/kafka_2.12-2.7.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic itren it520 itren666 byebye
-
一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1) 可用如下命令查询:[root@ecs-2e3d ~]# cat /etc/os-release [root@ecs-2e3d ~]# uname -i2.软件版本 Kafka版本为:Kafka 2.5.03.JDK依赖 Kafka 是用Scala 语言开发的,运行在JVM上,因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境,需要自己自行安装。 这里安装JDK环境做简单说明,请开发者自行安装。[root@ecs-2e3d ~]# yum install java输入y 配置环境变量 JDK默认安装路径/usr/lib/jvm在/etc/profile文件末尾配置jdk路径vi /etc/profile# set java environment JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH保存关闭profile文件,执行如下命令生效source /etc/profile 查看JDK版本[root@ecs-2e3d ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤1.在/root创建data目录cd /root mkdir data2.进入data目录并下载Kafka 2.5.0 [root@ecs-2e3d ~]# cd data [root@ecs-2e3d data]# wget http://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz3.解压并进入到解压后的目录[root@ecs-2e3d data]# tar -zvxf kafka_2.12-2.5.0.tgz [root@ecs-2e3d data]# cd kafka_2.12-2.5.04.启动zookeeper服务和kafka服务,可以在命令的结尾加个&符号,这样服务就可以在后台运行 说明:单节点的 kafka 是不用修改配置文件,直接照官网的介绍就可以,见kafka官网入门[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/zookeeper-server-start.sh /root/data/kafka_2.12-2.5.0/config/zookeeper.properties > zookeeper.log 2>&1 & [1] 7742 [root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-server-start.sh /root/data/kafka_2.12-2.5.0/config/server.properties > kafkastart.log 2>&1 & [2] 8115 [root@ecs-2e3d kafka_2.12-2.5.0]# 三、验证Kafka工作流程Kafka将消息按Topic进行分类,每条message由三个属性组成。 offset:表示message在当前Partition(分区)中的偏移量,是一个逻辑上的值,唯一确定了Partition中的一条message,可以简单的认为是一个id; MessageSize:表示message内容data的大小; data:message的具体内容;在整个kafka架构中,生产者和消费者采用发布和订阅的模式,生产者生产消息,消费者消费消息,它俩各司其职,并且都是面向topic的。(需要注意:topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据)Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,这样当出现故障并恢复后,可从这个offset位置继续进行消费,避免漏掉数据或者重复消费。1.创建一个叫"demo"的topic,它只有一个分区,一个副本:[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo Created topic demo. [root@ecs-2e3d kafka_2.12-2.5.0]#2.发送消息,运行producer并在控制台中输一些消息,这些消息将被发送到服务端[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo >morning >nihao >goodday! >3.在另一个终端开启consumer,可以读取到刚才发出的消息并输出[root@ecs-2e3d kafka_2.12-2.5.0]# /root/data/kafka_2.12-2.5.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic demo morning nihao goodday!
-
一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1) 可用如下命令查询:[root@ecs-1d84 ~]# cat /etc/os-release [root@ecs-1d84 ~]# uname -i2.软件版本 Kafka版本为:Kafka 2.4.03.JDK依赖 Kafka 是用Scala 语言开发的,运行在JVM上,因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境,需要自己自行安装。 这里安装JDK环境做简单说明,请开发者自行安装。[root@ecs-1d84 ~]# yum install java输入y 配置环境变量 JDK默认安装路径/usr/lib/jvm在/etc/profile文件末尾配置jdk路径vi /etc/profile# set java environment JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.oe1.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH保存关闭profile文件,执行如下命令生效source /etc/profile查看JDK版本[root@ecs-1d84 ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤1.在/root创建data目录cd /root mkdir data2.进入data目录并下载Kafka 2.4.0 [root@ecs-1d84 ~]# cd data [root@ecs-1d84 data]# wget http://archive.apache.org/dist/kafka/2.4.0/kafka_2.11-2.4.0.tgz3.解压并进入到解压后的目录[root@ecs-1d84 data]# tar -zvxf kafka_2.11-2.4.0.tgz [root@ecs-1d84 data]# cd kafka_2.11-2.4.04.启动zookeeper服务和kafka服务,可以在命令的结尾加个&符号,这样服务就可以在后台运行 说明:单节点的 kafka 是不用修改配置文件,直接照官网的介绍就可以,见kafka官网入门[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/zookeeper-server-start.sh /root/data/kafka_2.11-2.4.0/config/zookeeper.properties > zookeeper.log 2>&1 &[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-server-start.sh /root/data/kafka_2.11-2.4.0/config/server.properties > kafkastart.log 2>&1 &三、验证 Kafka工作流程Kafka将消息按Topic进行分类,每条message由三个属性组成。 offset:表示message在当前Partition(分区)中的偏移量,是一个逻辑上的值,唯一确定了Partition中的一条message,可以简单的认为是一个id; MessageSize:表示message内容data的大小; data:message的具体内容;在整个kafka架构中,生产者和消费者采用发布和订阅的模式,生产者生产消息,消费者消费消息,它俩各司其职,并且都是面向topic的。(需要注意:topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据)Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,这样当出现故障并恢复后,可从这个offset位置继续进行消费,避免漏掉数据或者重复消费。1.创建一个叫"test"的topic,它只有一个分区,一个副本:[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Created topic test. [root@ecs-1d84 kafka_2.11-2.4.0]# 2.发送消息,运行producer并在控制台中输一些消息,这些消息将被发送到服务端[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >goodnight >20210818 >3.在另一个终端开启consumer,可以读取到刚才发出的消息并输出[root@ecs-1d84 kafka_2.11-2.4.0]# /root/data/kafka_2.11-2.4.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test goodnight 20210818现在所有完成,请指正。
-
介绍 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。安装部署说明本文档是基于openEuler20.03-LTS-SP1系统进行安装部署Hive 2.1.1,及Hive版本升级(以升级至2.2.0为例)。Hive的安装部署需要提前安装JDK、ZooKeeper以及Hadoop,为了适应兼容Hive 2.1.x以及2.2.x的安装使用,此次JDK版本选择默认的1.8.0,ZooKeeper版本选择3.7.0,Hadoop版本选择2.9.0,采用单节点进行部署测试。环境配置属性说明OSopenEuler-20.03-LTS-SP1CPU架构x86_64规格4C/8G/40G安装部署1、确认环境架构cat /etc/os-release uname -i2、安装JDKyum install java-1.8.0-openjdk*配置环境变量vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin # 环境变量生效 source /etc/profile查看jdk是否安装成功java -version3、安装Zookeeper下载zookeeper 3.7.0版本安装包wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz解压至/usr/local目录下tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz -C /usr/local/建立链接,便于版本更换cd /usr/local/ ln -s apache-zookeeper-3.7.0-bin/ zookeeper配置环境变量vim /etc/profile export ZOOKEEPER_HOME=/usr/local/zookeeper export PATH=$ZOOKEEPER_HOME/bin:$PATH # 环境变量生效 source /etc/profile 修改zookeeper的配置文件cd /usr/local/zookeeper/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg # 修改数据存放路径 dataDir=/usr/local/zookeeper/tmp创建数据目录mkdir /usr/local/zookeeper/tmp启动zookeepercd /usr/local/zookeeper/bin ./zkServer.sh start4、安装Hadoop(原先安装hadoop 3.3.1版本发现与hive 2.1.1不兼容,故尝试安装2.9.0版本)获取hadoop软件安装包wget http://archive.apache.org/dist/hadoop/core/hadoop-2.9.0/hadoop-2.9.0.tar.gz解压至/usr/local目录下tar -xzvf hadoop-2.9.0.tar.gz -C /usr/local建立链接,方便版本升级cd /usr/local/ ln -s hadoop-2.9.0/ hadoop配置环境变量vim /etc/profile export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH # 生效环境变量 source /etc/profile查看hadoop版本hadoop version5、安装HiveHive需将元数据保存在数据库中,则在安装Hive前,需先安装数据库软件,并在hive-site.xml中配置数据库相关信息。本次以MariaDB为例。安装并启动mariadbyum install mariadb* systemctl start mariadb.service登陆mysql配置密码并授权mysql -uroot -p # 首次登陆无密码,直接回车登陆 set password=password('xxxxxxx'); grant all on *.* to root@'%' identified by 'xxxxxxxx'; flush privileges;编辑配置my.cnfvim /etc/my.cnf [mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake重启mariadbsystemctl restart mariadb获取hive 2.1.1版本的软件安装包wget https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz解压至/usr/local目录底下tar -xzvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/建立链接,方便后续版本升级cd /usr/local ln -s apache-hive-2.1.1-bin hive配置环境变量vim /etc/profile export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH #生效环境变量 source /etc/profile查看hive版本hive --version修改配置文件cd /usr/local/hive/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh export JAVA_HOME=/usr/lib/jvm/java export HADOOP_HOME=/usr/local/hadoop export HIVE_CONF_DIR=/usr/local/hive/conf cp hive-default.xml.template hive-site.xml sed -i 's/for&#/for/g' hive-site.xml vim hive-site.xml <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.mariadb.jdbc.Driver</value> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <name>javax.jdo.option.ConnectionPassword</name> <value>xxxxxxxxxxx</value> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive</value> <name>hive.downloaded.resources.dir</name> <value>/tmp/${hive.session.id}_resources</value> <name>hive.querylog.location</name> <value>/tmp/hive</value>下载JDBC驱动,并放置/usr/local/hive/lib目录下cd /usr/local/hive/lib wget https://downloads.mariadb.com/Connectors/java/connector-java-2.3.0/mariadb-java-client-2.3.0.jar创建Hive数据目录/usr/local/hadoop/bin/hadoop fs -mkdir /tmp /usr/local/hadoop/bin/hadoop fs -mkdir -p /user/hive/warehouse /usr/local/hadoop/bin/hadoop fs -chmod g+w /tmp /usr/local/hadoop/bin/hadoop fs -chmod g+w /user/hive/warehouse创建Hive日志目录mkdir -p /usr/local/hive/log/ touch /usr/local/hive/log/hiveserver.log touch /usr/local/hive/log/hiveserver.err初始化Hiveschematool -dbType mysql -initSchema至此Hive 2.1.1安装部署完成。6、升级Hive至2.2.0安装部署完Hive 2.1.1后,如果后续用户需要升级Hive更高版本,可以替换/usr/local/hive的软链接,并按上述修改hive配置文件即可。环境变量等无需再修改。以Hive升级至2.2.0版本为例,已安装的jdk、zookeeper、hadoop、mariadb无需修改。下载hive 2.2.0版本软件安装包wget https://archive.apache.org/dist/hive/hive-2.2.0/apache-hive-2.2.0-bin.tar.gz解压至/usr/local/目录下tar -xzvf apache-hive-2.2.0-bin.tar.gz -C /usr/local/删除原软链接,建立新软链接cd /usr/local/ rm -rf hive ln -s apache-hive-2.2.0-bin hive然后按照hive修改配置文件步骤操作cd /usr/local/hive/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh export JAVA_HOME=/usr/lib/jvm/java export HADOOP_HOME=/usr/local/hadoop export HIVE_CONF_DIR=/usr/local/hive/conf cp hive-default.xml.template hive-site.xml sed -i 's/for&#/for/g' hive-site.xml vim hive-site.xml <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.mariadb.jdbc.Driver</value> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <name>javax.jdo.option.ConnectionPassword</name> <value>xxxxxxxxxxx</value> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive</value> <name>hive.downloaded.resources.dir</name> <value>/tmp/${hive.session.id}_resources</value> <name>hive.querylog.location</name> <value>/tmp/hive</value>初始化前进行数据库备份,再迁移至新库mysql dump -uroot -pxxxxxxx hive > /tmp/my_backup.sql drop database hive; create database hive; mysql -uroot -pxxxxxxxx hive < /tmp/my_backup.sql然后进行hive初始化schematool -dbType mysql -initSchema至此hive 2.2.0升级完毕
-
一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1) 可用如下命令查询:[root@localhost ~]#cat /etc/os-release [root@localhost ~]# uname -i2.软件版本 Kafka版本为:Kafka 2.1.03.JDK依赖 Kafka 是用Scala 语言开发的,运行在JVM上,因此在安装Kafka 之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境,需要自己自行安装。 这里安装JDK环境做简单说明,请开发者自行安装,我这里安装的是 openjdk version "1.8.0_242"。 yum install java 输入 y 查看JDK版本[root@localhost ~]#java -version二、详细安装步骤1.在根目录创建data目录 mkdmkdir data ir data2.进入data目录并下载Kafka 2.1.0 [root@localhost /]# cd data [root@localhost data]# wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz3.解压并进入到解压后的目录[root@localhost data]# tar -zvxf kafka_2.11-2.1.0.tgz [root@localhost data]# cd kafka_2.11-2.1.0 4.启动zookeeper服务和kafka服务,可以在命令的结尾加个&符号,这样服务就可以在后台运行 说明:单节点的 kafka 是不用修改配置文件,直接照官网的介绍就可以,见kafka官网入门[root@localhost kafka_2.11-2.1.0]# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &[root@localhost kafka_2.11-2.1.0]#./bin/kafka-server-start.sh ./config/server.properties &三、验证1.创建一个叫"kafkademo"的topic,它只有一个分区,一个副本:[root@localhost kafka_2.11-2.1.0]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkademo2.发送消息,运行producer并在控制台中输一些消息,这些消息将被发送到服务端[root@localhost kafka_2.11-2.1.0]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkademo3.在另一个终端开启consumer,可以读取到刚才发出的消息并输出[root@localhost kafka_2.11-2.1.0]# ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafkademo至此所有操作已完成,请指正。
-
1. 管控面版本 : HCS 8.0.3 , 430版本。2. 问题现象: 使用serviceOM数据仓库服务页面收集实例日志,右上角报错500,接口返回如下。3. 原因: DWS安装过程中,工步存在BUG,Insight数据库中的namespace表里,ak,sk相关信息没有录入,需要手动录入。4. 解决方法: 根据dwscontroller的参数的logCollect.obsBucket,logCollect.userAK,logCollect.userSK的值分别更新insight数据库的logcollect_obs_bucket,logcollect_user_ak,logcollect_user_sk值即可。
-
一、架构信息和软件版本信息 :[root@localhost ~]# cat /etc/os-release [root@localhost ~]# uname -i二、切换目录并下载软件包到该目录[root@localhost ~]# cd /usr/local/ [root@localhost local]# wget https://downloads.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz三、解压之后修改目录名称并创建 data 文件夹tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz mv apache-zookeeper-3.5.9-bin zookeeper-3.5.9 cd zookeeper-3.5.9 mkdir data四、进入 conf 目录,修改 zoo_sample.cfg 名称为 zoo.cfg,编辑 zoo.cfg ,修改 配置配置文件里的dataDir为上面创建的 data 的路径为 /usr/local/zookeeper-3.5.9/data[root@localhost zookeeper-3.5.9]# cd conf/ [root@localhost conf]# cp -a zoo_sample.cfg zoo.cfg [root@localhost conf]# ls [root@localhost conf]# vi zoo.cfg zoo.cfg的详细配置如下:# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/zookeeper-3.5.9/data # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature五、进入 bin 目录启动zookpeercd /usr/local/zookeeper-3.5.9/bin ./zkServer.sh start启动成功六、zookeeper节点的增删改查./zkCli.sh下面是zk的一些命令测试,如果需要尝试可以查更多资料了解。WatchedEvent state:SyncConnected type:None path:null [zk: localhost:2181(CONNECTED) 0] [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper] [zk: localhost:2181(CONNECTED) 1] create /node0 zk-3-5-9 Created /node0 [zk: localhost:2181(CONNECTED) 2] get /node0 zk-3-5-9 [zk: localhost:2181(CONNECTED) 3] stat /node0 cZxid = 0x2 ctime = Sat Aug 07 23:23:44 CST 2021 mZxid = 0x2 mtime = Sat Aug 07 23:23:44 CST 2021 pZxid = 0x2 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 8 numChildren = 0 [zk: localhost:2181(CONNECTED) 4] ls / [node0, zookeeper]
-
一、环境确认cat /etc/os-release uname -i二、安装nginx 1.18切换到 /usr/local 下# 切换到 /usr/local 下 [root@localhost ~]# cd /usr/local下载并解压nginx-1.18.0wget https://nginx.org/download/nginx-1.18.0.tar.gz tar -zvxf nginx-1.18.0.tar.gz安装nginx环境依赖支持yum -y install pcre-devel openssl openssl-devel本机已经安装。进入到 nginx-1.18.0里面执行安装命令 cd nginx-1.18.0 ./configure # 执行安装命令 make install执行完 make install 成功后,会在 nginx-1.18.0 的同级目录下,生成 nginx 就是最终程序.开启服务和检测启动成功[root@localhost sbin]# /usr/local/nginx/sbin/nginx [root@localhost sbin]# ps -ef |grep nginx浏览器输入ip。说明:如果Nginx欢迎页出现403 forbbiden,可能启动用户和nginx工作用户不一致所致将nginx.config的user改为和启动用户一致即可,然后重启nginxPS:安装步骤借鉴https://bbs.huaweicloud.com/forum/thread-144670-1-1.html
-
一、架构信息和软件版本信息 : cat /etc/os-release uname -i 二、切换目录并下载软件包到该目录 cd /usr/local/ wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 三、解压之后修改目录名称并创建 data 文件夹tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz mv apache-zookeeper-3.7.0-bin zookeeper-3.7.0 cd zookeeper-3.7.0 mkdir data 四、进入 conf 目录,修改 zoo_sample.cfg 名称为 zoo.cfg,编辑 zoo.cfg ,修改 dataDir为上面创建的 data 的路径为 /usr/local/zookeeper-3.7.0/datacd conf/ mv zoo_sample.cfg zoo.cfg vi zoo.cfg五、进入 bin 目录启动zookpeer cd /usr/local/zookeeper-3.7.0/bin ./zkServer.sh start 启动成功六、zookeeper节点的增删改查./zkCli.sh下面是zk的一些命令测试,如果需要尝试可以查更多资料了解。
-
一、架构信息和软件版本信息 : cat /etc/os-release uname -i 二、切换目录并下载软件包到该目录 cd /usr/local/wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 三、解压之后修改目录名称并创建 data 文件夹tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz mv apache-zookeeper-3.6.3-bin zookeeper-3.6.3cd zookeeper-3.6.3mkdir data四、进入 conf 目录,修改 zoo_sample.cfg 名称为 zoo.cfg,编辑 zoo.cfg ,修改 dataDir为上面创建的 data 的路径为 /usr/local/zookeeper-3.6.3/datacd conf/mv zoo_sample.cfg zoo.cfg vi zoo.cfg五、进入 bin 目录启动zookpeer cd /usr/local/zookeeper-3.6.3/bin ./zkServer.sh start启动成功六、zookeeper节点的增删改查./zkCli.sh下面是zk的一些命令测试,如果需要尝试可以查更多资料了解。[zk: localhost:2181(CONNECTED) 1] ls / [zookeeper][zk: localhost:2181(CONNECTED) 2] create /node_1 openeuler1334Created /node_1[zk: localhost:2181(CONNECTED) 3] create -s /node_1/node_1_1 openeuler666Created /node_1/node_1_10000000000[zk: localhost:2181(CONNECTED) 4] get /node_1openeuler1334[zk: localhost:2181(CONNECTED) 5] stat /node_1cZxid = 0x2ctime = Fri Jul 30 23:23:04 CST 2021mZxid = 0x2mtime = Fri Jul 30 23:23:04 CST 2021pZxid = 0x3cversion = 1dataVersion = 0aclVersion = 0ephemeralOwner = 0x0dataLength = 13numChildren = 1[zk: localhost:2181(CONNECTED) 6] set /node_1 updated[zk: localhost:2181(CONNECTED) 7] get /node_1updated[zk: localhost:2181(CONNECTED) 8] ls /[node_1, zookeeper][zk: localhost:2181(CONNECTED) 9] delete /node_1/node_1_10000000000[zk: localhost:2181(CONNECTED) 10] delete /node_1 [zk: localhost:2181(CONNECTED) 11] ls /[zookeeper][zk: localhost:2181(CONNECTED) 12]
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签