【截图信息】

【功能模块】https://support.huaweicloud.com/prtg-apache-kunpengbds/kunpenghive_02_0008.html【操作步骤&问题现象】按照鲲鹏hive编译文档编译失败，显示找不到jar包【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】鲲鹏大数据【操作步骤&问题现象】【大数据产品】【hive】Apache  hive  鲲鹏编译好的包有吗 大数据 Apache hadoop   hdp   cdh区别，以及具体对应的编译部署指导   有包的话更好 ，另外   建议在鲲鹏上部署哪个好点

【功能模块】MRS，hive client，pyhive0.6.4【操作步骤&问题现象】1、在Python3.7下安装pyhive0.6.4；2、连接不报错，查询大量数据时报错，截图如下：3、但是在Python3.6下，使用pyhive0.6.4又不会报错，请问这是为什么？【截图信息】【日志信息】（可选，上传日志内容或者附件）

    sqoop job   工具：            sqoop  job工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop增量导入新数据。sqoop job   工具：       sqoop  job工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop增量导入新数据。 sqoop语法：$ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)][  ]里面的是其它sqoop工具  两个()指的是本节介绍的参数和参数内容sqoop job的使用参数：Argument                                                                                                             Description--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- should be specified; this defines the saved job.--delete <job-id>Delete a saved job.--exec <job-id>Given a job defined with --create, run the saved job.运行任务时，可以使用--形式的参数覆盖之前创建时设置的参数--show <job-id>Show the parameters for a saved job.--listList all saved jobs创建自动增量导入任务：自动导入tbltest表格任务：​sqoop job  --create dbFood_tbltest  -- import  --connect jdbc:mysql://192.168.56.101:3306/dbFood  --username root --password root --table tbltest  --hive-import  --hive-table tbltest --null-string '\\N' --null-non-string '\\N'  --incremental append  --check-column id  --last-value 3 ​指令执行： sqoop job --exec dbFood_tbltest删除任务：sqoop job --delete dbFood_tbltest查看任务表：sqoop job --list 设置免密码：注意默认的情况下是要求输入数据库密码的，可以通过配置conf/sqoop-site.xml 指定sqoop.metastore.client.record.password为true避免配置为： <property>     <name>sqoop.metastore.client.record.password</name>     <value>true<value>     <description>If true, allow saved passwords in the metastore.     </description> </property> 2.hivesql sqoop部分笔记：15:381.sqoop抽取MySQL表格所有数据到hive表库：全量抽取数据：一：sqoop import --connect jdbc:mysql://192.168.56.101:3306/dbFood --username root --password root --table tblmovie --hive-import --fields-terminated-by ',' -m 1  二：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ --hive-table tbltest \ -m 1（表后追加方式）增量sqoop抽取MySQL数据到hive表：（抽取id 大于0的数据）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tblmovie \ --hive-import \ -m 1  \--hive-table tblmovie \ --incremental append \ --check-column id \ --last-value 0  （抽取id大于2 的数据）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \--hive-table tbltest \ --incremental append \ --check-column id \ --last-value 2  （修改后面的id123456就行）（根据时间增量抽取）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \--hive-table tbltest \ --incremental lastmodified \ --check-column recordetime \ --last-value "2021-10-31 15:15:15.0" 减量抽取数据：（用where设定条件）sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \ --incremental append \ --where "age>30" --check-column id \ --last-value 02.删除hive的表（删除hive表部分符合条件数据时，不能使用delete from 表名 的SQL语句）：    删除表中数据，保留结构：    truncate table 表名；    删除整个表：    drop table 表名；    删除整个表，不准备恢复时：    drop table 表名 purge;     删除部分数据：3.hive 逗号分隔符建表：create table tblmovie( id int , movieadress string, picture string, moviename string, score double, numofevalus int, situation string, information string, ROE double, moviememo string, recodetime date ) ROW FORMAT DELIMITED FIELDS TERMINATED BY','; (无主键外键) 创建一张和MySQL表相同表数据类型的hive表：sqoop create-hive-table \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-table tbltest   4.查看表信息：desc 表名；desc formatted 表名；(查看更加详细)5.查看hive库：show databases;

【功能模块】FusionInsight HD 6.5.1.7 hive【操作步骤&问题现象】1、select from a where id = '123456' ,实际查出来的id为1237892、【截图信息】【日志信息】（可选，上传日志内容或者附件）

我在使用FDH6.5.1 的备份功能 备份 hive的一张大表（orc）时报错，备份小表可成功，使用的介质是NFS共享的磁盘，请华为的同事帮忙看看，多谢。报错如下：Error: java.io.IOException: File copy failed:截图如下：

【功能模块】【操作步骤&问题现象】1、用JAVA编写JDBC连接hive元数据，但是无法登录【截图信息】连接信息如下报错信息如下我尝试修改/srv/BigData/dbdata_service/data/pg_hba.conf，然后重启DBService之后，这个文件的变动又被改回去了【日志信息】（可选，上传日志内容或者附件）

【功能模块】FusionInsight C70 集群，使用默认的 Hive 配置（MR引擎）客户有许多hive表，然后在上面创建视图，对外使用的时候通过视图来访问，这样底层改变的话，不影响上层应用。【操作步骤&问题现象】因为使用视图，所以发现一些查询条件无法被利用到做分区过滤，导致 hive 启动大量的 task （可能上万）；而其实很多文件/目录下没有合适的数据，所以许多任务执行时间很短；但是启动这么多 task 的资源浪费是比较严重的，导致许多的调度开销和任务等待。受环境管控，无法提供日志或截图。【问题】FI 是否支持和建议使用 Tez 引擎？什么情况下建议开启？除了使用 Tez 引擎，是否有其它优化手段？是否 view 支持分区列声明和查询条件下压？希望能得到指导，感谢！

【功能模块】华为云Stack8.0.3应用与数据集成平台(ROMA Connect)数据源管理-接入数据源【操作步骤&问题现象】1、数据源管理-接入数据源—按照用户指南操作下载客户端配置文件解压文件2、在MRS_Services_ClientConfig_ConfigFiles中无法找到“Version”文件【截图信息】【日志信息】（可选，上传日志内容或者附件）

适配hbase过程中，通过jdbc读取hbase映射的hive表报错报错信息在附件异常信息.txt中，网上查阅资料说需要修改集群的配置但是尝试后并无效果，阻塞了hbase的适配。

报错语句及报错信息如图：

专家好：      目前hive数据表通过aes_encrypt()函数加密后进行存储。目前需要将hive中的数据迁移至GaussDB，通过测试，GaussDB中的加解密函数为gs_encrypt_aes128()和gs_decrypt_aes128()，咨询一下，对于hive加密存储的数据，能否直接将加密的数据迁移至GaussDB中，在GaussDB中通过解密函数解密后进行业务操作，请帮忙解答，谢谢!

部署说明本文以root权限执行以下操作，如非root权限用户可加sudo后或切换root权限用户执行命令。一、基础环境属性说明OSopenEuler-20.03-LTS-SP1CPU架构x86_64/aarch64规格4C/8G/40G二、确认架构环境以X86架构为例，执行如下命令查看操作系统及系统架构：cat /etc/*-release arch三、安装Hive-3.1.1详细步骤①yum安装jdk-1.8.0，并配置环境变量yum install java-1.8.0-openjdk* vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin # 环境变量生效 source /etc/profile校验java是否安装完成及其版本java -version②部署Hadoop3.3.1注意hive3.x和hadoop3.x适配#下载hadoop-3.1.1源码 wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz解压至/usr/local目录tar zxf hadoop-3.3.1.tar.gz -C /usr/local配置环境变量vim /etc/profile在文件中添加以下内容HADOOP_HOME=/usr/local/hadoop-3.3.1 PATH=$HADOOP_HOME/bin:$PATH export HADOOP_HOME PATH使环境变量立即生效source /etc/profile检查Hadoop是否安装成功hadoop version③部署mariadbyum安装mariadb，启动服务并设置开机自启动yum install mariadb* systemctl start mariadb systemctl enable mariadb查看mariadb服务状态systemctl status mariadb登陆mysql配置密码并授权mysql -uroot -p # 首次登陆无密码，直接回车登陆 set password=password('你的密码'); grant all on *.* to root@'%' identified by '你的密码'; flush privileges;配置my.cnfvim /etc/my.cnf添加以下内容[mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake重启mariadbsystemctl restart mariadb④安装Hive-3.1.1下载apache hive-3.1.1安装包wget https://archive.apache.org/dist/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz解压至/usr/local目录tar zxf apache-hive-3.1.1-bin.tar.gz -C /usr/local/配置环境变量vim /etc/profile添加以下内容# hive export HIVE_HOME=/usr/local/apache-hive-3.1.1-bin export PATH=$HIVE_HOME/bin:$PATH使环境变量立即生效source /etc/profile检查hive是否安装成功hive --version复制配置文件模板cd /usr/local/apache-hive-3.1.1-bin/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh添加以下内容export JAVA_HOME=/usr/lib/jvm/java export HADOOP_HOME=/usr/local/hadoop-3.3.1 export HIVE_CONF_DIR=/usr/local/apache-hive-3.1.1-bin/conf复制hive-site.xml模板文件cp hive-default.xml.template hive-site.xml sed -i 's/for&#/for/g' hive-site.xml vim hive-site.xml修改为下列的value的值，注意格式<name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.mariadb.jdbc.Driver</value> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <name>javax.jdo.option.ConnectionPassword</name> <value>数据库密码</value> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive-3.1.1</value> <name>hive.downloaded.resources.dir</name> <value>/tmp/${hive.session.id}_resources</value> <name>hive.querylog.location</name> <value>/tmp/hive-3.1.1</value>下载JDBC驱动，并放置/usr/local/apache-hive-3.1.1-bin/lib目录下cd /usr/local/apache-hive-3.1.1-bin/lib wget https://downloads.mariadb.com/Connectors/java/connector-java-2.3.0/mariadb-java-client-2.3.0.jar创建hive数据目录并配置文件夹权限/usr/local/hadoop-3.3.1/bin/hadoop fs -mkdir /tmp /usr/local/hadoop-3.3.1/bin/hadoop fs -mkdir -p /user/hive/warehouse /usr/local/hadoop-3.3.1/bin/hadoop fs -chmod g+w /tmp /usr/local/hadoop-3.3.1/bin/hadoop fs -chmod g+w /user/hive/warehouse创建Hive日志目录mkdir -p /usr/local/apache-hive-3.1.1-bin/log/ touch /usr/local/apache-hive-3.1.1-bin/log/hiveserver.log touch /usr/local/apache-hive-3.1.1-bin/log/hiveserver.err初始化Hiveschematool -dbType mysql -initSchema启动Hive-3.1.1至此，在openEuler-20.03-LTS-SP1上面部署hive-3.1.1已完成。

一、查看系统信息二、安装Java注意：请勿安装jdk1.7及之前的版本，否则hive启动时会报错。jdk下载链接：https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html下载jdk软件包，解压至/usr/java目录tar zxf jdk-8u301-linux-x64.tar.gz -C /usr/java/配置环境变量vim /etc/porfile文件中添加以下内容export JAVA_HOME=/usr/java/jdk1.8.0_301 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar执行以下命令使环境变量立即生效source /etc/profile检查Java是否安装成功java -version三、安装Hadoop下载Hadoopwget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz解压至/usr/local目录，并在目录下创建软链接tar zxf hadoop-3.3.1.tar.gz -C /usr/local cd /usr/local ln -sv hadoop-3.3.1 hadoop配置环境变量vim /etc/profile在文件中添加以下内容HADOOP_HOME=/usr/local/hadoop PATH=$HADOOP_HOME/bin:$PATH export HADOOP_HOME PATH使环境变量立即生效source /etc/profile检查Hadoop是否安装成功hadoop version四、安装hive首先安装并启动mariadbyum install mariadb* systemctl start mariadb.service2、登陆mysql配置密码并授权mysql -uroot -p # 首次登陆无密码，直接回车登陆 set password=password('你的密码'); grant all on *.* to root@'%' identified by '你的密码'; flush privileges;输入quit退出配置my.cnfvim /etc/my.cnf添加以下内容[mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-server=utf8 collation-server=utf8_unicode_ci skip-character-set-client-handshake重启mariadbsystemctl restart mariadb.service下载apache hive 3.0.0安装包wget https://archive.apache.org/dist/hive/hive-3.0.0/apache-hive-3.0.0-bin.tar.gz解压至/usr/local目录并创建软链接tar zxf apache-hive-3.0.0-bin.tar.gz -C /usr/local/ cd /usr/local ln -sv apache-hive-3.0.0-bin hive配置环境变量vim /etc/profile添加以下内容# hive export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH使环境变量立即生效source /etc/profile检查hive是否安装成功hive --version复制配置文件模板cd /usr/local/hive/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh添加以下内容export JAVA_HOME=/usr/java/jdk1.8.0_301 export HADOOP_HOME=/usr/local/hadoop export HIVE_CONF_DIR=/usr/local/hive/conf复制hive-site.xml模板文件cp hive-default.xml.template hive-site.xml sed -i 's/for&#/for/g' hive-site.xml vim hive-site.xml找到以下对应name标签，修改value的值<name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.mariadb.jdbc.Driver</value> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <name>javax.jdo.option.ConnectionPassword</name> <value>数据库密码</value> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive</value> <name>hive.downloaded.resources.dir</name> <value>/tmp/${hive.session.id}_resources</value> <name>hive.querylog.location</name> <value>/tmp/hive</value>下载JDBC驱动，并放置/usr/local/hive/lib目录下cd /usr/local/hive/lib wget https://downloads.mariadb.com/Connectors/java/connector-java-2.3.0/mariadb-java-client-2.3.0.jar创建hive数据目录并配置文件夹权限/usr/local/hadoop/bin/hadoop fs -mkdir /tmp /usr/local/hadoop/bin/hadoop fs -mkdir -p /user/hive/warehouse /usr/local/hadoop/bin/hadoop fs -chmod g+w /tmp /usr/local/hadoop/bin/hadoop fs -chmod g+w /user/hive/warehouse创建Hive日志目录mkdir -p /usr/local/hive/log/ touch /usr/local/hive/log/hiveserver.log touch /usr/local/hive/log/hiveserver.err初始化Hiveschematool -dbType mysql -initSchema启动hive至此，hive3.0.0安装完成。