使用FusionInSight的hive组件通过create table t1 as select *from t2;然后drop table t1;删不掉；报错：cannot delete table directory，但是可以删掉外部表请问需要申请什么权限？华为驻场人员说删表的权限太高了，不太理解

请问MRS中的Hive支持行，列加密存储么？

使用工具：Dependency-advisor-Kunpeng-linux-1.1.3操作系统：centos 7.6具体操作步骤：1、按照指导安装工具，无报错2、浏览器可正常访问，3、将待分析的x86的软件包放到服务器对应目录下(hive_2_6_3_0_235-1.2.1000.2.6.3.0-235.noarch.rpm)3、浏览器 分析软件安装包 处，填入了rpm包名，开始分析4、分析结果是将安装这个rpm包的依赖rpm包列出来了，没有列出具体的x86的库（根据指导文档，应该是有libjansi.so、libleveldbjni.so等x86的依赖库存在的）分析结果截图如下：如果想要移植上述例子中的rpm包，操作步骤是否有误？

1.   简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。2.   部署环境Packet NameVersionDetailCentOSCentOS   7.5 64bit with ARMarm通用计算增强型   2vCPUs | 4GB | kc1.large.2Hive3.0.0GCC4.8.5Yum安装MavenApache-maven-3.3.9 JDK1.8.0_191 Protoc2.5.0  3.   安装部署3.1安装基本依赖库yum install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64   libgcc.aarch64yum install openssl-devel zlib-devel automake libtool cmake3.2 安装OpenJDK下载OpenJDK安装包wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz解压安装包tar -zxvf   OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz创建指定文件夹mkdir -p /opt/tools/installed将JDK移动到相应位置mv jdk8u191-b12 /opt/tools/installed/3.3 安装Mavenwget   https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gztar -zxvf apache-maven-3.3.9-bin.tar.gzmv apache-maven-3.3.9   /opt/tools/installed/下载Maven安装包配置环境变量，在/etc/profile后面加上JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport MAVEN_HOME JAVA_HOME PATH运行命令，使环境变量生效source /etc/profile3.4 安装Protocwget   https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gztar -zxvf   protobuf-2.5.0.tar.gzcd protobuf-2.5.0下载并解压源码打上补丁cp protoc.patch   ./src/google/protobuf/stubs/cd   ./src/google/protobuf/stubs/patch -p1 < protoc.patch补丁下载地址：https://obs-mirror-ftp4.obs.cn-north-4.myhuaweicloud.com/tools/protoc.patch安装./autogen.sh &&   ./configure CFLAGS='-fsigned-char' && make && make install 3.5 编译Hive下载Spark安装包wget   https://github.com/apache/hive/archive/rel/release-3.0.0.tar.gztar -zxvf release-3.0.0.tar.gzcd hive-rel-release-3.0.0将依赖的protoc包改为本地的sed -i   's|<protocArtifact>com.google.protobuf:protoc:2.5.0</protocArtifact>|<protocCommand>/usr/local/bin/protoc</protocCommand>|g'   `grep "protoc:2.5.0" -rl ./`开始编译mvn clean install   -DskipTests 4     FAQ编译时报错：执行sed -i   's|<protocArtifact>com.google.protobuf:protoc:2.5.0</protocArtifact>|<protocCommand>/usr/local/bin/protoc</protocCommand>|g'   `grep "protoc:2.5.0" -rl ./`可解决问题。

1 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。2 软硬件环境类别子项版本获取地址(方法)硬件CPU鲲鹏920--OSCentOS7.6.1810Kernel4.14.0  3 编译环境准备3.1 安装OpenJDK下载并安装到指定目录（如/opt/tools/installed）：wget  https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gztar   -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gzmv jdk8u191-b12   /opt/tools/installed/配置java环境变量，在/etc/profile文件末尾处增加下面的代码：JAVA_HOME=/opt/tools/installed/jdk8u191-b12PATH=$JAVA_HOME/bin:$PATHexport   JAVA_HOME PATH运行下面命令，使修改的环境变量生效：source   /etc/profile3.2 安装Maven下载并安装到指定目录（如/opt/tools/installed）：wget   https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar   -zxf apache-maven-3.5.4-bin.tar.gzmv   apache-maven-3.5.4 /opt/tools/installed/修改maven环境变量，在/etc/profile文件末尾增加下面高亮代码：JAVA_HOME=/opt/tools/installed/jdk8u191-b12MAVEN_HOME=/opt/tools/installed/apache-maven-3.5.4PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATHexport   MAVEN_HOME   JAVA_HOME PATH运行下面的命令，是修改的环境变量生效：source   /etc/profile修改maven配置文件中的：本地仓路径、远程仓等：<!--默认在“~/.m2/”目录下，修改成你自己想保存的目录--><localRepository>/path/to/local/repo</localRepository> <!--修改成自己搭建的maven仓库，ARM使能后的jar包替换到该仓库--><mirror><id>mirror</id><mirrorOf>*</mirrorOf><name>cmc-cd-mirror</name><url>https://mirrors.huaweicloud.com/repository/maven/</url></mirror> 3.3 基本工具安装yum   install openssl-devel zlib-devel automake libtool cmake libstdc++-static glibc-static   git gcc gcc-c++ make3.4 解决-fsigned-char问题1.使用command -v gcc命令寻找gcc所在路径（一般位于/usr/bin/gcc）2.更改gcc的名字（比如改成gcc-impl）3.在gcc所在目录执行vim gcc，并填入如下内容保存：#!   /bin/sh/usr/bin/gcc-impl   -fsigned-char "$@"4.执行chmod +x gcc给脚本添加执行权限5.使用与1-4步相似的方式给g++创建同名字的脚本文件   4 软件移植分析使用鲲鹏代码迁移工具进行扫描：https://kunpeng.huawei.com/#/developer/devkit/porting-advisor?data=web（或根据《CheckSo用户指南》扫描HDP Hive安装包：https://bbs.huaweicloud.com/forum/thread-22679-1-1.html）使用如下链接下载HDP x86 RPM包：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz，分析hive_2_6_3_0_235-1.2.1000.2.6.3.0-235.noarch.rpm得出需要移植的第三方依赖包如下表所示。 原始jarso文件jline-2.12.jarlibjansi.sosnappy-java-1.0.5.jarlibsnappyjava.sonetty-all-4.0.52.Final.jarlibnetty_transport_native_epoll_x86_64.soleveldbjni-all-1.8.jarlibleveldbjni.so5 依赖库编译根据代码迁移工具扫描中的报告提示，需要迁移的jar包华为镜像占中已有的，可以直接替换，如下也提供了手动编译的方法5.1 编译jline-2.12.jar直接下载华为镜像站中jar包：https://mirrors.huaweicloud.com/kunpeng/maven/jline/jline/2.12/jline-2.12.jar替换到本地仓库中或参考jline及jansi编译指南编译jline-2.12：https://bbs.huaweicloud.com/forum/thread-22742-1-1.html编译思路如下：依赖关系：jline-2.12 --> jansi-1.11 --> jansi-native-1.5先编译jansi-native-1.5和jansi1.11（编译命令使用mvn package -Dmaven.javadoc.skip=true），编译生成的jansi-1.11.jar拷贝到maven本地仓库     从github网站下载Jline对应版本源码wget https://github.com/jline/jline2/archive/jline-2.12.tar.gztar   -zxf jline-2.12.tar.gz     进入jline解压目录cd   jline2-jline-2.12    执行编译mvn   package        输出jar包：./target/jline-2.11.jar，替换到maven本地仓部分编译报错及解决方法见FAQ5.2 编译snappy-java-1.0.5.jar参考snappy-java编译指南进行编译:https://bbs.huaweicloud.com/forum/thread-22715-1-1.html编译后可以在target目录下找到生成的jar包：snappy-java-1.0.5.jar，替换到Maven本地仓中或从华为镜像站直接下载编译好的jar包：https://mirrors.huaweicloud.com/kunpeng/maven/org/xerial/snappy/snappy-java/1.0.5/snappy-java-1.0.5.jar 将编译好的jar包替换到本地仓中5.3 编译netty-all-4.0.52.Final.jar参考netty-all-4.0.52.Final编译指南进行编译：https://bbs.huaweicloud.com/forum/thread-22707-1-1.html编译打成jar包, netty-all-4.0.52.Final.jar放置于netty-netty-4.0.52.Final/all/target目录，替换到maven本地仓或者直接从华为镜像站下载编译好的jar包：https://mirrors.huaweicloud.com/kunpeng/maven/io/netty/netty-all/4.0.52.Final/netty-all-4.0.52.Final.jar 将编译好的jar包直接替换安装到本地仓5.4 编译leveldbjni-all-1.8.jar    参考leveldbjni-all编译指南进行编译：https://bbs.huaweicloud.com/forum/thread-22684-1-1.html 生成的jar包替换到maven本地仓 或从华为镜像站下载编译好的jar包：https://mirrors.huaweicloud.com/kunpeng/maven/org/fusesource/leveldbjni/leveldbjni-all/1.8/leveldbjni-all-1.8.jar     将编译好的jar包直接替换安装到本地仓6 Hive编译从Github上下载HDP Hive源码并解压：wget https://github.com/hortonworks/hive-release/archive/HDP-2.6.3.0-235-tag.tar.gztar   -zxvf HDP-2.6.3.0-235-tag.tar.gzcd hive-release-HDP-2.6.3.0-235-tag执行编译：mvn clean install -Phadoop-2 -DskipTests -Pdist编译成功后，将在源码下的packaging/target目录生成hive的tar.gz包。7 参考信息更多编译命令详见Hive官网。8 FAQ1、Jansi-native编译问题问题：config.status: error: cannot find input file: `Makefile.in'解决办法：在源码目录下cd target/native-build/chmod -R 755 *vi configure.ac增加AM_PROG_AR./autogen.shautomake --add-missing 2、Jansi编译报错1报错现象:解决办法：编译命令添加-Dmaven.javadoc.skip=truemvn package -Dmaven.javadoc.skip=true 3、Jansi编译报错2报错现象：解决办法：进入到源码路径下的jansi目录下，仅编译jansi 4、Hive编译报错报错现象：解决办法：编译命令，加上hadoop-2:mvn clean install -Phadoop-2 -DskipTests -Pdist

，镜像不存在该依赖，导致运行打包异常

使用Hive建表建表语句样例：CREATE EXTERNAL TABLE IF NOT EXISTS elb_logs (  msec string,  access_log_topic_id string,  time_iso8601 string,  log_ver string,  remote_addr string,  remote_port string,  status string,  request_method string,  request_uri string,  server_protocol string,  request_length int,  bytes_sent int,  body_bytes_sent int,  request_time double,  upstream_status string,  upstream_connect_time double,  upstream_header_time double,  upstream_response_time double,  upstream_addr string,  upstream_port string,  http_user_agent string,  http_referer string,  http_x_forwarded_for string,  lb_name string,  listener_name string,  listener_id string,  pool_name string,  member_name string,  tenant_id string,  eip_address string,  eip_port string,  upstream_addr_priv_ip string,  upstream_addr_priv_port string,  certificate_id string,  ssl_protocol string,  ssl_cipher string,  sni_domain_name string,  tcpinfo_rtt int ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES (  'serialization.format' = '1',  'input.regex' = '([^ ]*) ([^ ]*) \\[([^ ]*)\\] ([^ ]*) ([^ ]*):([0-9]*) (|[-0-9]*) \\\"([^ ]*) ([^ ]*) (- |[^ ]*)\\\" (|[-0-9]*) (|[-0-9]*) (|[-0-9]*) ([-.0-9]*) \\\"(|[-0-9]*)\\\" \\\"([-.0-9]*)\\\" \\\"([-.0-9]*)\\\" \\\"([-.0-9]*)\\\" \\\"([^ ]*):([0-9]*)\\\" \\\"(.*?)\\\" \\\"([^ ]*)\\\" \\\"(.*?)\\\" ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) \\\"([^ ]*)\\\" ([^ ]*) ([^ ]*):([0-9]*) \\\"([^ ]*):([0-9]*)\\\" ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (|[-0-9]*)' ) LOCATION 'obs://xxx/xxx/';正则表达式匹配2019.9.10日ELB日志格式，请参考ELB说明文档：https://support.huaweicloud.com/usermanual-elb/zh-cn_topic_0150301848.html执行查询语句SELECT  msec,  request_uri FROM elb_logs WHERE status LIKE '2%' LIMIT 10;

Hive数据库中内置一些常用的函数，同时hive也支持自定义函数。hive自定义函数,主要是通过java编程实现，因为hive是java所写的。下面主要是介绍一些hive当中的一些常用的函数的使用。通过对函数的学习，有利于对于hive的业务操作。步骤 1 首先执行环境变量。 > source /home/user01/hadoopClient/bigdata_env 步骤 2 进入 Hive 客户端 beeline。 > /home/user01/hadoopClient/Hive/Beeline/bin/beeline ... Connected to: Apache Hive (version 1.3.0) Driver: Hive JDBC (version 1.3.0) Transaction isolation: TRANSACTION_REPEATABLE_READ Beeline version 1.3.0 by Apache Hive 0: jdbc:hive2://192.168.225.11:21066/> 步骤 3 字符串函数 length(string A)。 字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串 A 的长度 hive> select length(‘abcedfg’); 7 步骤 4 字符串反转函数 reverse。 语法: reverse(string A) 返回值: string 说明：返回字符串 A 的反转结果 hive> select reverse(‘abcedfg’); gfdecba 步骤 5 字符串连接函数 concat。 语法: concat(string A, string B…) 返回值: string 说明：返回输入字符串连接后的结果，支持任意个输入字符串 hive> select concat(‘abc’,'def’,'gh’); abcdefgh 步骤 6 带分隔符字符串连接函数 concat_ws。 语法: concat_ws(string SEP, string A, string B…)返回值: string 说明：返回输入字符串连接后的结果，SEP 表示各个字符串间的分隔符 hive> select concat_ws(‘-’,'abc’,'def’,'gh’); abc-def-gh 步骤 7 字符串截取函数 substr,substring。 语法: substr(string A, int start, int len),substring(string A, int start, int len) 返回值: string 说明：返回字符串 A 从 start 位置开始，长度为 len 的字符串 hive> select substr('abcde',3,2); cdhive>select substr ('abcde',-2,2); de 步骤 8 字符串转大写函数 upper,ucase。 语法: upper(string A) ucase(string A) 返回值: string 说明：返回字符串 A 的大写格式 hive> select upper(‘abC’); ABC hive> select ucase(‘abC’); ABC 步骤 9 字符串转小写函数 lower,lcase。 语法: lower(string A) lcase(string A) 返回值: string 说明：返回字符串 A 的小写格式 hive> select lower(‘abC’); abc hive> select lcase(‘abC’); abc 步骤 10 去空格函数 trim。 语法: trim(string A) 返回值: string 说明：去除字符串两边的空格 hive> select trim(‘ abc ‘); abc 步骤 11 分割字符串函数 split。语法: split(string str, string pat) 返回值: array 说明: 按照 pat 字符串分割 str，会返回分割后的字符串数组 hive> select split(‘abtcdtef’,'t’); ["ab","cd","ef"] 步骤 12 日期函数。 获取当前 UNIX 时间戳函数: unix_timestamp 语法: unix_timestamp() 返回值: bigint 说明: 获得当前时区的 UNIX 时间戳。 hive> select unix_timestamp() from dual; 1521511607 UNIX 时间戳转日期函数: from_unixtime 语法:from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化 UNIX 时间戳（从 1970-01-01 00:00:00 UTC 到指定时间的秒数）到当前时区的时间 格式。 hive> select from_unixtime(1521511607,'yyyyMMdd'); 20180320  

如果部署好了MDS -Hive + Spark后，我想从我个人的物理电脑通过ODBC能访问到部署在huawei云上的Hive Server吗？如果可以的话，需要特定的ODBC Driver吗？

本帖最后由 雨化微尘 于 2018-6-1 15:18 编辑本文将对Hive进行简单的介绍，帮助了解hive是什么，适用于什么场景和架构相关的内容。 简介 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive提供的主要功能如下： [*]灵活方便的ETL(extract/transform/load)。 [*]直接访问HDFS文件以及HBase。 [*]灵活的数据存储格式。 [*]支持MapReduce，Tez，Spark等多种计算引擎。 Hive的应用场景 Hive通常是构建于Hadoop之上，Hadoop在作业提交和调度的时候都有较高的延迟，因此Hive并不适合那些需要低延迟的应用。并且Hive不提供基于行级的数据更新操作，所以也不适用于联机事务处理（OLTP）。Hive 更加适合如下场景，数据挖掘用户行为分析兴趣分区区域展示数据汇总每天/每周用户点击数流量统计数据仓库数据抽取数据加载数据转换非实时分析日志分析文本分析结构 Hive作为一个基于HDFS和MapReduce架构的数据仓库，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。下图为Hive的结构简图。 [*]Metastore – 对表，列和Partition等的元数据进行读写及更新操作，其下层为关系型数据库。 [*]Driver – 管理HiveQL执行的生命周期并贯穿Hive任务整个执行期间。 [*]Compiler – 编译HiveQL并将其转化为一系列相互依赖的Map/Reduce任务。 [*]Optimizer – 优化器，分为逻辑优化器和物理优化器，分别对HiveQL生成的执行计划和MapReduce任务进行优化。 [*]Executor – 按照任务的依赖关系分别执行Map/Reduce任务。 [*]ThriftServer – 提供thrift接口，作为JDBC和ODBC的服务端，并将Hive和其他应用程序集成起来。 [*]Clients – 包含Web UI和JDBC/ODBC接口，为用户访问提供接口。 图1 Hive结构图 16183 Hive与其他组件的关系 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，下图以华为云的MRS为例，体现Hive的结构概图。图2 Hive关系图 16186 表1 模块说明名称说明HiveServer一个集群内可部署多个HiveServer，负荷分担。对外提供Hive数据库服务，将用户提交的HQL语句进行编译，解析成对应的Yarn任务或者HDFS操作，从而完成数据的提取、转换、分析。MetaStore[*]一个集群内可部署多个MetaStore，负荷分担。提供Hive的元数据服务，负责Hive表的结构和属性信息读、写、维护和修改。 [*]提供Thrift接口，供HiveServer、Spark、WebHCat等MetaStore客户端来访问，操作元数据。WebHCat一个集群内可部署多个WebHCat，负荷分担。提供Rest接口，通过Rest执行Hive命令，提交MapReduce任务。Hive客户端包括人机交互命令行Beeline、提供给JDBC应用的JDBC驱动、提供给Python应用的Python驱动、提供给Mapreduce的HCatalog相关JAR包。ZooKeeper集群Zookeeper作为临时节点记录各HiveServer实例的IP地址列表，客户端驱动连接Zookeeper获取该列表，并根据路由机制选取对应的HiveServer实例。HDFS/HBase集群Hive表数据存储在HDFS集群中。MapReduce/Yarn集群提供分布式计算服务：Hive的大部分数据操作依赖MapReduce，HiveServer的主要功能是将HQL语句转换成MapReduce任务，从而完成对海量数据的处理。

【背景说明】Hive支持多种格式的数据，包括RC，ORC，Parquet，以及文本文件，在实际的使用中，客户时不时的需要读取一些特殊的文本格式，如JSON格式，其实在Hive里也可以解析JSON格式的数据。【方案说明】Hive默认有一个JSONSerde，但是从0.12版本开始这个Serde被移动到了hcatalog core的包里了，也就是说HiveServer的classpath下是找不到这个Serde的。The JsonSerDe was moved to Hive from HCatalog and before it was in hive-contrib project. It was added to the Hive distribution by HIVE-4895。所以我们需要将这个包放到HiveServer的classpath下，同时配置使得HiveServer提交的MR任务也能引用到该jar包，即在提交MR任务时将相应的jar包放到distribute cache中。具体步骤如下。【操作步骤】1. 先在MRS集群中找到hcatalog core的jar包，这里以MRS 1.7.0版本为例，在/opt/Bigdata/MRS/FusionInsight-Hive-1.3.0/hive-1.3.0/hcatalog/share/hcatalog/hive-hcatalog-core-1.3.0-mrs-1.7.0.jar159642. 将这个包放到HiveServer的lib目录下cp /opt/Bigdata/MRS/FusionInsight-Hive-1.3.0/hive-1.3.0/hcatalog/share/hcatalog/hive-hcatalog-core-1.3.0-mrs-1.7.0.jar /opt/Bigdata/MRS/FusionInsight-Hive-1.3.0/hive-1.3.0/lib/ chown omm:wheel /opt/Bigdata/MRS/FusionInsight-Hive-1.3.0/hive-1.3.0/lib/*3. 登录MRS Manager界面，找到Hive服务，在“服务配置”中的“全部配置”中找到“hive.user.aux.jars.path”配置，将该配置配成“file:///opt/Bigdata/MRS/FusionInsight-Hive-1.3.0/hive-1.3.0/lib/hive-hcatalog-core-1.3.0-mrs-1.7.0.jar”15961保存并重启Hive服务即可。【测试验证】1. 登录beeline创建表：CREATE TABLE json1 (field1 string, field2 int,  field3 string, field4 double) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'  stored as textfile;2. 将以下json数据写入文件并上传到HDFS中{"field1":"data1","field2":100,"field3":"more data1","field4":123.001}  {"field1":"data2","field2":200,"field3":"more data2","field4":123.002}  {"field1":"data3","field2":300,"field3":"more data3","field4":123.003}  {"field1":"data4","field2":400,"field3":"more data4","field4":123.004}3. 将JSON文件load到JSON表中load data inpath "/tmp/json_data.txt" into table json1;4. 执行查询：0: jdbc:hive2://192.168.0.68:10000/> select * from json1;  +------------+------------+-------------+------------+--+  | j1.field1  | j1.field2  |  j1.field3  | j1.field4  |  +------------+------------+-------------+------------+--+  | data1      | 100        | more data1  | 123.001    |  | data2      | 200        | more data2  | 123.002    |  | data3      | 300        | more data3  | 123.003    |  | data4      | 400        | more data4  | 123.004    |  +------------+------------+-------------+------------+--+  4 rows selected (0.713 seconds)5. 执行需要启动MR的查询0: jdbc:hive2://192.168.0.68:10000/> select count(*) from json1;  INFO  : Ended Job = job_1527307645589_0003  +------+--+  | _c0  |     +------+--+  | 4    |     +------+--+  1 row selected (40.888 seconds)【总结】Hive是一个开放的系统，允许用户使用第三方的Serde，或者自定义Serde，同时Hive也支持用户自定义函数，使用第三方的UDF、UDAF、UDTF等，都可以使用此方法。测试使用：http://49.4.91.124:9090/mrs_games-1.0/

Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来(列不要求schema定义)。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。两者的特点Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间，因为它会默认遍历表中所有的数据。虽然有这样的缺点，一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询，这些数据集存储在不同的文件夹内，查询的时候只遍历指定文件夹(分区)中的数据。这种机制可以用来，例如，只处理在某一个时间范围内的文件，只要这些文件名中包括了时间格式。HBase通过存储key/value来工作。它支持四种主要的操作：增加或者更新行，查看一个范围内的cell，获取指定的行，删除指定的行、列或者是列的版本。版本信息用来获取历史数据(每一行的历史数据可以被删除，然后通过Hbase compactions就可以释放出空间)。虽然HBase包括表格，但是schema仅仅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/计数功能。限制Hive目前不支持更新操作。另外，由于hive在hadoop上运行批量操作，它需要花费很长的时间，通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列，并且Hive与ACID不兼容。HBase查询是通过特定的语言来编写的，这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现，但这是以必须提供schema为代价的。另外，Hbase也并不是兼容所有的ACID特性，虽然它支持某些特性。最后但不是最重要的–为了运行Hbase，Zookeeper是必须的，zookeeper是一个用来进行分布式协调的服务，这些服务包括配置服务，维护元信息和命名空间服务。应用场景Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。总结Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。

https://bbs.huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f

本帖最后由 lixinlong 于 2018-5-14 16:09 编辑如何将数据从MYSQL导入到MapReduce Hive分区表