- 背景经过前面Hive的配置，基本的功能已经准备好。可以通过hive命令直接进入交互式命令行，进行Hive SQL语句的编写、提交、运行等。但还不支持通过JDBC链接。也就无法使用Datagrip一类的SQL IDE。在一些场景下会有开发效率上的影响。为此继续在Windows下配置运行HiveServer2。版本OS：Windows 10 Pro 1903Java：1.8.0_231zooke... 背景经过前面Hive的配置，基本的功能已经准备好。可以通过hive命令直接进入交互式命令行，进行Hive SQL语句的编写、提交、运行等。但还不支持通过JDBC链接。也就无法使用Datagrip一类的SQL IDE。在一些场景下会有开发效率上的影响。为此继续在Windows下配置运行HiveServer2。版本OS：Windows 10 Pro 1903Java：1.8.0_231zooke...
- 背景 相关篇：Windows10配置运行Hadoop（非WSL模式）Hive的运行依赖HDFS，需要先准备好Hadoop部分的配置。 版本 OS：Windows 10 Pro 1903Java：1.8.0_231Hive：Hive-3.1.0.tar.gz（Apache官方源下载 https://archive.apache.org/dist/hive/hive-3.1.0/ ）derby：... 背景 相关篇：Windows10配置运行Hadoop（非WSL模式）Hive的运行依赖HDFS，需要先准备好Hadoop部分的配置。 版本 OS：Windows 10 Pro 1903Java：1.8.0_231Hive：Hive-3.1.0.tar.gz（Apache官方源下载 https://archive.apache.org/dist/hive/hive-3.1.0/ ）derby：...
- Hive on Spark参数介绍Hive on Spark 功能增加的参数，具体含义如下： hive.spark.client.future.timeoutHive client请求Spark driver的超时时间，如果没有指定时间单位，默认是秒。 hive.spark.job.monitor.timeoutJob监控获取Spark作业的超时时间，如果没有... Hive on Spark参数介绍Hive on Spark 功能增加的参数，具体含义如下： hive.spark.client.future.timeoutHive client请求Spark driver的超时时间，如果没有指定时间单位，默认是秒。 hive.spark.job.monitor.timeoutJob监控获取Spark作业的超时时间，如果没有...
- 环境准备hadoop-2.x及以上，具体请参考博客hive-2.3.3安装包mysql-5.7.24，下载路径：mysql-5.7.24-linux-glibc2.12-x86_64mysql数据库安装和后台启动tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.24-linux-glibc2.12-x86_64 ... 环境准备hadoop-2.x及以上，具体请参考博客hive-2.3.3安装包mysql-5.7.24，下载路径：mysql-5.7.24-linux-glibc2.12-x86_64mysql数据库安装和后台启动tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.24-linux-glibc2.12-x86_64 ...
- 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码
- 福哥答案2020-09-11：#福大大架构师每日一题#[Hive调优及优化的12种方式](https://zhuanlan.zhihu.com/p/80718835?utm_source=qq)1.请慎重使用COUNT(DISTINCT col)。可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT c... 福哥答案2020-09-11：#福大大架构师每日一题#[Hive调优及优化的12种方式](https://zhuanlan.zhihu.com/p/80718835?utm_source=qq)1.请慎重使用COUNT(DISTINCT col)。可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT c...
- Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca... Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca...
- 福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他k... 福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他k...
- 单机版hive的运行原理：LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块，都可以替换成相应的集群版。根据自己的实际情况配置。前提：已经安装配置JAVA_HOME软件下载：Hadoop 2.8.5下载：https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had... 单机版hive的运行原理：LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块，都可以替换成相应的集群版。根据自己的实际情况配置。前提：已经安装配置JAVA_HOME软件下载：Hadoop 2.8.5下载：https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had...
- 最近在测试Hive的时候，使用Hive的Union remove优化器遇到了一个奇怪的问题，记录下定位的过程和结果，避免其他同学也碰到同样的坑。复现方法使用版本：MRS_1.9.3 （Hive-2.3.3），MRS_2.1.0（Hive-3.1.0） 步骤：create table test_union_all(version string, rk int);insert into test... 最近在测试Hive的时候，使用Hive的Union remove优化器遇到了一个奇怪的问题，记录下定位的过程和结果，避免其他同学也碰到同样的坑。复现方法使用版本：MRS_1.9.3 （Hive-2.3.3），MRS_2.1.0（Hive-3.1.0） 步骤：create table test_union_all(version string, rk int);insert into test...
- Hive 内存溢出问题解决方案l Mapper/Reducer阶段JVM内存溢出1. Java.lang.OutOfMemoryError: GC overhead limit exceeded;2. Error: java heapspace3. running beyondphysical memory limits.Current usage: 4... Hive 内存溢出问题解决方案l Mapper/Reducer阶段JVM内存溢出1. Java.lang.OutOfMemoryError: GC overhead limit exceeded;2. Error: java heapspace3. running beyondphysical memory limits.Current usage: 4...
- hive性能优化 hive性能优化
- MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo... MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo...
- 文章目录 一、Hive概述 （一）Hive的SQL - HQL （二）数据库与数据仓库 （三）Hive的适用场景 二、下载、安装和配... 文章目录 一、Hive概述 （一）Hive的SQL - HQL （二）数据库与数据仓库 （三）Hive的适用场景 二、下载、安装和配...
- 合理设置参数，让集群飞起来~ 参数缺省值描述可单独使用set hive.execution.engine=tez; 设置hive的计算引擎可单独使用set mapreduce.map.memory.mb=4096; 设置每个map的内存可单独使用set mapreduce.reduce.memory.mb=4096; 设置每个reduce的内存可单独使用set mapre... 合理设置参数，让集群飞起来~ 参数缺省值描述可单独使用set hive.execution.engine=tez; 设置hive的计算引擎可单独使用set mapreduce.map.memory.mb=4096; 设置每个map的内存可单独使用set mapreduce.reduce.memory.mb=4096; 设置每个reduce的内存可单独使用set mapre...
上滑加载中
推荐直播
-
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
回顾中 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
回顾中 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签