- 环境准备hadoop-2.x及以上，具体请参考博客hive-2.3.3安装包mysql-5.7.24，下载路径：mysql-5.7.24-linux-glibc2.12-x86_64mysql数据库安装和后台启动tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.24-linux-glibc2.12-x86_64 ... 环境准备hadoop-2.x及以上，具体请参考博客hive-2.3.3安装包mysql-5.7.24，下载路径：mysql-5.7.24-linux-glibc2.12-x86_64mysql数据库安装和后台启动tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.24-linux-glibc2.12-x86_64 ...
- 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码
- 福哥答案2020-09-11：#福大大架构师每日一题#[Hive调优及优化的12种方式](https://zhuanlan.zhihu.com/p/80718835?utm_source=qq)1.请慎重使用COUNT(DISTINCT col)。可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT c... 福哥答案2020-09-11：#福大大架构师每日一题#[Hive调优及优化的12种方式](https://zhuanlan.zhihu.com/p/80718835?utm_source=qq)1.请慎重使用COUNT(DISTINCT col)。可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT c...
- Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca... Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca...
- 福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他k... 福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他k...
- 最近在测试Hive的时候，使用Hive的Union remove优化器遇到了一个奇怪的问题，记录下定位的过程和结果，避免其他同学也碰到同样的坑。复现方法使用版本：MRS_1.9.3 （Hive-2.3.3），MRS_2.1.0（Hive-3.1.0） 步骤：create table test_union_all(version string, rk int);insert into test... 最近在测试Hive的时候，使用Hive的Union remove优化器遇到了一个奇怪的问题，记录下定位的过程和结果，避免其他同学也碰到同样的坑。复现方法使用版本：MRS_1.9.3 （Hive-2.3.3），MRS_2.1.0（Hive-3.1.0） 步骤：create table test_union_all(version string, rk int);insert into test...
- Hive 内存溢出问题解决方案l Mapper/Reducer阶段JVM内存溢出1. Java.lang.OutOfMemoryError: GC overhead limit exceeded;2. Error: java heapspace3. running beyondphysical memory limits.Current usage: 4... Hive 内存溢出问题解决方案l Mapper/Reducer阶段JVM内存溢出1. Java.lang.OutOfMemoryError: GC overhead limit exceeded;2. Error: java heapspace3. running beyondphysical memory limits.Current usage: 4...
- hive性能优化 hive性能优化
- MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo... MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Lo...
- 文章目录 一、Hive概述 （一）Hive的SQL - HQL （二）数据库与数据仓库 （三）Hive的适用场景 二、下载、安装和配... 文章目录 一、Hive概述 （一）Hive的SQL - HQL （二）数据库与数据仓库 （三）Hive的适用场景 二、下载、安装和配...
- 合理设置参数，让集群飞起来~ 参数缺省值描述可单独使用set hive.execution.engine=tez; 设置hive的计算引擎可单独使用set mapreduce.map.memory.mb=4096; 设置每个map的内存可单独使用set mapreduce.reduce.memory.mb=4096; 设置每个reduce的内存可单独使用set mapre... 合理设置参数，让集群飞起来~ 参数缺省值描述可单独使用set hive.execution.engine=tez; 设置hive的计算引擎可单独使用set mapreduce.map.memory.mb=4096; 设置每个map的内存可单独使用set mapreduce.reduce.memory.mb=4096; 设置每个reduce的内存可单独使用set mapre...
- Hive视图Apache Hive 是一个构建在 Hadoop 之上的数据仓库工具，它允许用户使用类似于 SQL 的查询语言（称为 HiveQL）来查询和管理大规模数据集。Hive 提供了多种功能以支持复杂的数据处理任务，其中包括视图的创建与管理。什么是视图？在数据库系统中，视图是一种虚拟表，其内容由查询定义。与包含实际数据的物理表不同，视图并不存储数据，而是基于一个或多个基础表的定义来显示... Hive视图Apache Hive 是一个构建在 Hadoop 之上的数据仓库工具，它允许用户使用类似于 SQL 的查询语言（称为 HiveQL）来查询和管理大规模数据集。Hive 提供了多种功能以支持复杂的数据处理任务，其中包括视图的创建与管理。什么是视图？在数据库系统中，视图是一种虚拟表，其内容由查询定义。与包含实际数据的物理表不同，视图并不存储数据，而是基于一个或多个基础表的定义来显示...
- HiveThrift服务在大数据处理领域，Hive 作为数据仓库工具，提供了 SQL 接口来查询存储在 Hadoop 分布式文件系统（HDFS）中的数据。HiveThrift 服务是 Hive 的一个重要组成部分，它允许客户端通过网络接口与 Hive 服务器进行交互，执行 SQL 查询并获取结果。本文将详细介绍 HiveThrift 服务的工作原理、配置方法以及如何使用 Java 客户端连接... HiveThrift服务在大数据处理领域，Hive 作为数据仓库工具，提供了 SQL 接口来查询存储在 Hadoop 分布式文件系统（HDFS）中的数据。HiveThrift 服务是 Hive 的一个重要组成部分，它允许客户端通过网络接口与 Hive 服务器进行交互，执行 SQL 查询并获取结果。本文将详细介绍 HiveThrift 服务的工作原理、配置方法以及如何使用 Java 客户端连接...
- Hive怎样写exist/in子句在大数据处理领域，Hive 是一个广泛使用的数据仓库工具，它允许用户通过类似于 SQL 的查询语言来操作存储在 Hadoop 分布式文件系统中的数据。本文将探讨如何在 Hive 中使用 EXISTS 和 IN 子句进行数据查询，这两种方法是 SQL 中常见的用于检查子查询结果是否存在的条件表达式。1. EXISTS 子句EXISTS ... Hive怎样写exist/in子句在大数据处理领域，Hive 是一个广泛使用的数据仓库工具，它允许用户通过类似于 SQL 的查询语言来操作存储在 Hadoop 分布式文件系统中的数据。本文将探讨如何在 Hive 中使用 EXISTS 和 IN 子句进行数据查询，这两种方法是 SQL 中常见的用于检查子查询结果是否存在的条件表达式。1. EXISTS 子句EXISTS ...
- Hive权限管理概述Hive是Apache的一个开源数据仓库，它提供了丰富的SQL查询功能，使得数据分析师和开发人员能够轻松地查询和分析存储在Hadoop中的大规模数据集。Hive的权限管理是确保数据安全和访问控制的重要机制。本文将介绍Hive中的权限管理概念、基本原理以及常见的权限控制策略。权限管理概念在Hive中，权限管理主要围绕三个核心概念展开：用户和组（User and Groups... Hive权限管理概述Hive是Apache的一个开源数据仓库，它提供了丰富的SQL查询功能，使得数据分析师和开发人员能够轻松地查询和分析存储在Hadoop中的大规模数据集。Hive的权限管理是确保数据安全和访问控制的重要机制。本文将介绍Hive中的权限管理概念、基本原理以及常见的权限控制策略。权限管理概念在Hive中，权限管理主要围绕三个核心概念展开：用户和组（User and Groups...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签