- 有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse；出现这种情况主要是因为，在对数据抽取的时候，我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore ... 有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse；出现这种情况主要是因为，在对数据抽取的时候，我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore ...
- 背景：数据湖里面建表，可以使用DataSource语法或Hive语法 ，两种建表语法创建的OBS表（即外表）在运行job时，在分区表下的文件夹路径会有所不同，DataSource语法创建的OBS分区表路径生成无规律，不利于CDM做数据的增量导出。 背景：数据湖里面建表，可以使用DataSource语法或Hive语法 ，两种建表语法创建的OBS表（即外表）在运行job时，在分区表下的文件夹路径会有所不同，DataSource语法创建的OBS分区表路径生成无规律，不利于CDM做数据的增量导出。
- 由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。 window中编译遇到的问题hive在3.0之后，独立提供hive metastore服务，我们可以直接下载hive standalone metastore相关源码即可，这边以3.1.2版本为例：源码下载：wget h... 由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。 window中编译遇到的问题hive在3.0之后，独立提供hive metastore服务，我们可以直接下载hive standalone metastore相关源码即可，这边以3.1.2版本为例：源码下载：wget h...
- 测试环境组件版本mysql 5.7hive 3.1.2flink 1.12.2hudi 0.9.0hadoop 3.2.0首先请确保以下组件正常启动：mysqlhivemetastorehiveserver2hdfsyarn hudi适配hive 3.1.2源码编译0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件... 测试环境组件版本mysql 5.7hive 3.1.2flink 1.12.2hudi 0.9.0hadoop 3.2.0首先请确保以下组件正常启动：mysqlhivemetastorehiveserver2hdfsyarn hudi适配hive 3.1.2源码编译0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件...
- Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现，当时 Hadoop 是进行大数据分析的新颖且创新的方式。Hive 所做的是为 Hadoop 实现了一个 SQL 接口。 它的架构包括两个主要服务：查询引擎——负责 SQL 语句的执行。一个 Metastore——负责将 HDFS 中的数据集合虚拟化为表。Hadoop 背后的概念是革命性的。 庞大的数据... Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现，当时 Hadoop 是进行大数据分析的新颖且创新的方式。Hive 所做的是为 Hadoop 实现了一个 SQL 接口。 它的架构包括两个主要服务：查询引擎——负责 SQL 语句的执行。一个 Metastore——负责将 HDFS 中的数据集合虚拟化为表。Hadoop 背后的概念是革命性的。 庞大的数据...
- 1 简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是... 1 简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是...
- hive standalone metastore 3.1.2可作为独立服务，作为spark、flink、presto等服务的元数据管理中心，然而在现有的hive授权方案中只有针对hiveserver2的授权，所以本文针对hive standalone metastore独立服务使用ranger对连接到hive metastore的用户进行授权访问，以解决hive standalone me... hive standalone metastore 3.1.2可作为独立服务，作为spark、flink、presto等服务的元数据管理中心，然而在现有的hive授权方案中只有针对hiveserver2的授权，所以本文针对hive standalone metastore独立服务使用ranger对连接到hive metastore的用户进行授权访问，以解决hive standalone me...
- hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。如果您还不了解如何单独启用hive metastore服务，那么您可以参考下述文章。P... hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。如果您还不了解如何单独启用hive metastore服务，那么您可以参考下述文章。P...
- 1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId... 1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId...
- 创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理：# 在MySQL 所在服务器 ambari-01mysql -uroot -pPWD@123456# 执行如下指令set global validate_password_policy=0;set g... 创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理：# 在MySQL 所在服务器 ambari-01mysql -uroot -pPWD@123456# 执行如下指令set global validate_password_policy=0;set g...
- Hive UDF是什么？有什么用？怎么用？什么原理？本文从UDF使用入手，简要介绍相关源码，UDF从零开始。 Hive UDF是什么？有什么用？怎么用？什么原理？本文从UDF使用入手，简要介绍相关源码，UDF从零开始。
- 【问题现象】：使用2.8.2版本的cdm场景迁移功能迁移线下Hive数据到MRS Hive，最终作业状态显示Failed 该篇文章对该问题进行了详细分析。 【问题现象】：使用2.8.2版本的cdm场景迁移功能迁移线下Hive数据到MRS Hive，最终作业状态显示Failed 该篇文章对该问题进行了详细分析。
- 一、何为数据倾斜 ? 二、数据倾斜发生时的现象 三、7个详细解决方案（附代码） 一、何为数据倾斜 ? 二、数据倾斜发生时的现象 三、7个详细解决方案（附代码）
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 本文介绍如何使用永洪bi对接FusionInsight MRS hive组件 本文介绍如何使用永洪bi对接FusionInsight MRS hive组件
上滑加载中
推荐直播
-
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
回顾中 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
回顾中 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签