- 官网下载 官网地址：http://hive.apache.org/由于我们的Hadoop版本是2.9.2，所以在这里我们选择2.3.7版本进行下载文件准备将下载下来的Hive 的配置文件进行解压在linux上输入: tar -xvf apache-hive-2.3.7-bin.tar.gz是否移动无所谓，自己安装到最熟悉的目录即可。然后移动到/opt/hive 里面，将文件夹重命名为 hi... 官网下载 官网地址：http://hive.apache.org/由于我们的Hadoop版本是2.9.2，所以在这里我们选择2.3.7版本进行下载文件准备将下载下来的Hive 的配置文件进行解压在linux上输入: tar -xvf apache-hive-2.3.7-bin.tar.gz是否移动无所谓，自己安装到最熟悉的目录即可。然后移动到/opt/hive 里面，将文件夹重命名为 hi...
- 数据仓库 基本概念 场景案例 主要特征 主流开发语言-SQL 数仓开发语言概述 SQL语言介绍 结构化数据 SQL语法分类 Apache Hive入门 Apache Hive 安装部署 元数据 Hive SQL语言 数据仓库 基本概念数据仓库(Data Warehouse,简称数仓、DW)，是一个用于存储，分析，报告的数据系统数据仓库的目的是构建面向分析的集成化数据环境，分析结构为企业提供... 数据仓库 基本概念 场景案例 主要特征 主流开发语言-SQL 数仓开发语言概述 SQL语言介绍 结构化数据 SQL语法分类 Apache Hive入门 Apache Hive 安装部署 元数据 Hive SQL语言 数据仓库 基本概念数据仓库(Data Warehouse,简称数仓、DW)，是一个用于存储，分析，报告的数据系统数据仓库的目的是构建面向分析的集成化数据环境，分析结构为企业提供...
- sql学习的语法。 万事皆备于我，我心即使宇宙。 不定时补充笔记。 sql学习的语法。 万事皆备于我，我心即使宇宙。 不定时补充笔记。
- Quicktype 应用提供了一种将JSON转换成漂亮、类型安全的代码的方式，支持多种编程语言。该站点的要功能包括：JSON 转代码： 通过 quicktype 的 web 应用程序，用户可以将示例 JSON 数据转换为各种编程语言中的类型定义和序列化代码。用户只需提供样本 JSON、URL、JSON 模式或 GraphQL 查询，quicktype 就能生成相应的代码。 Quicktype 应用提供了一种将JSON转换成漂亮、类型安全的代码的方式，支持多种编程语言。该站点的要功能包括：JSON 转代码： 通过 quicktype 的 web 应用程序，用户可以将示例 JSON 数据转换为各种编程语言中的类型定义和序列化代码。用户只需提供样本 JSON、URL、JSON 模式或 GraphQL 查询，quicktype 就能生成相应的代码。
- Hive安装超详细教程 Hive安装超详细教程
- 将关系型数据库ORACLE的数据导入到HDFS中，可以通过Sqoop、OGG来实现，相比较ORACLE GOLDENGATE，Sqoop不仅不需要复杂的安装配置，而且传输效率很高，同时也能实现增量数据同步。 说明：本测试hadoop是单节点伪分布式环境,是基于之前写的两篇文章对应的环境操作. 本文档将在以上两个文章的基础上操作，是对第二篇文章环境的一个简单使用测试，使用过程中出现的错误亦可以验证暴 将关系型数据库ORACLE的数据导入到HDFS中，可以通过Sqoop、OGG来实现，相比较ORACLE GOLDENGATE，Sqoop不仅不需要复杂的安装配置，而且传输效率很高，同时也能实现增量数据同步。 说明：本测试hadoop是单节点伪分布式环境,是基于之前写的两篇文章对应的环境操作. 本文档将在以上两个文章的基础上操作，是对第二篇文章环境的一个简单使用测试，使用过程中出现的错误亦可以验证暴
- 接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive，这里实验采用oracle数据库为例， 后面一篇文章将详细介绍： 1、sqoop --incremental append 附加模式增量同步数据到hive 2、sqoop --incremental --merge-key合并模式增量同步到hive 接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive，这里实验采用oracle数据库为例， 后面一篇文章将详细介绍： 1、sqoop --incremental append 附加模式增量同步数据到hive 2、sqoop --incremental --merge-key合并模式增量同步到hive
- 在生产环境中，系统可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。故我们此时不可能再将所有数据重新导一遍，此时我们就需要增量数据导入这一模式了。 增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式），增量导入使用到的核心参数主要是： –check-column 在生产环境中，系统可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。故我们此时不可能再将所有数据重新导一遍，此时我们就需要增量数据导入这一模式了。 增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式），增量导入使用到的核心参数主要是： –check-column
- 最近因为单位换了新版本华为HD集群，有一些业务数据存在于hive数据库中。而有一些Smartbi的报表数据源是连接的华为HD Hive,因为变更了集群，需要将SmartBi的数据源改为新集群的。我将Kerberos认证凭据和新版本Hive jdbc驱动以及新的jdbc连接串给了同事，也将实施文档给了同事，但是同事在操作完成后，Smarbi节点无法正常起来(后台日志卡在：The server st 最近因为单位换了新版本华为HD集群，有一些业务数据存在于hive数据库中。而有一些Smartbi的报表数据源是连接的华为HD Hive,因为变更了集群，需要将SmartBi的数据源改为新集群的。我将Kerberos认证凭据和新版本Hive jdbc驱动以及新的jdbc连接串给了同事，也将实施文档给了同事，但是同事在操作完成后，Smarbi节点无法正常起来(后台日志卡在：The server st
- 实时Json日志数据导入到Hive案例：使用NiFi将某个目录下产生的json类型的日志文件导入到Hive。这里首先将数据通过NiFi将Json数据解析属性，然后手动设置数据格式，将数据导入到HDFS中，Hive建立外表映射此路径实现外部数据导入到Hive中。使用到的处理器有：“TailFile”、“EvaluateJsonPath”、“ReplaceText”、“PutHDFS”四个处理器... 实时Json日志数据导入到Hive案例：使用NiFi将某个目录下产生的json类型的日志文件导入到Hive。这里首先将数据通过NiFi将Json数据解析属性，然后手动设置数据格式，将数据导入到HDFS中，Hive建立外表映射此路径实现外部数据导入到Hive中。使用到的处理器有：“TailFile”、“EvaluateJsonPath”、“ReplaceText”、“PutHDFS”四个处理器...
- Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
- 1. over(partition by order by)语法partition by和order by后字段一致现象:mr任务运行缓慢原因：partition by order by 语法含义为分组后排序组内数据其中的排序算法使用的为快速排序，partition by和order by字段一致会导致分区内全为相同数据，排序性能恶化严重，且p 与o字段相同排序无意义解决方法：1.p... 1. over(partition by order by)语法partition by和order by后字段一致现象:mr任务运行缓慢原因：partition by order by 语法含义为分组后排序组内数据其中的排序算法使用的为快速排序，partition by和order by字段一致会导致分区内全为相同数据，排序性能恶化严重，且p 与o字段相同排序无意义解决方法：1.p...
- Kudu基于Cloudera Manager安装及配置使用Kudu一般都会和impala进行整合，impala与Hive是强依赖关系，需要安装Hive，安装Hive需要安装HDFS等，以上各个技术组件的版本都需要对应匹配，由于Kudu没有直接的安装包，为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。这里CM集群节点及角色如下：节点名称节点ip节点角... Kudu基于Cloudera Manager安装及配置使用Kudu一般都会和impala进行整合，impala与Hive是强依赖关系，需要安装Hive，安装Hive需要安装HDFS等，以上各个技术组件的版本都需要对应匹配，由于Kudu没有直接的安装包，为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。这里CM集群节点及角色如下：节点名称节点ip节点角...
- hive是基于Hadoop的一个数据仓库工具，常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计，将数据进行提取、转化、加载。 我眼中的Hive-你眼中的了? hive是基于Hadoop的一个数据仓库工具，常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计，将数据进行提取、转化、加载。 我眼中的Hive-你眼中的了?
- 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好
上滑加载中
推荐直播
-
鲲鹏开发者创享日·江苏站暨数字技术创新应用峰会2024/04/25 周四 09:30-16:00
鲲鹏专家团
这是华为推出的旨在和众多技术大牛、行业大咖一同探讨最前沿的技术思考，分享最纯粹的技术经验，进行最真实的动手体验，为开发者提供一个深度探讨与交流的平台。
回顾中 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长；崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
回顾中
热门标签