- JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或... JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或...
- 本篇博客，博主为大家介绍的是关于Kylin的增量构建的步骤过程，以及其与全量构建的差异对比！看完之后，相信你... 本篇博客，博主为大家介绍的是关于Kylin的增量构建的步骤过程，以及其与全量构建的差异对比！看完之后，相信你...
- 本篇博客小菌为大家带来的是关于Hive自定义函数的相关内容! &nbs... 本篇博客小菌为大家带来的是关于Hive自定义函数的相关内容! &nbs...
- 目录 案例五 FlinkSQL整合Hive 介绍 集成Hive的基本方式 准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启动hive元数据服务 SQL CLI 1.修改flinksql配置 2.启... 目录 案例五 FlinkSQL整合Hive 介绍 集成Hive的基本方式 准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启动hive元数据服务 SQL CLI 1.修改flinksql配置 2.启...
- Hive提供了一个严格模式，可以防止用户执行“高危”的查询。 &nbs... Hive提供了一个严格模式，可以防止用户执行“高危”的查询。 &nbs...
- 目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) -> Spark SQL（Sc... 目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) -> Spark SQL（Sc...
- 上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive! &... 上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive! &...
- CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_... CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_...
- @Author ： By Runsen @Date ： 2020/6/21 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客... @Author ： By Runsen @Date ： 2020/6/21 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客...
- Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。 基本数据类型 基本数据类型 tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean：布尔类型 string：字符串类型 复杂数据类型 Array：数组类型，由一系... Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。 基本数据类型 基本数据类型 tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean：布尔类型 string：字符串类型 复杂数据类型 Array：数组类型，由一系...
- 目录 1、日期维度表 2、生成语句 3、用例 在进行日期处理时，有时候会很麻烦，于是小编开发了一张日期维表，供大家参考。 1、日期维度表 num字段名字段中文名描述数据类型1date日期日期 yyyMMdd格式bigint2week星期，数字型星期，数字型 0-6bigint3week_cn星期中文名星期中文名 星期一……string4year_weeks一年中... 目录 1、日期维度表 2、生成语句 3、用例 在进行日期处理时，有时候会很麻烦，于是小编开发了一张日期维表，供大家参考。 1、日期维度表 num字段名字段中文名描述数据类型1date日期日期 yyyMMdd格式bigint2week星期，数字型星期，数字型 0-6bigint3week_cn星期中文名星期中文名 星期一……string4year_weeks一年中...
- 概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能 底层是将sql语句转换为MapReduce任务进行运行 Hive提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Load ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制 本质上是一种大... 概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能 底层是将sql语句转换为MapReduce任务进行运行 Hive提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Load ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制 本质上是一种大...
- 目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划： 数据流： 内存使用： 调度： 容错： 适用面： Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 使用相同的存储数据池都支持把数据储于HDFS, HBase。 元数据 两者使用相同的元数据。 SQL解释... 目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划： 数据流： 内存使用： 调度： 容错： 适用面： Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 使用相同的存储数据池都支持把数据储于HDFS, HBase。 元数据 两者使用相同的元数据。 SQL解释...
- 一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响... 一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响...
- Hive相关学习指南 Hive官网：http://hive.apache.org Hive入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted HQL查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿：http://wiki.apache.org/ha... Hive相关学习指南 Hive官网：http://hive.apache.org Hive入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted HQL查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿：http://wiki.apache.org/ha...
上滑加载中
推荐直播
-
DeepSeek行业运用方案2025/02/25 周二 16:30-17:30
阿肯-华为云生态技术讲师
本期课程将带您揭秘DeepSeek在多行业的创新方案，手把手演示如何通过ModelArts在华为云上构建方案。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签