- Apache Doris 2.1.3 版本正式发布！该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新，进一步简化湖仓一体架构、加速了查询性能。 Apache Doris 2.1.3 版本正式发布！该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新，进一步简化湖仓一体架构、加速了查询性能。
- 记录一个hive时区问题，夏令时，CST时区 记录一个hive时区问题，夏令时，CST时区
- 随着版本迭代，Apache Doris 一直在拓展应用场景边界，从典型的实时报表、交互式 Ad-hoc 分析等 OLAP 场景到湖仓一体、高并发数据服务、日志检索分析及批量数据处理，越来越多用户与企业开始将 Apache Doris 作为统一的数据分析产品，以解决多组件带来的数据冗余、架构复杂、分析时效性低、运维难度大等问题。然而在架构统一和升级的过程中，由于部分大数据分析系统有自己的 SQ... 随着版本迭代，Apache Doris 一直在拓展应用场景边界，从典型的实时报表、交互式 Ad-hoc 分析等 OLAP 场景到湖仓一体、高并发数据服务、日志检索分析及批量数据处理，越来越多用户与企业开始将 Apache Doris 作为统一的数据分析产品，以解决多组件带来的数据冗余、架构复杂、分析时效性低、运维难度大等问题。然而在架构统一和升级的过程中，由于部分大数据分析系统有自己的 SQ...
- 1、Spark On Hive的配置1）、在Spark客户端配置Hive On Spark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore路径<configuration> <property> <name>hive.metastore.uris</name> <value>t... 1、Spark On Hive的配置1）、在Spark客户端配置Hive On Spark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore路径<configuration> <property> <name>hive.metastore.uris</name> <value>t...
- 一、SparkSQL介绍1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的Hive... 一、SparkSQL介绍1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的Hive...
- Hive / ClickHouse 行转列函数 collect_set() / groupUniqArray() 入门在数据处理和分析中，我们经常会遇到需要将一行数据转换为多列的情况。在 Hive 和 ClickHouse 中，可以使用 collect_set() 和 groupUniqArray() 函数来实现行转列操作。collect_set()1. 功能说明 col... Hive / ClickHouse 行转列函数 collect_set() / groupUniqArray() 入门在数据处理和分析中，我们经常会遇到需要将一行数据转换为多列的情况。在 Hive 和 ClickHouse 中，可以使用 collect_set() 和 groupUniqArray() 函数来实现行转列操作。collect_set()1. 功能说明 col...
- 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive... 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive...
- Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统... Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统...
- 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains... 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains...
- 执行HQL直接被退出：Remote side unexpectedly closed network connection 执行HQL直接被退出：Remote side unexpectedly closed network connection
- DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near 'show' 'indexes' 'on' in ddl statement」 DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near 'show' 'indexes' 'on' in ddl statement」
- Hive报错记录——林子雨教材 Hive报错记录——林子雨教材
- 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio... 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio...
- 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区
- 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having
上滑加载中
推荐直播
-
基于OpenHarmony的计算机学科人才培养经验分享2024/11/28 周四 19:00-21:00
华为开发者布道师、兰州大学信息科学与工程学院教授周睿
老师们、同学们，这里有不容错过的精彩！ 想了解计算机类人才培养存在哪些挑战？想知道OpenHarmony如何应用于人才培养？本次直播，为你分享基于它的科创实践、专业社团实践和教学实践途径，培养学术型、应用型和复合型精英人才。快来报名，开启提升之旅！
即将直播 -
全面解析华为云EI-API服务：理论基础与实践应用指南2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能，应用场景，实践案例，调用流程”四个维度来深入解析“语音交互API，文字识别API，自然语言处理API，图像识别API及图像搜索API”五大场景下API服务，同时结合实验，来加深开发者对API服务理解。
去报名 -
华为ICT大赛2024-2025 编程赛-鸿蒙技术赋能2024/12/01 周日 14:00-18:00
赵小刚 武汉大学计算机学院软件工程系 副教授
本期直播将与您一起交流学习OpenHarmony 物联网应用开发，助力您在华为ICT大赛2024-2025编程赛中取得好成绩。
即将直播
热门标签