- Apache Doris 2.1.3 版本正式发布！该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新，进一步简化湖仓一体架构、加速了查询性能。 Apache Doris 2.1.3 版本正式发布！该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新，进一步简化湖仓一体架构、加速了查询性能。
- 记录一个hive时区问题，夏令时，CST时区 记录一个hive时区问题，夏令时，CST时区
- 随着版本迭代，Apache Doris 一直在拓展应用场景边界，从典型的实时报表、交互式 Ad-hoc 分析等 OLAP 场景到湖仓一体、高并发数据服务、日志检索分析及批量数据处理，越来越多用户与企业开始将 Apache Doris 作为统一的数据分析产品，以解决多组件带来的数据冗余、架构复杂、分析时效性低、运维难度大等问题。然而在架构统一和升级的过程中，由于部分大数据分析系统有自己的 SQ... 随着版本迭代，Apache Doris 一直在拓展应用场景边界，从典型的实时报表、交互式 Ad-hoc 分析等 OLAP 场景到湖仓一体、高并发数据服务、日志检索分析及批量数据处理，越来越多用户与企业开始将 Apache Doris 作为统一的数据分析产品，以解决多组件带来的数据冗余、架构复杂、分析时效性低、运维难度大等问题。然而在架构统一和升级的过程中，由于部分大数据分析系统有自己的 SQ...
- 1、Spark On Hive的配置1）、在Spark客户端配置Hive On Spark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore路径<configuration> <property> <name>hive.metastore.uris</name> <value>t... 1、Spark On Hive的配置1）、在Spark客户端配置Hive On Spark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore路径<configuration> <property> <name>hive.metastore.uris</name> <value>t...
- 一、SparkSQL介绍1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的Hive... 一、SparkSQL介绍1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的Hive...
- Hive / ClickHouse 行转列函数 collect_set() / groupUniqArray() 入门在数据处理和分析中，我们经常会遇到需要将一行数据转换为多列的情况。在 Hive 和 ClickHouse 中，可以使用 collect_set() 和 groupUniqArray() 函数来实现行转列操作。collect_set()1. 功能说明 col... Hive / ClickHouse 行转列函数 collect_set() / groupUniqArray() 入门在数据处理和分析中，我们经常会遇到需要将一行数据转换为多列的情况。在 Hive 和 ClickHouse 中，可以使用 collect_set() 和 groupUniqArray() 函数来实现行转列操作。collect_set()1. 功能说明 col...
- 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive... 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive...
- Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统... Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统...
- 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains... 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains...
- 执行HQL直接被退出：Remote side unexpectedly closed network connection 执行HQL直接被退出：Remote side unexpectedly closed network connection
- DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near 'show' 'indexes' 'on' in ddl statement」 DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near 'show' 'indexes' 'on' in ddl statement」
- Hive报错记录——林子雨教材 Hive报错记录——林子雨教材
- 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio... 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio...
- 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区
- 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签