- IDC发布报告，华为云软件开发生产线DevCloud在市场份额和发展战略两大维度均排名第一，再次位居领导者位置；打破联接壁垒，华为云IoT到底强在哪；最新CANN 5.0版本着实有点快… IDC发布报告，华为云软件开发生产线DevCloud在市场份额和发展战略两大维度均排名第一，再次位居领导者位置；打破联接壁垒，华为云IoT到底强在哪；最新CANN 5.0版本着实有点快…
- 看华为云IoT接入HarmonyOS生态，如何共筑企业与消费者的全场景智联生活；带你了解HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例... 看华为云IoT接入HarmonyOS生态，如何共筑企业与消费者的全场景智联生活；带你了解HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例...
- 早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。 早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。
- 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物... 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物...
- 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。
- 在诞生之初，Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要兼顾批处理作业，技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。 在诞生之初，Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要兼顾批处理作业，技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。
- 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ... 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ...
- 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SE... 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SE...
- 一. 什么是Schema演进？Schema演进是指保持表的数据不变，对表的schema进行变换，包括列的位置变更，新增删除列或者列的数据类型变更，查询引擎能正确地处理这些数据与表schema不一致的变更。 二．HetuEngine哪些表支持Schema演进？ COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三．HetuEng... 一. 什么是Schema演进？Schema演进是指保持表的数据不变，对表的schema进行变换，包括列的位置变更，新增删除列或者列的数据类型变更，查询引擎能正确地处理这些数据与表schema不一致的变更。 二．HetuEngine哪些表支持Schema演进？ COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三．HetuEng...
- HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后，313版本HetuEngine性能比不开启物化视图提升100%（基于1TB的TPC-DS测试）。 HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后，313版本HetuEngine性能比不开启物化视图提升100%（基于1TB的TPC-DS测试）。
- 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业（例如：物化视图自动刷新）由维护计算实例执行，不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动... 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业（例如：物化视图自动刷新）由维护计算实例执行，不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动...
- HetuEngine查询非本集群的Hive数据，由于使用了“hive.force-local-scheduling=true“参数，导致查询无法被HetuEnigne调度执行。 HetuEngine查询非本集群的Hive数据，由于使用了“hive.force-local-scheduling=true“参数，导致查询无法被HetuEnigne调度执行。
- MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。 MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。
- MRS 3.1.1-lts版本预计将于2021年6月30日前后发布，在这个新版本中，HetuEngine将带来哪些振奋人心的新特性呢？ 让我们一起先睹为快~~ MRS 3.1.1-lts版本预计将于2021年6月30日前后发布，在这个新版本中，HetuEngine将带来哪些振奋人心的新特性呢？ 让我们一起先睹为快~~
- 前言前面已经介绍了HetuEngine是什么以及应用场景与案例，想必读者对HetuEngine已经有了一个初步的了解，本篇文章将手把手带你进行集群部署和资源规划，开启玩转HetuEngine第一步。HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划，并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡，从而满足各种业务场景下的资源规划需求。一、HetuEngine... 前言前面已经介绍了HetuEngine是什么以及应用场景与案例，想必读者对HetuEngine已经有了一个初步的了解，本篇文章将手把手带你进行集群部署和资源规划，开启玩转HetuEngine第一步。HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划，并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡，从而满足各种业务场景下的资源规划需求。一、HetuEngine...
上滑加载中
推荐直播
-
华为云入门必修课：技术精髓知识点精讲2024/11/07 周四 17:40-19:40
Jackie 华为云资深布道师
本期直播旨在帮开发者了解云的基本概念、云的优势、常见存储服务的原理及使用，掌握ECS的概念、功能、场景和使用等，为你的开发之路奠定坚实理论根基，帮助开发者在云计算领域提升技能，增强职业竞争力。
去报名
热门标签