- 近日，我们对TrinoDB开源社区近两年发布的版本进行了调研，基于1TB TPC-DS标准测试套的性能测试数据如下图：横坐标：TrinoDB社区版本号纵坐标：执行时长（越小越好） 针对Trino459相较于Trino 399版本的性能提升幅度，我们进一步深入分析后得到如下结论：生产场景性能提升 56%POC场景性能提升 46% 此外，当把测试数据集规模从1TB提升到10TB，观察到Trino... 近日，我们对TrinoDB开源社区近两年发布的版本进行了调研，基于1TB TPC-DS标准测试套的性能测试数据如下图：横坐标：TrinoDB社区版本号纵坐标：执行时长（越小越好） 针对Trino459相较于Trino 399版本的性能提升幅度，我们进一步深入分析后得到如下结论：生产场景性能提升 56%POC场景性能提升 46% 此外，当把测试数据集规模从1TB提升到10TB，观察到Trino...
- IDC发布报告，华为云软件开发生产线DevCloud在市场份额和发展战略两大维度均排名第一，再次位居领导者位置；打破联接壁垒，华为云IoT到底强在哪；最新CANN 5.0版本着实有点快… IDC发布报告，华为云软件开发生产线DevCloud在市场份额和发展战略两大维度均排名第一，再次位居领导者位置；打破联接壁垒，华为云IoT到底强在哪；最新CANN 5.0版本着实有点快…
- 看华为云IoT接入HarmonyOS生态，如何共筑企业与消费者的全场景智联生活；带你了解HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例... 看华为云IoT接入HarmonyOS生态，如何共筑企业与消费者的全场景智联生活；带你了解HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例...
- 早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。 早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。
- 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物... 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物...
- 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。
- 在诞生之初，Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要兼顾批处理作业，技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。 在诞生之初，Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要兼顾批处理作业，技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。
- 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ... 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ...
- 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SE... 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SE...
- 一. 什么是Schema演进？Schema演进是指保持表的数据不变，对表的schema进行变换，包括列的位置变更，新增删除列或者列的数据类型变更，查询引擎能正确地处理这些数据与表schema不一致的变更。 二．HetuEngine哪些表支持Schema演进？ COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三．HetuEng... 一. 什么是Schema演进？Schema演进是指保持表的数据不变，对表的schema进行变换，包括列的位置变更，新增删除列或者列的数据类型变更，查询引擎能正确地处理这些数据与表schema不一致的变更。 二．HetuEngine哪些表支持Schema演进？ COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三．HetuEng...
- HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后，313版本HetuEngine性能比不开启物化视图提升100%（基于1TB的TPC-DS测试）。 HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后，313版本HetuEngine性能比不开启物化视图提升100%（基于1TB的TPC-DS测试）。
- 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业（例如：物化视图自动刷新）由维护计算实例执行，不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动... 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业（例如：物化视图自动刷新）由维护计算实例执行，不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动...
- HetuEngine查询非本集群的Hive数据，由于使用了“hive.force-local-scheduling=true“参数，导致查询无法被HetuEnigne调度执行。 HetuEngine查询非本集群的Hive数据，由于使用了“hive.force-local-scheduling=true“参数，导致查询无法被HetuEnigne调度执行。
- MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。 MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。
- MRS 3.1.1-lts版本预计将于2021年6月30日前后发布，在这个新版本中，HetuEngine将带来哪些振奋人心的新特性呢？ 让我们一起先睹为快~~ MRS 3.1.1-lts版本预计将于2021年6月30日前后发布，在这个新版本中，HetuEngine将带来哪些振奋人心的新特性呢？ 让我们一起先睹为快~~
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用？本期直播将聚焦华为云设备接入平台，结合AI、鸿蒙（OpenHarmony）、大数据等技术，实现物联网端云协同创新场景，教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
即将直播 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
去报名
热门标签