- 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时,数据都是经过GaussDB的Coordinator节点进入集群,会对coordinator节点带来较大压力,并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时(包含CREATE TABLE AS SELECT和INSERT INTO SE... 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时,数据都是经过GaussDB的Coordinator节点进入集群,会对coordinator节点带来较大压力,并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时(包含CREATE TABLE AS SELECT和INSERT INTO SE...
- 一. 什么是Schema演进?Schema演进是指保持表的数据不变,对表的schema进行变换,包括列的位置变更,新增删除列或者列的数据类型变更,查询引擎能正确地处理这些数据与表schema不一致的变更。 二.HetuEngine哪些表支持Schema演进? COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三.HetuEng... 一. 什么是Schema演进?Schema演进是指保持表的数据不变,对表的schema进行变换,包括列的位置变更,新增删除列或者列的数据类型变更,查询引擎能正确地处理这些数据与表schema不一致的变更。 二.HetuEngine哪些表支持Schema演进? COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三.HetuEng...
- HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后,313版本HetuEngine性能比不开启物化视图提升100%(基于1TB的TPC-DS测试)。 HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎,可与大数据生态无缝融合,实现海量数据秒级查询;支持多源异构协同,使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后,313版本HetuEngine性能比不开启物化视图提升100%(基于1TB的TPC-DS测试)。
- 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业(例如:物化视图自动刷新)由维护计算实例执行,不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动... 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业(例如:物化视图自动刷新)由维护计算实例执行,不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动...
- 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同... 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同...
- 一、无权限创建Topic会报错“ERROR kafka.admin.AdminOperationException: Error while deleting topic topicName解决办法是使用具有kafkaadmin权限的用户。二、“topic.enable”配置为falseFusionInsight Manager页面“集群->Kafka->配置->全部配置”查看Kafka服务... 一、无权限创建Topic会报错“ERROR kafka.admin.AdminOperationException: Error while deleting topic topicName解决办法是使用具有kafkaadmin权限的用户。二、“topic.enable”配置为falseFusionInsight Manager页面“集群->Kafka->配置->全部配置”查看Kafka服务...
- 一、 无权限创建Topic会报错“ERROR org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /config/topics/topicName。解决办法是使用具体kafkaadmin权限的用户。二、 Quota限制创建Topic会报错“Nodes number exceed ... 一、 无权限创建Topic会报错“ERROR org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /config/topics/topicName。解决办法是使用具体kafkaadmin权限的用户。二、 Quota限制创建Topic会报错“Nodes number exceed ...
- 生产场景中客户有许多存量的关系数据库表,随着数据分析需求的增长在使用数据湖架构时往往需要将历史存量数据从关系型数据库中导入数据湖,Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力,Loader是MRS提供的一个数据迁移工具,本文主要提供了一个使用Loader+Hudi将MySQL表快速同步成Hudi表的案例。 生产场景中客户有许多存量的关系数据库表,随着数据分析需求的增长在使用数据湖架构时往往需要将历史存量数据从关系型数据库中导入数据湖,Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力,Loader是MRS提供的一个数据迁移工具,本文主要提供了一个使用Loader+Hudi将MySQL表快速同步成Hudi表的案例。
- 问题现象:Stage ID: 298056,实际已经完成,但是进度条显示仍有47个task正在执行中。内存dump信息:Stage信息:完成的task数为0,执行中的task数为47,总共的task数为50,该stage的状态为ACTIVE,不是完成状态。LiveTasks信息:该Stage的50个task中,有38个活跃task,表明还有38个task处于未完成状态,但从日志中可以知道,该... 问题现象:Stage ID: 298056,实际已经完成,但是进度条显示仍有47个task正在执行中。内存dump信息:Stage信息:完成的task数为0,执行中的task数为47,总共的task数为50,该stage的状态为ACTIVE,不是完成状态。LiveTasks信息:该Stage的50个task中,有38个活跃task,表明还有38个task处于未完成状态,但从日志中可以知道,该...
- 转载来源:中华网https://tech.china.com/article/20211105/112021_917283.html中小微企业为申请银行贷款跑断腿?税务、人社、住建、水、电……为了给企业有更好的信用建模,需要向不同的机构申请不同维度的数据,流程冗长复杂,让人望而生畏。探索和发现新的药物,需要结合多家医疗和科研机构的基因、临床、药物数据,可是这些样本数据散落在不同医疗和科研机构... 转载来源:中华网https://tech.china.com/article/20211105/112021_917283.html中小微企业为申请银行贷款跑断腿?税务、人社、住建、水、电……为了给企业有更好的信用建模,需要向不同的机构申请不同维度的数据,流程冗长复杂,让人望而生畏。探索和发现新的药物,需要结合多家医疗和科研机构的基因、临床、药物数据,可是这些样本数据散落在不同医疗和科研机构...
- 1. 准备数据源要求与集群在相同网段的数据库已安装,记录节点地址以及用户名密码。本次测试数据库已准备,以Mysql为例。本地解压Navicat Premium 15.rar并启动navicat.exe,先新建数据库连接。若mysql中已存在数据库,则勾选自动打开然后在左侧连接上右键,打开连接,然后可加载到所有数据库以及表。创建一张测试表source1,并写入2行数据。 2. 配置... 1. 准备数据源要求与集群在相同网段的数据库已安装,记录节点地址以及用户名密码。本次测试数据库已准备,以Mysql为例。本地解压Navicat Premium 15.rar并启动navicat.exe,先新建数据库连接。若mysql中已存在数据库,则勾选自动打开然后在左侧连接上右键,打开连接,然后可加载到所有数据库以及表。创建一张测试表source1,并写入2行数据。 2. 配置...
- 问题描述相同的查询条件,使用primary key字段DATADATE进行desc排序后与默认排序ASC的结果不一致;使用非primary key字段进行排序后再使用limit限制查询结果,返回结果为空,不符合预期。问题分析问题描述的两种查询场景都会使用到Phoenix提供的OrderedResultIterator迭代器对查询结果进行处理。服务端的查询分成两个步骤:先通过primary k... 问题描述相同的查询条件,使用primary key字段DATADATE进行desc排序后与默认排序ASC的结果不一致;使用非primary key字段进行排序后再使用limit限制查询结果,返回结果为空,不符合预期。问题分析问题描述的两种查询场景都会使用到Phoenix提供的OrderedResultIterator迭代器对查询结果进行处理。服务端的查询分成两个步骤:先通过primary k...
- 使用华为FusionInsight MRS的Flink组件进行开发工作时,需要了解如何配置Flink客户端。本文将介绍如何进行该配置。 使用华为FusionInsight MRS的Flink组件进行开发工作时,需要了解如何配置Flink客户端。本文将介绍如何进行该配置。
- Hudi单表并发写实现方案使用外部服务(Zookeeper/Hive MetaStore)作为分布式互斥锁服务。允许并发写入文件,但是不允许并发提交commit,提交commit操作封装到事务中。提交commit时,执行冲突检查:若本次提交的commit中,修改的文件列表,与本次instanceTime之后的commit存在重叠文件,则提交失败,本次写入无效。使用并发机制需要注意问题INSE... Hudi单表并发写实现方案使用外部服务(Zookeeper/Hive MetaStore)作为分布式互斥锁服务。允许并发写入文件,但是不允许并发提交commit,提交commit操作封装到事务中。提交commit时,执行冲突检查:若本次提交的commit中,修改的文件列表,与本次instanceTime之后的commit存在重叠文件,则提交失败,本次写入无效。使用并发机制需要注意问题INSE...
- 什么是Hudi的Clustering即数据布局,该服务可重新组织数据以提高查询性能,也不会影响摄取速度。Hudi的Clustering架构Hudi通过其写入客户端API提供了不同的操作,如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡,Hudi提供了一个hoodie.parquet.small.file.limit配置来设置... 什么是Hudi的Clustering即数据布局,该服务可重新组织数据以提高查询性能,也不会影响摄取速度。Hudi的Clustering架构Hudi通过其写入客户端API提供了不同的操作,如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡,Hudi提供了一个hoodie.parquet.small.file.limit配置来设置...
上滑加载中
推荐直播
-
openEuler Summit 2024
2024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日,我们将在北京中关村国际创新中心举办 操作系统大会&openEuler Summit 2024,本次大会旨在汇聚全球产业发展力量,邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁,共同探讨操作系统产业发展方向和未来机遇,联合伙伴展示最新合作成果,分享数字化转型实践,以技术驱动创新不断激发新质生产力。
回顾中 -
华为云AI入门课:AI发展趋势与华为愿景
2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念,AI发展趋势,AI实用化前景,了解熟悉未来主要技术栈,当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系,构建职业竞争力。
去报名 -
华为云软件开发生产线(CodeArts)10月新特性解读
2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性?没法和产品团队建立直接的沟通?本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性,并在直播过程中为您答疑解惑。
去报名
热门标签