- 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SE... 特性背景传统JDBC或者copymanager方式对GaussDB进行数据写入时，数据都是经过GaussDB的Coordinator节点进入集群，会对coordinator节点带来较大压力，并且存在性能瓶颈。因此HetuEngine使用MDE特性来解决这类问题。在使用HetuEngine向GaussDB写入数据时（包含CREATE TABLE AS SELECT和INSERT INTO SE...
- 一. 什么是Schema演进？Schema演进是指保持表的数据不变，对表的schema进行变换，包括列的位置变更，新增删除列或者列的数据类型变更，查询引擎能正确地处理这些数据与表schema不一致的变更。 二．HetuEngine哪些表支持Schema演进？ COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三．HetuEng... 一. 什么是Schema演进？Schema演进是指保持表的数据不变，对表的schema进行变换，包括列的位置变更，新增删除列或者列的数据类型变更，查询引擎能正确地处理这些数据与表schema不一致的变更。 二．HetuEngine哪些表支持Schema演进？ COW表的schema变更支持MOR表的RT表的schema变更支持MOR表的RO表的schema变更支持 三．HetuEng...
- HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后，313版本HetuEngine性能比不开启物化视图提升100%（基于1TB的TPC-DS测试）。 HetuEngine是华为云FusionInsight团队自研的一款高性能交互式分析&数据虚拟化引擎，可与大数据生态无缝融合，实现海量数据秒级查询；支持多源异构协同，使能数据湖内/湖间/湖仓一站式SQL融合分析。开启物化视图后，313版本HetuEngine性能比不开启物化视图提升100%（基于1TB的TPC-DS测试）。
- 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业（例如：物化视图自动刷新）由维护计算实例执行，不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动... 分类描述物化视图新增CREATE/DROP/REFRESH/SHOW/VERIFY/Hints物化视图SQL语法。并对物化视图SQL提供权限控制。使用物化视图后TPC-DS 99整体性能提升100%。维护计算实例管理员可通过HSConsole创建维护计算实例。定期高耗资源作业（例如：物化视图自动刷新）由维护计算实例执行，不影响业务计算实例。维护计算实例和业务计算实例资源互相隔离。物化视图自动...
- 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同... 一、收集Kafka实例和分区信息1. 执行kafka-broker-info.sh --zookeeper zk业务IP:24002/kafka 命令获取Kafka实例信息2. 执行kafka-topics.sh --describe --zookeeper zk业务IP:24002/kafka --unavailable-partitions 命令获取Kafka未同...
- 一、无权限创建Topic会报错“ERROR kafka.admin.AdminOperationException: Error while deleting topic topicName解决办法是使用具有kafkaadmin权限的用户。二、“topic.enable”配置为falseFusionInsight Manager页面“集群->Kafka->配置->全部配置”查看Kafka服务... 一、无权限创建Topic会报错“ERROR kafka.admin.AdminOperationException: Error while deleting topic topicName解决办法是使用具有kafkaadmin权限的用户。二、“topic.enable”配置为falseFusionInsight Manager页面“集群->Kafka->配置->全部配置”查看Kafka服务...
- 一、 无权限创建Topic会报错“ERROR org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /config/topics/topicName。解决办法是使用具体kafkaadmin权限的用户。二、 Quota限制创建Topic会报错“Nodes number exceed ... 一、 无权限创建Topic会报错“ERROR org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /config/topics/topicName。解决办法是使用具体kafkaadmin权限的用户。二、 Quota限制创建Topic会报错“Nodes number exceed ...
- 生产场景中客户有许多存量的关系数据库表，随着数据分析需求的增长在使用数据湖架构时往往需要将历史存量数据从关系型数据库中导入数据湖，Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力，Loader是MRS提供的一个数据迁移工具，本文主要提供了一个使用Loader+Hudi将MySQL表快速同步成Hudi表的案例。 生产场景中客户有许多存量的关系数据库表，随着数据分析需求的增长在使用数据湖架构时往往需要将历史存量数据从关系型数据库中导入数据湖，Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力，Loader是MRS提供的一个数据迁移工具，本文主要提供了一个使用Loader+Hudi将MySQL表快速同步成Hudi表的案例。
- 问题现象：Stage ID: 298056，实际已经完成，但是进度条显示仍有47个task正在执行中。内存dump信息：Stage信息：完成的task数为0，执行中的task数为47，总共的task数为50，该stage的状态为ACTIVE，不是完成状态。LiveTasks信息：该Stage的50个task中，有38个活跃task，表明还有38个task处于未完成状态，但从日志中可以知道，该... 问题现象：Stage ID: 298056，实际已经完成，但是进度条显示仍有47个task正在执行中。内存dump信息：Stage信息：完成的task数为0，执行中的task数为47，总共的task数为50，该stage的状态为ACTIVE，不是完成状态。LiveTasks信息：该Stage的50个task中，有38个活跃task，表明还有38个task处于未完成状态，但从日志中可以知道，该...
- 转载来源：中华网https://tech.china.com/article/20211105/112021_917283.html中小微企业为申请银行贷款跑断腿？税务、人社、住建、水、电……为了给企业有更好的信用建模，需要向不同的机构申请不同维度的数据，流程冗长复杂，让人望而生畏。探索和发现新的药物，需要结合多家医疗和科研机构的基因、临床、药物数据，可是这些样本数据散落在不同医疗和科研机构... 转载来源：中华网https://tech.china.com/article/20211105/112021_917283.html中小微企业为申请银行贷款跑断腿？税务、人社、住建、水、电……为了给企业有更好的信用建模，需要向不同的机构申请不同维度的数据，流程冗长复杂，让人望而生畏。探索和发现新的药物，需要结合多家医疗和科研机构的基因、临床、药物数据，可是这些样本数据散落在不同医疗和科研机构...
- 1. 准备数据源要求与集群在相同网段的数据库已安装，记录节点地址以及用户名密码。本次测试数据库已准备，以Mysql为例。本地解压Navicat Premium 15.rar并启动navicat.exe，先新建数据库连接。若mysql中已存在数据库，则勾选自动打开然后在左侧连接上右键，打开连接，然后可加载到所有数据库以及表。创建一张测试表source1，并写入2行数据。 2. 配置... 1. 准备数据源要求与集群在相同网段的数据库已安装，记录节点地址以及用户名密码。本次测试数据库已准备，以Mysql为例。本地解压Navicat Premium 15.rar并启动navicat.exe，先新建数据库连接。若mysql中已存在数据库，则勾选自动打开然后在左侧连接上右键，打开连接，然后可加载到所有数据库以及表。创建一张测试表source1，并写入2行数据。 2. 配置...
- 问题描述相同的查询条件，使用primary key字段DATADATE进行desc排序后与默认排序ASC的结果不一致；使用非primary key字段进行排序后再使用limit限制查询结果，返回结果为空，不符合预期。问题分析问题描述的两种查询场景都会使用到Phoenix提供的OrderedResultIterator迭代器对查询结果进行处理。服务端的查询分成两个步骤：先通过primary k... 问题描述相同的查询条件，使用primary key字段DATADATE进行desc排序后与默认排序ASC的结果不一致；使用非primary key字段进行排序后再使用limit限制查询结果，返回结果为空，不符合预期。问题分析问题描述的两种查询场景都会使用到Phoenix提供的OrderedResultIterator迭代器对查询结果进行处理。服务端的查询分成两个步骤：先通过primary k...
- 使用华为FusionInsight MRS的Flink组件进行开发工作时，需要了解如何配置Flink客户端。本文将介绍如何进行该配置。 使用华为FusionInsight MRS的Flink组件进行开发工作时，需要了解如何配置Flink客户端。本文将介绍如何进行该配置。
- Hudi单表并发写实现方案使用外部服务（Zookeeper/Hive MetaStore）作为分布式互斥锁服务。允许并发写入文件，但是不允许并发提交commit，提交commit操作封装到事务中。提交commit时，执行冲突检查：若本次提交的commit中，修改的文件列表，与本次instanceTime之后的commit存在重叠文件，则提交失败，本次写入无效。使用并发机制需要注意问题INSE... Hudi单表并发写实现方案使用外部服务（Zookeeper/Hive MetaStore）作为分布式互斥锁服务。允许并发写入文件，但是不允许并发提交commit，提交commit操作封装到事务中。提交commit时，执行冲突检查：若本次提交的commit中，修改的文件列表，与本次instanceTime之后的commit存在重叠文件，则提交失败，本次写入无效。使用并发机制需要注意问题INSE...
- 什么是Hudi的Clustering即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。Hudi的Clustering架构Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置... 什么是Hudi的Clustering即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。Hudi的Clustering架构Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置...
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签