- 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0076.htmlClickHouse简介ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是极致压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异... 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0076.htmlClickHouse简介ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是极致压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异...
- 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0002.htmlMapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为FusionInsi... 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0002.htmlMapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为FusionInsi...
- 2021年上半年，湖仓一体俨然已经成为大数据领域最火热的流行词，各大云厂商推出自己的湖仓一体产品，在众多产品中，企业如何找到符合自身需求的数据管理产品？近日，国际权威分析机构弗若斯特沙利文 Frost & Sullivan（以下简称“沙利文”）发布了《2020 年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 Fusi... 2021年上半年，湖仓一体俨然已经成为大数据领域最火热的流行词，各大云厂商推出自己的湖仓一体产品，在众多产品中，企业如何找到符合自身需求的数据管理产品？近日，国际权威分析机构弗若斯特沙利文 Frost & Sullivan（以下简称“沙利文”）发布了《2020 年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 Fusi...
- 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。 ... 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。 ...
- 前言前面已经介绍了HetuEngine是什么以及应用场景与案例，想必读者对HetuEngine已经有了一个初步的了解，本篇文章将手把手带你进行集群部署和资源规划，开启玩转HetuEngine第一步。HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划，并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡，从而满足各种业务场景下的资源规划需求。一、HetuEngine... 前言前面已经介绍了HetuEngine是什么以及应用场景与案例，想必读者对HetuEngine已经有了一个初步的了解，本篇文章将手把手带你进行集群部署和资源规划，开启玩转HetuEngine第一步。HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划，并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡，从而满足各种业务场景下的资源规划需求。一、HetuEngine...
- 前言前面已经介绍了HetuEngine是什么，本篇文章讲带你了解HetuEngine常见的应用场景，与业务场景相结合，判断HetuEngine是否适应于业务场景。HetuEngine常见应用场景交互式查询场景 现状和挑战：查询慢：数据从入湖、Hive批加工，再搬迁到DWS进行交互式分析，整个链条数据消费时延长，对“反欺诈”、“实时风控”等高效应用存在不满足的情况；效率低：数据从Hadoop... 前言前面已经介绍了HetuEngine是什么，本篇文章讲带你了解HetuEngine常见的应用场景，与业务场景相结合，判断HetuEngine是否适应于业务场景。HetuEngine常见应用场景交互式查询场景 现状和挑战：查询慢：数据从入湖、Hive批加工，再搬迁到DWS进行交互式分析，整个链条数据消费时延长，对“反欺诈”、“实时风控”等高效应用存在不满足的情况；效率低：数据从Hadoop...
- 目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。 目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。
- 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，本文将展开分析HBase负载均衡中SimpleLoadBalancer相关内容。 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，本文将展开分析HBase负载均衡中SimpleLoadBalancer相关内容。
- kafka消费端性能优化主要从下面几个方面优化：1.接口使用方面优化：旧版本highlevel-consumer：偏移量信息存储在zookeeper，最大消费线程数与分区数量相同，不推荐旧版本simpleconsumer：自行选择存储偏移量的方式，可以实现多线程消费单分区，若无特殊的性能要求，不推荐新版本highlevel-consumer：偏移量信息存储在kafka指定的topic中，默认... kafka消费端性能优化主要从下面几个方面优化：1.接口使用方面优化：旧版本highlevel-consumer：偏移量信息存储在zookeeper，最大消费线程数与分区数量相同，不推荐旧版本simpleconsumer：自行选择存储偏移量的方式，可以实现多线程消费单分区，若无特殊的性能要求，不推荐新版本highlevel-consumer：偏移量信息存储在kafka指定的topic中，默认...
- 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C... 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C...
- 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ... 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ...
- 解决华为云大数据平台ARM架构的MRS集群在非华为欧拉操作系统中使用客户端的问题 作者第一发布于公众号：大数据架构之道，欢迎关注交流 解决华为云大数据平台ARM架构的MRS集群在非华为欧拉操作系统中使用客户端的问题 作者第一发布于公众号：大数据架构之道，欢迎关注交流
- 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage... 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage...
- 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令... 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令...
- · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c... · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签