- 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0076.htmlClickHouse简介ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是极致压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异... 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0076.htmlClickHouse简介ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是极致压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异...
- 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0002.htmlMapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为FusionInsi... 原文链接：https://support.huaweicloud.com/productdesc-mrs/mrs_08_0002.htmlMapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为FusionInsi...
- 2021年上半年，湖仓一体俨然已经成为大数据领域最火热的流行词，各大云厂商推出自己的湖仓一体产品，在众多产品中，企业如何找到符合自身需求的数据管理产品？近日，国际权威分析机构弗若斯特沙利文 Frost & Sullivan（以下简称“沙利文”）发布了《2020 年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 Fusi... 2021年上半年，湖仓一体俨然已经成为大数据领域最火热的流行词，各大云厂商推出自己的湖仓一体产品，在众多产品中，企业如何找到符合自身需求的数据管理产品？近日，国际权威分析机构弗若斯特沙利文 Frost & Sullivan（以下简称“沙利文”）发布了《2020 年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 Fusi...
- 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。 ... 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。 ...
- 前言前面已经介绍了HetuEngine是什么以及应用场景与案例，想必读者对HetuEngine已经有了一个初步的了解，本篇文章将手把手带你进行集群部署和资源规划，开启玩转HetuEngine第一步。HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划，并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡，从而满足各种业务场景下的资源规划需求。一、HetuEngine... 前言前面已经介绍了HetuEngine是什么以及应用场景与案例，想必读者对HetuEngine已经有了一个初步的了解，本篇文章将手把手带你进行集群部署和资源规划，开启玩转HetuEngine第一步。HetuEngine支持在服务层角色实例和计算实例两个维度进行资源规划，并且支持在高并发场景下通过启动多个计算实例进行负载分担和均衡，从而满足各种业务场景下的资源规划需求。一、HetuEngine...
- 前言前面已经介绍了HetuEngine是什么，本篇文章讲带你了解HetuEngine常见的应用场景，与业务场景相结合，判断HetuEngine是否适应于业务场景。HetuEngine常见应用场景交互式查询场景 现状和挑战：查询慢：数据从入湖、Hive批加工，再搬迁到DWS进行交互式分析，整个链条数据消费时延长，对“反欺诈”、“实时风控”等高效应用存在不满足的情况；效率低：数据从Hadoop... 前言前面已经介绍了HetuEngine是什么，本篇文章讲带你了解HetuEngine常见的应用场景，与业务场景相结合，判断HetuEngine是否适应于业务场景。HetuEngine常见应用场景交互式查询场景 现状和挑战：查询慢：数据从入湖、Hive批加工，再搬迁到DWS进行交互式分析，整个链条数据消费时延长，对“反欺诈”、“实时风控”等高效应用存在不满足的情况；效率低：数据从Hadoop...
- 目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。 目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。
- 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，本文将展开分析HBase负载均衡中SimpleLoadBalancer相关内容。 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，本文将展开分析HBase负载均衡中SimpleLoadBalancer相关内容。
- kafka消费端性能优化主要从下面几个方面优化：1.接口使用方面优化：旧版本highlevel-consumer：偏移量信息存储在zookeeper，最大消费线程数与分区数量相同，不推荐旧版本simpleconsumer：自行选择存储偏移量的方式，可以实现多线程消费单分区，若无特殊的性能要求，不推荐新版本highlevel-consumer：偏移量信息存储在kafka指定的topic中，默认... kafka消费端性能优化主要从下面几个方面优化：1.接口使用方面优化：旧版本highlevel-consumer：偏移量信息存储在zookeeper，最大消费线程数与分区数量相同，不推荐旧版本simpleconsumer：自行选择存储偏移量的方式，可以实现多线程消费单分区，若无特殊的性能要求，不推荐新版本highlevel-consumer：偏移量信息存储在kafka指定的topic中，默认...
- 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C... 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C...
- 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ... 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ...
- 解决华为云大数据平台ARM架构的MRS集群在非华为欧拉操作系统中使用客户端的问题 作者第一发布于公众号：大数据架构之道，欢迎关注交流 解决华为云大数据平台ARM架构的MRS集群在非华为欧拉操作系统中使用客户端的问题 作者第一发布于公众号：大数据架构之道，欢迎关注交流
- 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage... 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage...
- 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令... 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令...
- · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c... · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签