- MRS提供了基于主集群与容灾集群方式的容灾方案，通过主集群与容灾集群的数据复制关系保证集群内数据的可靠性及业务的持续性。 MRS提供了基于主集群与容灾集群方式的容灾方案，通过主集群与容灾集群的数据复制关系保证集群内数据的可靠性及业务的持续性。
- Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租... Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租...
- 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求
- Hudi 的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。Hudi Payload在写入和读取Hudi表时对数据进行去重、过滤、合并等操作的工具类，通过使用参数 "hoodie.datasource.write.payload.class"指定我们需要使用的Payload class。 Hudi 的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。Hudi Payload在写入和读取Hudi表时对数据进行去重、过滤、合并等操作的工具类，通过使用参数 "hoodie.datasource.write.payload.class"指定我们需要使用的Payload class。
- CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。
- Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使... Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使...
- 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。
- 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。
- 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或... 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或...
- 功能开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种... 功能开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种...
- 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空... 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空...
- ClickHouse对接Prometheus ClickHouse对接Prometheus
- 注：本篇博客根据雷锋网举办的《银行业AI生态云峰会》演进内容改编。大数据技术的「演进趋势」大数据从2010年开始到现在各种新技术层出不穷，最近围绕云基础设施又有非常多的创新发展。很多企业早期的数据分析系统主要构建在数据仓库之上，有的甚至连数据仓库都没有，使用TP类关系型数据库直接对接BI系统实现。这类系统一般以物理机形态的一体机部署，分布式能力比较弱，随着数据规模巨大增长，尤其是移动互联网发... 注：本篇博客根据雷锋网举办的《银行业AI生态云峰会》演进内容改编。大数据技术的「演进趋势」大数据从2010年开始到现在各种新技术层出不穷，最近围绕云基础设施又有非常多的创新发展。很多企业早期的数据分析系统主要构建在数据仓库之上，有的甚至连数据仓库都没有，使用TP类关系型数据库直接对接BI系统实现。这类系统一般以物理机形态的一体机部署，分布式能力比较弱，随着数据规模巨大增长，尤其是移动互联网发...
- 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案
- 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案，以及案例最佳实践。 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案，以及案例最佳实践。
上滑加载中
推荐直播
-
openEuler Summit 20242024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日，我们将在北京中关村国际创新中心举办 操作系统大会＆openEuler Summit 2024，本次大会旨在汇聚全球产业发展力量，邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁，共同探讨操作系统产业发展方向和未来机遇，联合伙伴展示最新合作成果，分享数字化转型实践，以技术驱动创新不断激发新质生产力。
回顾中 -
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签