- MRS提供了基于主集群与容灾集群方式的容灾方案，通过主集群与容灾集群的数据复制关系保证集群内数据的可靠性及业务的持续性。 MRS提供了基于主集群与容灾集群方式的容灾方案，通过主集群与容灾集群的数据复制关系保证集群内数据的可靠性及业务的持续性。
- Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租... Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租...
- 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求
- Hudi 的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。Hudi Payload在写入和读取Hudi表时对数据进行去重、过滤、合并等操作的工具类，通过使用参数 "hoodie.datasource.write.payload.class"指定我们需要使用的Payload class。 Hudi 的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。Hudi Payload在写入和读取Hudi表时对数据进行去重、过滤、合并等操作的工具类，通过使用参数 "hoodie.datasource.write.payload.class"指定我们需要使用的Payload class。
- CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。
- Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使... Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使...
- 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。
- 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。
- 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或... 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或...
- 功能开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种... 功能开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种...
- 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空... 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空...
- ClickHouse对接Prometheus ClickHouse对接Prometheus
- 注：本篇博客根据雷锋网举办的《银行业AI生态云峰会》演进内容改编。大数据技术的「演进趋势」大数据从2010年开始到现在各种新技术层出不穷，最近围绕云基础设施又有非常多的创新发展。很多企业早期的数据分析系统主要构建在数据仓库之上，有的甚至连数据仓库都没有，使用TP类关系型数据库直接对接BI系统实现。这类系统一般以物理机形态的一体机部署，分布式能力比较弱，随着数据规模巨大增长，尤其是移动互联网发... 注：本篇博客根据雷锋网举办的《银行业AI生态云峰会》演进内容改编。大数据技术的「演进趋势」大数据从2010年开始到现在各种新技术层出不穷，最近围绕云基础设施又有非常多的创新发展。很多企业早期的数据分析系统主要构建在数据仓库之上，有的甚至连数据仓库都没有，使用TP类关系型数据库直接对接BI系统实现。这类系统一般以物理机形态的一体机部署，分布式能力比较弱，随着数据规模巨大增长，尤其是移动互联网发...
- 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案
- 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案，以及案例最佳实践。 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案，以及案例最佳实践。
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签