- 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部... 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部...
- 2022年6月15-16日，让我们一起线上相聚华为伙伴暨开发者大会2022，#勇往直前 做全能开发者# 大会精彩活动不容错过！ 2022年6月15-16日，让我们一起线上相聚华为伙伴暨开发者大会2022，#勇往直前 做全能开发者# 大会精彩活动不容错过！
- 本期精彩看点：教你如何利用Python定制属于你的《本草纲目女孩》；通过引入FusionInsight RTD实时决策系统，实现医保费用的全流程管理；使用 Monaco Editor 做一个在线的网页代码编辑器。 本期精彩看点：教你如何利用Python定制属于你的《本草纲目女孩》；通过引入FusionInsight RTD实时决策系统，实现医保费用的全流程管理；使用 Monaco Editor 做一个在线的网页代码编辑器。
- 通过引入FusionInsight RTD实时决策系统，实现医保费用事前预防、事中控制、事后审核的全流程管理。从而将医保监管系统建设成既符合医保智能监管平台需求且具备未来信息化标准拓展能力，同时又能满足国家对智能监控的各项要求，最终实现先进的医保智能监管体系。 通过引入FusionInsight RTD实时决策系统，实现医保费用事前预防、事中控制、事后审核的全流程管理。从而将医保监管系统建设成既符合医保智能监管平台需求且具备未来信息化标准拓展能力，同时又能满足国家对智能监控的各项要求，最终实现先进的医保智能监管体系。
- 为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。 为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。
- 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现
- 做项目时，需要将负责的服务部署到华为云的mrs上，这部分服务是用pyton开发，用到了mrs中的spark服务，现将部署过程记录一下，供大家参考。 做项目时，需要将负责的服务部署到华为云的mrs上，这部分服务是用pyton开发，用到了mrs中的spark服务，现将部署过程记录一下，供大家参考。
- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 1、 概述1.1、什么是MapReduce？大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的... 1、 概述1.1、什么是MapReduce？大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的...
- clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这. clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这.
- 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。
- 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或... 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或...
- 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空... 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空...
- 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案
- HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 当HBase集群规模越来越大时，发现故障恢复时间较长。本文重点分析了故障恢复问题和耗时阶段，针对耗时进行了对应优化；最后总结了优化配置提升HBase MTTR效率。 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 当HBase集群规模越来越大时，发现故障恢复时间较长。本文重点分析了故障恢复问题和耗时阶段，针对耗时进行了对应优化；最后总结了优化配置提升HBase MTTR效率。
上滑加载中
推荐直播
-
SaaS云原生应用典型架构2022/07/07 周四 19:00-20:00
程泽 华为云SaaS专家
SaaS作为一种有效的软件交付形式，让企业IT团队可以将工作的重心从部署和业务系统定制转移到管理业务系统所提供的服务上来；但多租户开发、技术选型等问题会给SaaS应用开发带来挑战。本期直播将助力您破解这些难题，轻松构建云原生SaaS化应用。
去报名 -
崇本英才·智汇吴江· 无人车挑战赛赛题解读2022/07/11 周一 19:00-21:00
岩风 华为云EI开发者生态工程师
本次直播主要介绍赛题讲解、baseline操作演示、常见问题答疑等。本次直播主要介绍赛题讲解、baseline操作演示、常见问题答疑等。
去报名 -
鸿蒙设备如何从0到1联网上云2022/07/11 周一 19:30-20:30
Vz 华为云IoT高级工程师
本课程使开发者具备鸿蒙设备开发基础技能，掌握编译环境搭建、内核开发、驱动子系统开发、网络应用开发等知识点。
即将直播
热门标签