- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。image.png因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 透明多级分流系统 1 客户... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。image.png因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 透明多级分流系统 1 客户...
- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 事务处理 1 本地事务 1.1 本地事务如何... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 事务处理 1 本地事务 1.1 本地事务如何...
- 假如用户开发一个应用程序，来管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程 假如用户开发一个应用程序，来管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程
- HetuEngine作为MRS服务中交互式分析&多源统一SQL引擎，亲自全程体验其如何实现多数据源的跨源跨域分析能力 HetuEngine作为MRS服务中交互式分析&多源统一SQL引擎，亲自全程体验其如何实现多数据源的跨源跨域分析能力
- ClickHouse是俄罗斯公司 Yandex 在2016年开源的高性能、开源联机分析列式数据库管理系统。开源后，凭借卓越的分析性能、极好的线性扩展能力和丰富的功能，被业界公认为实时分析领域 OLAP 开源引擎的一匹黑马。 ClickHouse是俄罗斯公司 Yandex 在2016年开源的高性能、开源联机分析列式数据库管理系统。开源后，凭借卓越的分析性能、极好的线性扩展能力和丰富的功能，被业界公认为实时分析领域 OLAP 开源引擎的一匹黑马。
- Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。
- HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以系统管理员需要定期检查并保持DataNode数据平衡。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以系统管理员需要定期检查并保持DataNode数据平衡。
- MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。
- CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。使用CarbonData的目的是对大数据即席查询提供超快速响应。 CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。使用CarbonData的目的是对大数据即席查询提供超快速响应。
- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。 Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。
- Airflow是一个使用Python语言编写的分布式调度平台，通过DAG（Directed acyclic graph 有向无环图）来管理任务。其平台拥有和Hive、Presto、MySQL、HDFS、Postgres等数据源之间交互的能力，并且提供了hook，使其拥有很好地扩展性。通过与华为云MapReduce服务结合，提供完整的大数据任务调度、监控、运维的全栈服务。 Airflow是一个使用Python语言编写的分布式调度平台，通过DAG（Directed acyclic graph 有向无环图）来管理任务。其平台拥有和Hive、Presto、MySQL、HDFS、Postgres等数据源之间交互的能力，并且提供了hook，使其拥有很好地扩展性。通过与华为云MapReduce服务结合，提供完整的大数据任务调度、监控、运维的全栈服务。
- Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。 Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。
- 本章首先讲述了MapReduce和Yarn的应用场景和基本架构，然后讲解了Yarn资源管理与任务调度的原理，最后介绍了华为MRS集群中对于Yarn的增强特性。 本章首先讲述了MapReduce和Yarn的应用场景和基本架构，然后讲解了Yarn资源管理与任务调度的原理，最后介绍了华为MRS集群中对于Yarn的增强特性。
- 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部
- HDFS是MapReduce服务中的基础文件系统，全称为Hadoop的分布式文件系统（Hadoop Distributed File System），可支持实现大规模数据可靠的分布式读写。 HDFS是MapReduce服务中的基础文件系统，全称为Hadoop的分布式文件系统（Hadoop Distributed File System），可支持实现大规模数据可靠的分布式读写。
上滑加载中
推荐直播
-
API全生命周期管理一站式体验2024/05/10 周五 16:00-17:00
Allen 华为云高级产品经理
本期邀请专家连线，共同探讨开发者关心的问题： 1、什么是API First，API First的优势有哪些?2、API全生命周期有哪几个阶段，API全生命周期的痛点问题有哪些？3、华为云是如何保证API一致性的？4、企业数字化转型如何做好API全生命周期管理？
即将直播 -
华为云IoT开源专家实践分享：开源让物联网平台更开放、易用2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
开源，意味着开放、共享、互助、共赢。作为万物上云及各行业数字化的物联网底座，华为云IoT积极拥抱开源，借助行业开源的最佳实践，构建可靠、易用的物联网平台，并通过开放南北向SDK，助力开发者快速构建物联网应用。本期直播，华为云IoT开源专家、物联网平台资深“程序猿”张俭，带你了解华为云IoT的开源生态，并手把手教你玩转开源社区！
去报名 -
华为云开发者日·广州站2024/05/15 周三 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签