- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。image.png因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 透明多级分流系统 1 客户... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。image.png因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 透明多级分流系统 1 客户...
- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 事务处理 1 本地事务 1.1 本地事务如何... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 事务处理 1 本地事务 1.1 本地事务如何...
- 假如用户开发一个应用程序，来管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程 假如用户开发一个应用程序，来管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程
- HetuEngine作为MRS服务中交互式分析&多源统一SQL引擎，亲自全程体验其如何实现多数据源的跨源跨域分析能力 HetuEngine作为MRS服务中交互式分析&多源统一SQL引擎，亲自全程体验其如何实现多数据源的跨源跨域分析能力
- ClickHouse是俄罗斯公司 Yandex 在2016年开源的高性能、开源联机分析列式数据库管理系统。开源后，凭借卓越的分析性能、极好的线性扩展能力和丰富的功能，被业界公认为实时分析领域 OLAP 开源引擎的一匹黑马。 ClickHouse是俄罗斯公司 Yandex 在2016年开源的高性能、开源联机分析列式数据库管理系统。开源后，凭借卓越的分析性能、极好的线性扩展能力和丰富的功能，被业界公认为实时分析领域 OLAP 开源引擎的一匹黑马。
- Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。
- HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以系统管理员需要定期检查并保持DataNode数据平衡。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以系统管理员需要定期检查并保持DataNode数据平衡。
- MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。
- CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。使用CarbonData的目的是对大数据即席查询提供超快速响应。 CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。使用CarbonData的目的是对大数据即席查询提供超快速响应。
- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。 Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。
- Airflow是一个使用Python语言编写的分布式调度平台，通过DAG（Directed acyclic graph 有向无环图）来管理任务。其平台拥有和Hive、Presto、MySQL、HDFS、Postgres等数据源之间交互的能力，并且提供了hook，使其拥有很好地扩展性。通过与华为云MapReduce服务结合，提供完整的大数据任务调度、监控、运维的全栈服务。 Airflow是一个使用Python语言编写的分布式调度平台，通过DAG（Directed acyclic graph 有向无环图）来管理任务。其平台拥有和Hive、Presto、MySQL、HDFS、Postgres等数据源之间交互的能力，并且提供了hook，使其拥有很好地扩展性。通过与华为云MapReduce服务结合，提供完整的大数据任务调度、监控、运维的全栈服务。
- Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。 Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。
- 本章首先讲述了MapReduce和Yarn的应用场景和基本架构，然后讲解了Yarn资源管理与任务调度的原理，最后介绍了华为MRS集群中对于Yarn的增强特性。 本章首先讲述了MapReduce和Yarn的应用场景和基本架构，然后讲解了Yarn资源管理与任务调度的原理，最后介绍了华为MRS集群中对于Yarn的增强特性。
- 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部
- HDFS是MapReduce服务中的基础文件系统，全称为Hadoop的分布式文件系统（Hadoop Distributed File System），可支持实现大规模数据可靠的分布式读写。 HDFS是MapReduce服务中的基础文件系统，全称为Hadoop的分布式文件系统（Hadoop Distributed File System），可支持实现大规模数据可靠的分布式读写。
上滑加载中
推荐直播
-
计算机核心课程贯通式实践教学体系介绍2025/01/05 周日 09:00-12:00
华为开发者布道师、湖南大学二级教授、博士生导师赵欢
1月5日上午，华为开发者布道师直播间将迎来重磅嘉宾！赵欢老师，计算机教育创新先锋，其 “小而全系统” 教学方案重塑计算机类专业课程与实践，融合鲲鹏生态技术知识，斩获国家级教学成果奖。杨科华老师专注小型全系统实践，在香橙派鲲鹏 Pro 开发板构建精妙 mini 系统，带您直击计算机底层奥秘。还有香橙派系统开发部李博经理，精通开发板硬件与应用，将全方位揭秘开发板使用及 FPGA 开发实战案例。三位大咖齐聚，为高校师生开启计算机系统能力提升的知识宝库，精彩即将上线，速速预约！
回顾中 -
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名
热门标签