- 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。
- 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。
- 华为云MapReduce服务于2020年7月24日 00:00-06:00（北京时间）升级通知 华为云MapReduce服务于2020年7月24日 00:00-06:00（北京时间）升级通知
- 华为云MapReduce服务于2020年9月11日 00:00-06:00（北京时间）升级通知 华为云MapReduce服务于2020年9月11日 00:00-06:00（北京时间）升级通知
- 快捷部署第024期，Ubuntu 20.04下部署Hive（3.1.3） 快捷部署第024期，Ubuntu 20.04下部署Hive（3.1.3）
- 快捷部署第023期，Ubuntu 20.04下部署HBase（2.3.6） 快捷部署第023期，Ubuntu 20.04下部署HBase（2.3.6）
- HBase介绍 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 HBase采用Master/Slave架构，由HMaster节点、RegionServer节点、ZooKeeper集群组成，底层数据存储在HDFS上。 整体架构如图所示：HMaster主... HBase介绍 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 HBase采用Master/Slave架构，由HMaster节点、RegionServer节点、ZooKeeper集群组成，底层数据存储在HDFS上。 整体架构如图所示：HMaster主...
- 本文主要介绍pyflink 1.14的一些特性 本文主要介绍pyflink 1.14的一些特性
- FusionInsight LLD主要用于生成MRS大数据集群部署所需配置文件，本文主要介绍了LLD的操作方式，指导开发者如何使用FusionInsight LLD工具。 FusionInsight LLD主要用于生成MRS大数据集群部署所需配置文件，本文主要介绍了LLD的操作方式，指导开发者如何使用FusionInsight LLD工具。
- MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的... MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的...
- 作者 | Vinoth Chandar译者 | 杨华审校 | 蔡芳芳早在 2016 年，我们就提出了一个大胆的新愿景 [1]，通过一个新的“增量”数据处理技术栈（结合现有的批处理和流式处理堆栈）重新构想批处理。虽然流处理管道进行面向行的处理，提供秒级处理延迟，但增量管道将对数据湖中的列数据应用相同的原则，高效的数据处理，及相对批处理数量级的改进，同时存储 / 计算可高度扩展。这个新的技术栈将... 作者 | Vinoth Chandar译者 | 杨华审校 | 蔡芳芳早在 2016 年，我们就提出了一个大胆的新愿景 [1]，通过一个新的“增量”数据处理技术栈（结合现有的批处理和流式处理堆栈）重新构想批处理。虽然流处理管道进行面向行的处理，提供秒级处理延迟，但增量管道将对数据湖中的列数据应用相同的原则，高效的数据处理，及相对批处理数量级的改进，同时存储 / 计算可高度扩展。这个新的技术栈将...
- Impala是一个MPP（大规模并行处理）SQL查询引擎, 提供类似RDBMS的体验，提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 Impala是一个MPP（大规模并行处理）SQL查询引擎, 提供类似RDBMS的体验，提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。
- Flume 案例分析 Flume 案例分析
- 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。
- MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件 。 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件 。
上滑加载中
推荐直播
-
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名
热门标签