- 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
- 从零开始搭建大数据平台：屌丝逆袭指南 从零开始搭建大数据平台：屌丝逆袭指南
- 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。
- 基于3台服务器搭建Hadoop3.x集群概述Hadoop是一个由Apache基金会开发的分布式计算框架，它能够处理大规模数据集。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。本文将介绍如何在三台服务器上搭建Hadoop 3.x集群。环境准备硬件要求3台服务器，建议配置：CPU: 4核及以上内存: 8GB及以上磁盘: 1... 基于3台服务器搭建Hadoop3.x集群概述Hadoop是一个由Apache基金会开发的分布式计算框架，它能够处理大规模数据集。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。本文将介绍如何在三台服务器上搭建Hadoop 3.x集群。环境准备硬件要求3台服务器，建议配置：CPU: 4核及以上内存: 8GB及以上磁盘: 1...
- Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应... Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应...
- 从Excel到Hadoop：数据规模的进化之路 从Excel到Hadoop：数据规模的进化之路
- 使用原生Python编写Hadoop MapReduce程序在大数据处理领域，Hadoop MapReduce是一个广泛使用的框架，用于处理和生成大规模数据集。它通过将任务分解成多个小任务（映射和归约），并行地运行在集群上，从而实现高效的数据处理。尽管Hadoop主要支持Java编程语言，但通过Hadoop Streaming功能，我们可以使用其他语言如Python来编写MapReduce程... 使用原生Python编写Hadoop MapReduce程序在大数据处理领域，Hadoop MapReduce是一个广泛使用的框架，用于处理和生成大规模数据集。它通过将任务分解成多个小任务（映射和归约），并行地运行在集群上，从而实现高效的数据处理。尽管Hadoop主要支持Java编程语言，但通过Hadoop Streaming功能，我们可以使用其他语言如Python来编写MapReduce程...
- 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.... 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3....
- 本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。 本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。
- MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一... MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一...
- 一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大）二、负责存储数据的工具：HBaseMongoDBCassandraAccumuloMySqlOracleDB2HDFS（Hadoop Distribut File System）2.0三、底层组件Apache Common（通用模块）、A... 一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大）二、负责存储数据的工具：HBaseMongoDBCassandraAccumuloMySqlOracleDB2HDFS（Hadoop Distribut File System）2.0三、底层组件Apache Common（通用模块）、A...
- 论文来自：[Tracking Political Elections on Social Media: Applications and Experience](http://xueshu.baidu.com/usercenter/paper/show?paperid=648f55b88bfb691787d23f947a77137b&site=xueshu_se)摘要近年来，社交媒体已经成为... 论文来自：[Tracking Political Elections on Social Media: Applications and Experience](http://xueshu.baidu.com/usercenter/paper/show?paperid=648f55b88bfb691787d23f947a77137b&site=xueshu_se)摘要近年来，社交媒体已经成为...
- 什么是Hadoop？Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/va... 什么是Hadoop？Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/va...
- 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。
- 创建RDD 创建RDD
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签