- Standalone集群搭建与Spark on Yarn配置1、StandaloneStandalone集群是Spark自带的资源调度框架，支持分布式搭建，这里建议搭建Standalone节点数为3台，1台master节点，2台worker节点，这虚拟机中每台节点的内存至少给2G和2个core，这样才能保证后期Spark基于Standalone的正常运行。搭建Standalone集群的步... Standalone集群搭建与Spark on Yarn配置1、StandaloneStandalone集群是Spark自带的资源调度框架，支持分布式搭建，这里建议搭建Standalone节点数为3台，1台master节点，2台worker节点，这虚拟机中每台节点的内存至少给2G和2个core，这样才能保证后期Spark基于Standalone的正常运行。搭建Standalone集群的步...
- 一、Spark核心 1、RDD 1）、概念：RDD（Resilient Distributed Datest），弹性分布式数据集。 2）、RDD的五大特性：1、RDD是由一系列的partition组成的2、函数是作用在每一个partition(split)上的3、RDD之间有一系列的依赖关系4、分区器是作用在K、V格式的RDD上5、RDD提供一系列最佳的计算位置 3）、RDD理解图： 4）... 一、Spark核心 1、RDD 1）、概念：RDD（Resilient Distributed Datest），弹性分布式数据集。 2）、RDD的五大特性：1、RDD是由一系列的partition组成的2、函数是作用在每一个partition(split)上的3、RDD之间有一系列的依赖关系4、分区器是作用在K、V格式的RDD上5、RDD提供一系列最佳的计算位置 3）、RDD理解图： 4）...
- 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不... 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不...
- 如果在生产中，我们经常在后台见到spark-submit提交任务在排队等待。可能是因为你的spark-submit提交任务配置参数设置有误原来的spark-submit --class xxx--master xxxxxx --queue xxxx --name xxxxx --driver-memory xx --num-executors xx --executor-cores xx -... 如果在生产中，我们经常在后台见到spark-submit提交任务在排队等待。可能是因为你的spark-submit提交任务配置参数设置有误原来的spark-submit --class xxx--master xxxxxx --queue xxxx --name xxxxx --driver-memory xx --num-executors xx --executor-cores xx -...
- 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系... 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系...
- 以下 TsFile 结构为例： TsFile 架构中有三个度量：状态、温度和硬件。 以下 TsFile 结构为例： TsFile 架构中有三个度量：状态、温度和硬件。
- TsFile-Spark-Connector 可以在 SparkSQL By SparkSQL 中将一个或多个 TsFiles 显示为表。它还允许用户指定单个目录或使用通配符来匹配多个目录。如果有多个 TsFiles，则所有 TsFiles 中测量值的并集将保留在表中，并且默认情况下，具有相同名称的度量将具有相同的数据类型。 TsFile-Spark-Connector 可以在 SparkSQL By SparkSQL 中将一个或多个 TsFiles 显示为表。它还允许用户指定单个目录或使用通配符来匹配多个目录。如果有多个 TsFiles，则所有 TsFiles 中测量值的并集将保留在表中，并且默认情况下，具有相同名称的度量将具有相同的数据类型。
- 在当今的数据驱动世界中，大数据分析平台扮演着至关重要的角色。它们帮助组织处理和分析大规模数据，从中获得有价值的见解和决策支持。本文将对三个主要的大数据分析平台进行比较：Hadoop、Spark和Flink，以帮助开发人员和数据工程师选择最适合他们需求的平台。Hadoop:Hadoop是大数据处理领域的先驱，它基于分布式文件系统（HDFS）和分布式计算框架（MapReduce）。Hadoop的... 在当今的数据驱动世界中，大数据分析平台扮演着至关重要的角色。它们帮助组织处理和分析大规模数据，从中获得有价值的见解和决策支持。本文将对三个主要的大数据分析平台进行比较：Hadoop、Spark和Flink，以帮助开发人员和数据工程师选择最适合他们需求的平台。Hadoop:Hadoop是大数据处理领域的先驱，它基于分布式文件系统（HDFS）和分布式计算框架（MapReduce）。Hadoop的...
- 大规模数据分析已经成为现代软件开发中不可或缺的一部分。在处理海量数据时，选择适当的工具和框架可以对性能产生巨大的影响。本文将重点比较两个最受欢迎的大数据处理框架：Hadoop和Spark。我们将探讨它们的优势、劣势和适用场景，帮助您在大规模数据分析中做出明智的选择。Hadoop:Hadoop是一个开源的分布式数据处理框架，主要由Hadoop分布式文件系统(HDFS)和MapReduce编程模... 大规模数据分析已经成为现代软件开发中不可或缺的一部分。在处理海量数据时，选择适当的工具和框架可以对性能产生巨大的影响。本文将重点比较两个最受欢迎的大数据处理框架：Hadoop和Spark。我们将探讨它们的优势、劣势和适用场景，帮助您在大规模数据分析中做出明智的选择。Hadoop:Hadoop是一个开源的分布式数据处理框架，主要由Hadoop分布式文件系统(HDFS)和MapReduce编程模...
- 大数据时代的到来带来了对大规模数据处理的需求，而Apache Spark和Hadoop是两个备受关注的开源工具，它们在大规模数据处理领域扮演着重要的角色。在本文中，我们将比较Apache Spark和Hadoop，并探讨它们在大规模数据处理中的优势和选择。概述Apache Spark和Hadoop都是用于大规模数据处理的工具，但它们的设计理念和架构有所不同。Hadoop生态系统的核心是Had... 大数据时代的到来带来了对大规模数据处理的需求，而Apache Spark和Hadoop是两个备受关注的开源工具，它们在大规模数据处理领域扮演着重要的角色。在本文中，我们将比较Apache Spark和Hadoop，并探讨它们在大规模数据处理中的优势和选择。概述Apache Spark和Hadoop都是用于大规模数据处理的工具，但它们的设计理念和架构有所不同。Hadoop生态系统的核心是Had...
- 本文介绍了如何利用IBCS虚拟专线提高Apache Spark集群性能，确保数据处理任务的高效运行。通过IBCS虚拟专线，企业可以实现高速、低延迟的网络连接，从而提高Spark集群的数据传输速度和稳定性。 本文介绍了如何利用IBCS虚拟专线提高Apache Spark集群性能，确保数据处理任务的高效运行。通过IBCS虚拟专线，企业可以实现高速、低延迟的网络连接，从而提高Spark集群的数据传输速度和稳定性。
- 一篇文章读懂：Spark运行模式 一篇文章读懂：Spark运行模式
- Windows10安装netcat，用于Spark学习监听端口 Windows10安装netcat，用于Spark学习监听端口
- spark-sql或spark-beeline查询报错：File does not exist产生原因是：spark-sql或spark-beeline会缓存查询的元数据，此时当前session未关闭时候，有其他任务修改了表文件，当前session再进行查询类操作，就会出现表文件不存在的报错解决方法：在表前加上refresh table + 表名或者添加spark.sql.relationC... spark-sql或spark-beeline查询报错：File does not exist产生原因是：spark-sql或spark-beeline会缓存查询的元数据，此时当前session未关闭时候，有其他任务修改了表文件，当前session再进行查询类操作，就会出现表文件不存在的报错解决方法：在表前加上refresh table + 表名或者添加spark.sql.relationC...
- 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。... 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签