- 随着互联网行业的逐渐扩张，线上业务量大幅增加，对数据处理能力的要求也逐步提高。如何选择合适的数据处理框架以及任务调度框架，成为每个对数据处理有要求的公司需严谨思考的问题。本文从Spark这一数据处理引擎入手，浅析spark on yarn的优势及缺点，作为选择数据处理框架的参考。一、 Spark/Yarn简述Spark：Apache Spark是处理大规模数据的统一分析引擎，用于构建大型、低... 随着互联网行业的逐渐扩张，线上业务量大幅增加，对数据处理能力的要求也逐步提高。如何选择合适的数据处理框架以及任务调度框架，成为每个对数据处理有要求的公司需严谨思考的问题。本文从Spark这一数据处理引擎入手，浅析spark on yarn的优势及缺点，作为选择数据处理框架的参考。一、 Spark/Yarn简述Spark：Apache Spark是处理大规模数据的统一分析引擎，用于构建大型、低...
- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 安装一个简单的伪分布式Spark集群及RDD简单操作@[toc] 实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：scala-2.11.8.tgzspark-2.1.0jdk1.8.0_171hadoop-2.6.0spark: http://spark.apache.org/downloads.htmlscala: https://www.scala-lan... 安装一个简单的伪分布式Spark集群及RDD简单操作@[toc] 实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：scala-2.11.8.tgzspark-2.1.0jdk1.8.0_171hadoop-2.6.0spark: http://spark.apache.org/downloads.htmlscala: https://www.scala-lan...
- Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比 Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比
- 使用Sprak的scala接口往GaussDB(DWS)导入数据时，当数据源表和目标表数据不一致时，可能会触发导入作业异常 使用Sprak的scala接口往GaussDB(DWS)导入数据时，当数据源表和目标表数据不一致时，可能会触发导入作业异常
- Spark 学习中的案例实操，包括Top10 热门品类统计、Top10 热门品类中每个品类的 Top10 活跃 Session 统计、页面单跳转换率统计 Spark 学习中的案例实操，包括Top10 热门品类统计、Top10 热门品类中每个品类的 Top10 活跃 Session 统计、页面单跳转换率统计
- RDD算子分为转换算子和行动算子，转换算子根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，转换算子不会提交作业，而行动算子会提交作业。 RDD算子分为转换算子和行动算子，转换算子根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，转换算子不会提交作业，而行动算子会提交作业。
- 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。
- Ray 简介Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题，通过动态计算及状态共享提高效率，实现研发、运行时、容灾一体化 Ray的历史Google的三驾马车（2003年，GFS,BigTable,MapReduce... Ray 简介Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题，通过动态计算及状态共享提高效率，实现研发、运行时、容灾一体化 Ray的历史Google的三驾马车（2003年，GFS,BigTable,MapReduce...
- MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ... MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ...
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。 DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。
- 本文主要是通过Spark代码走读来了解spark-submit的流程 本文主要是通过Spark代码走读来了解spark-submit的流程
- 简单修改了 spark3.0.1 源码，然后用华为云镜像对其编译 简单修改了 spark3.0.1 源码，然后用华为云镜像对其编译
上滑加载中
推荐直播
-
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
回顾中 -
GaussDB应用实战：手把手带你写SQL2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍，帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
回顾中 -
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
即将直播
热门标签