- 本章主要讲述华为云大数据解决方案，云上大数据处理与分析方法。介绍了华为云EI主流大数据服务，如MRS服务、DWS服务和CSS服务。由此引出两种常见的大数据解决方案，离线处理和实时流处理，并对它们的架构优势、实现原理、应用分析与案例场景进行讲解。最后对DAYU数据运营平台进行了介绍。 本章主要讲述华为云大数据解决方案，云上大数据处理与分析方法。介绍了华为云EI主流大数据服务，如MRS服务、DWS服务和CSS服务。由此引出两种常见的大数据解决方案，离线处理和实时流处理，并对它们的架构优势、实现原理、应用分析与案例场景进行讲解。最后对DAYU数据运营平台进行了介绍。
- 我希望你喜欢这个 Spark with Python 博客。如果您正在阅读本文，恭喜您！您不再是 PySpark 的新手。现在就在您的系统上试试这个简单的例子。 我希望你喜欢这个 Spark with Python 博客。如果您正在阅读本文，恭喜您！您不再是 PySpark 的新手。现在就在您的系统上试试这个简单的例子。
- 通过体验沙箱实验室的基于Spark实现车主驾驶行为分析实验后，我们可以从中学习MRS服务的创建过程，学习把文件数据上传到OBS，通过MRS里面创建作业类型为SparkSubmit，实现车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数的统计分析。 通过体验沙箱实验室的基于Spark实现车主驾驶行为分析实验后，我们可以从中学习MRS服务的创建过程，学习把文件数据上传到OBS，通过MRS里面创建作业类型为SparkSubmit，实现车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数的统计分析。
- 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。
- Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Sp... Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Sp...
- 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun... 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun...
- MRS上使用spark提交任务经常引入一些三方依赖包，本文主要介绍几种添加依赖包的方式。 MRS上使用spark提交任务经常引入一些三方依赖包，本文主要介绍几种添加依赖包的方式。
- Apache Spark是一个开源集群计算框架，围绕速度、易用性和流分析而构建，而Python是一种通用的高级编程语言。它提供了广泛的库，主要用于机器学习和实时流分析。 换句话说，它是一个用于 Spark的 Python API，可让您利用 Python 的简单性和 Apache Spark 的强大功能来驯服大数据。 Apache Spark是一个开源集群计算框架，围绕速度、易用性和流分析而构建，而Python是一种通用的高级编程语言。它提供了广泛的库，主要用于机器学习和实时流分析。 换句话说，它是一个用于 Spark的 Python API，可让您利用 Python 的简单性和 Apache Spark 的强大功能来驯服大数据。
- 当下，信息社会正在从互联网时代走向物联网时代，信息交互变得更加庞杂、高效和智能。对于互联网公司和IOT企业来说，既是机遇，也是挑战。因为，企业不可避免的要面对数据量剧增带来的一系列问题：如何高效存储和扩容，如何在对原有业务改动最小的情况下做到智能化和实时分析。针对挑战，华为云GaussDB (for Cassandra) 为客户提供了强扩展、高存储、高效导入/导出和实时分析等一系列能力，并成... 当下，信息社会正在从互联网时代走向物联网时代，信息交互变得更加庞杂、高效和智能。对于互联网公司和IOT企业来说，既是机遇，也是挑战。因为，企业不可避免的要面对数据量剧增带来的一系列问题：如何高效存储和扩容，如何在对原有业务改动最小的情况下做到智能化和实时分析。针对挑战，华为云GaussDB (for Cassandra) 为客户提供了强扩展、高存储、高效导入/导出和实时分析等一系列能力，并成...
- 大数据是集收集，处理，存储为一体的技术总称。在海量数据处理的场景，大数据对计算及存储的要求较高，普遍以集群形式存在。海量数据需要更高的并发度来加速数据处理，鲲鹏多核计算的特点能够提升大数据任务的并发度，加速大数据的计算性能。大数据并行计算特点天然匹配鲲鹏多核架构，但是，为了获得更好的性能，仍需根据硬件配置和应用程序特点，对软硬件系统做进一步的优化。 大数据是集收集，处理，存储为一体的技术总称。在海量数据处理的场景，大数据对计算及存储的要求较高，普遍以集群形式存在。海量数据需要更高的并发度来加速数据处理，鲲鹏多核计算的特点能够提升大数据任务的并发度，加速大数据的计算性能。大数据并行计算特点天然匹配鲲鹏多核架构，但是，为了获得更好的性能，仍需根据硬件配置和应用程序特点，对软硬件系统做进一步的优化。
- Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog... Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog...
- 上一篇博客简述了如何使用华为云DLV做大屏数据可视化，现在出现2个问题导致数据大屏无法显示：（1）因为左图2和右图1使用的平均股价涨跌幅，负数为跌幅，WT双轴线状图不支持负数。导致线状图无法显示。经查看，基础版的图形只有地图支持负数，其他图形都不支持，只能把平均涨跌幅变更为平均成交额。（2）之前购买华为云MRS套餐是不带弹性IP，所以之前安装的mysql的端口不对外开放，但是我现在购... 上一篇博客简述了如何使用华为云DLV做大屏数据可视化，现在出现2个问题导致数据大屏无法显示：（1）因为左图2和右图1使用的平均股价涨跌幅，负数为跌幅，WT双轴线状图不支持负数。导致线状图无法显示。经查看，基础版的图形只有地图支持负数，其他图形都不支持，只能把平均涨跌幅变更为平均成交额。（2）之前购买华为云MRS套餐是不带弹性IP，所以之前安装的mysql的端口不对外开放，但是我现在购...
- Spark能对接很多的三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 Spark能对接很多的三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。
- 使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。 使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。
- Hive On Spark大体与Spark SQL结构类似，只是SQL引擎不同，但是计算引擎都是Spark。将Spark作为计算引擎，性能会比传统的MapReduce快很多。华为云DLI服务全面兼容Spark能力，DLI SQL在封装Spark SQL的同时，集成了carbon和carbondata的全部功能，同时兼容传统的DataSource和hive语法建表，支持跨源访问多个服务的数据，增强了 Hive On Spark大体与Spark SQL结构类似，只是SQL引擎不同，但是计算引擎都是Spark。将Spark作为计算引擎，性能会比传统的MapReduce快很多。华为云DLI服务全面兼容Spark能力，DLI SQL在封装Spark SQL的同时，集成了carbon和carbondata的全部功能，同时兼容传统的DataSource和hive语法建表，支持跨源访问多个服务的数据，增强了
上滑加载中
推荐直播
-
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名
热门标签