- Parquet介绍Parquet 是一种开源文件格式，用于处理扁平列式存储数据格式，可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件（如 CSV 或 TSV 文件）相比，Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。Parquet 使用记录粉碎和组装算... Parquet介绍Parquet 是一种开源文件格式，用于处理扁平列式存储数据格式，可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件（如 CSV 或 TSV 文件）相比，Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。Parquet 使用记录粉碎和组装算...
- JavaPairRDD的countByValue方法讲解 官方文档/** * Return the count of each unique value in this RDD as a map of (value, count) pairs. The final * combine step happens locally on the master, equivalent to... JavaPairRDD的countByValue方法讲解 官方文档/** * Return the count of each unique value in this RDD as a map of (value, count) pairs. The final * combine step happens locally on the master, equivalent to...
- JavaPairRDD的countByKey方法讲解 官方文档/** * Count the number of elements for each key, collecting the results to a local Map. * * @note This method should only be used if the resulting map is expec... JavaPairRDD的countByKey方法讲解 官方文档/** * Count the number of elements for each key, collecting the results to a local Map. * * @note This method should only be used if the resulting map is expec...
- JavaPairRDD的cartesian方法讲解 官方文档说明Return the Cartesian product of this RDD and another one, that is, the RDD of all pairs of elements (a, b) where a is in `this` and b is in `other`. 中文含义该函数返回的是Pair... JavaPairRDD的cartesian方法讲解 官方文档说明Return the Cartesian product of this RDD and another one, that is, the RDD of all pairs of elements (a, b) where a is in `this` and b is in `other`. 中文含义该函数返回的是Pair...
- JavaPairRDD的aggregate方法讲解 官方文档说明 /** * Aggregate the elements of each partition, and then the results for all the partitions, using * given combine functions and a neutral "zero value". This f... JavaPairRDD的aggregate方法讲解 官方文档说明 /** * Aggregate the elements of each partition, and then the results for all the partitions, using * given combine functions and a neutral "zero value". This f...
- 问题现象：Stage ID: 298056，实际已经完成，但是进度条显示仍有47个task正在执行中。内存dump信息：Stage信息：完成的task数为0，执行中的task数为47，总共的task数为50，该stage的状态为ACTIVE，不是完成状态。LiveTasks信息：该Stage的50个task中，有38个活跃task，表明还有38个task处于未完成状态，但从日志中可以知道，该... 问题现象：Stage ID: 298056，实际已经完成，但是进度条显示仍有47个task正在执行中。内存dump信息：Stage信息：完成的task数为0，执行中的task数为47，总共的task数为50，该stage的状态为ACTIVE，不是完成状态。LiveTasks信息：该Stage的50个task中，有38个活跃task，表明还有38个task处于未完成状态，但从日志中可以知道，该...
- 1. 准备数据源要求与集群在相同网段的数据库已安装，记录节点地址以及用户名密码。本次测试数据库已准备，以Mysql为例。本地解压Navicat Premium 15.rar并启动navicat.exe，先新建数据库连接。若mysql中已存在数据库，则勾选自动打开然后在左侧连接上右键，打开连接，然后可加载到所有数据库以及表。创建一张测试表source1，并写入2行数据。 2. 配置... 1. 准备数据源要求与集群在相同网段的数据库已安装，记录节点地址以及用户名密码。本次测试数据库已准备，以Mysql为例。本地解压Navicat Premium 15.rar并启动navicat.exe，先新建数据库连接。若mysql中已存在数据库，则勾选自动打开然后在左侧连接上右键，打开连接，然后可加载到所有数据库以及表。创建一张测试表source1，并写入2行数据。 2. 配置...
- Apache Spark 自 2010 年面世，到现在已经发展为大数据批计算的首选引擎。而在 2020 年 6 月份发布的Spark 3.0 版本也是 Spark 有史以来最大的 Release，其中将近一半的 issue 都属于 SparkSQL。 Apache Spark 自 2010 年面世，到现在已经发展为大数据批计算的首选引擎。而在 2020 年 6 月份发布的Spark 3.0 版本也是 Spark 有史以来最大的 Release，其中将近一半的 issue 都属于 SparkSQL。
- Add Service集群部署选择全部clientNEXT安装完成 Summary 注意提示 Important: After closing this wizard, please restart all services that have the restart indicator next to the service name. 重要提示：关闭此向导后，请重新启动服务名称旁边有重... Add Service集群部署选择全部clientNEXT安装完成 Summary 注意提示 Important: After closing this wizard, please restart all services that have the restart indicator next to the service name. 重要提示：关闭此向导后，请重新启动服务名称旁边有重...
- 1、注意替换Spark jar包为高危操作！替换jar包有误可能导致Spark任务异常，非必要情况请勿随意替换。替换的jar包需要先修改属组为：omm:wheel 。 2、具体步骤 2、1替换服务端jar包使用PuTTY以root用户登录主管理节点，进入“/opt/FusionInsight_SetupTool/preinstall/tools/cluster”目录，执行vi cluste... 1、注意替换Spark jar包为高危操作！替换jar包有误可能导致Spark任务异常，非必要情况请勿随意替换。替换的jar包需要先修改属组为：omm:wheel 。 2、具体步骤 2、1替换服务端jar包使用PuTTY以root用户登录主管理节点，进入“/opt/FusionInsight_SetupTool/preinstall/tools/cluster”目录，执行vi cluste...
- dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x
- 一、何为数据倾斜 ? 二、数据倾斜发生时的现象 三、7个详细解决方案（附代码） 一、何为数据倾斜 ? 二、数据倾斜发生时的现象 三、7个详细解决方案（附代码）
- Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它是UC Berkeley AMP lab 所开源的类Hadoop MapReduce的通用并行框架，Spark与Hadoop MapReduce不同的是，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它是UC Berkeley AMP lab 所开源的类Hadoop MapReduce的通用并行框架，Spark与Hadoop MapReduce不同的是，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
- 机器学习是人工智能的核心，是使计算机具有智能的根本途径。它是当前计算机领域的研究热点。最近，我国提出新型基础设施建设（新基建）主要包括5G基站建设、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、人工智能、工业互联网七大领域，提供数字转型、智能升级、融合创新等服务的基础设施体系。 机器学习是人工智能的核心，是使计算机具有智能的根本途径。它是当前计算机领域的研究热点。最近，我国提出新型基础设施建设（新基建）主要包括5G基站建设、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、人工智能、工业互联网七大领域，提供数字转型、智能升级、融合创新等服务的基础设施体系。
- 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删... 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删...
上滑加载中
推荐直播
-
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签