- 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- 本章讲解了Hadoop WritableUtils的主要代码实现 本章讲解了Hadoop WritableUtils的主要代码实现
- hive testbench 运行时遇到failed with status code 139. hive testbench 运行时遇到failed with status code 139.
- CarbonData中的物化视图的简单介绍及使用方法 CarbonData中的物化视图的简单介绍及使用方法
- 本文主要是通过Spark代码走读来了解spark-submit的流程 本文主要是通过Spark代码走读来了解spark-submit的流程
- 背景经过前面Hive的配置，基本的功能已经准备好。可以通过hive命令直接进入交互式命令行，进行Hive SQL语句的编写、提交、运行等。但还不支持通过JDBC链接。也就无法使用Datagrip一类的SQL IDE。在一些场景下会有开发效率上的影响。为此继续在Windows下配置运行HiveServer2。版本OS：Windows 10 Pro 1903Java：1.8.0_231zooke... 背景经过前面Hive的配置，基本的功能已经准备好。可以通过hive命令直接进入交互式命令行，进行Hive SQL语句的编写、提交、运行等。但还不支持通过JDBC链接。也就无法使用Datagrip一类的SQL IDE。在一些场景下会有开发效率上的影响。为此继续在Windows下配置运行HiveServer2。版本OS：Windows 10 Pro 1903Java：1.8.0_231zooke...
- Spark on RDMA指在Spark计算的shuffle过程中采用RDMA的技术来加快shuffle数据的传输以加快数据处理的计算性能。而目前常用的RDMA设备由IB及Mellanox，本文中采用的为Mellanox的网卡及SparkRDMA套件。1.SparkRDMA及Hibench套件的下载SparkRDMA的下载地址为 https://github.com/Mellanox/Spa... Spark on RDMA指在Spark计算的shuffle过程中采用RDMA的技术来加快shuffle数据的传输以加快数据处理的计算性能。而目前常用的RDMA设备由IB及Mellanox，本文中采用的为Mellanox的网卡及SparkRDMA套件。1.SparkRDMA及Hibench套件的下载SparkRDMA的下载地址为 https://github.com/Mellanox/Spa...
- 背景 相关篇：Windows10配置运行Hadoop（非WSL模式）Hive的运行依赖HDFS，需要先准备好Hadoop部分的配置。 版本 OS：Windows 10 Pro 1903Java：1.8.0_231Hive：Hive-3.1.0.tar.gz（Apache官方源下载 https://archive.apache.org/dist/hive/hive-3.1.0/ ）derby：... 背景 相关篇：Windows10配置运行Hadoop（非WSL模式）Hive的运行依赖HDFS，需要先准备好Hadoop部分的配置。 版本 OS：Windows 10 Pro 1903Java：1.8.0_231Hive：Hive-3.1.0.tar.gz（Apache官方源下载 https://archive.apache.org/dist/hive/hive-3.1.0/ ）derby：...
- 环境准备hadoop-2.x及以上，具体请参考博客hive-2.3.3安装包mysql-5.7.24，下载路径：mysql-5.7.24-linux-glibc2.12-x86_64mysql数据库安装和后台启动tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.24-linux-glibc2.12-x86_64 ... 环境准备hadoop-2.x及以上，具体请参考博客hive-2.3.3安装包mysql-5.7.24，下载路径：mysql-5.7.24-linux-glibc2.12-x86_64mysql数据库安装和后台启动tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.24-linux-glibc2.12-x86_64 ...
- 本文介绍了一种HBase迁移的方法，可以在一些特定场景下运用 本文介绍了一种HBase迁移的方法，可以在一些特定场景下运用
- 分享一个HBase集群恢复的方法 分享一个HBase集群恢复的方法
- Flink初学：读写HBase Flink初学：读写HBase
- 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码
- 简单介绍如何搭建Zookeeper,HBase,Phoenix单机开发环境，进行简单的功能测试 简单介绍如何搭建Zookeeper,HBase,Phoenix单机开发环境，进行简单的功能测试
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签