- 操作场景: Flume消费kafka数据存储到HBase中。前提条件: 已创建混合集群或者流式和分析集群(集群间网络互通,如果开启kerberos,则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html)。操作步骤: 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景: Flume消费kafka数据存储到HBase中。前提条件: 已创建混合集群或者流式和分析集群(集群间网络互通,如果开启kerberos,则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html)。操作步骤: 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
- 本文将介绍如何通过在Linux的机器上,执行kettle脚本,在MRS集群中,运行Spark程序。 本文将介绍如何通过在Linux的机器上,执行kettle脚本,在MRS集群中,运行Spark程序。
- 如果我们安装了python3.7版本来运行spark,并且用到了RDD的take函数,就会报错:RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。 如果我们安装了python3.7版本来运行spark,并且用到了RDD的take函数,就会报错:RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。
- 如果能配合jupyter notebook使用pyspark,无论是机器学习,数据探索,还是ETL应用的开发,开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。 如果能配合jupyter notebook使用pyspark,无论是机器学习,数据探索,还是ETL应用的开发,开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。
- 使用python3运行pyspark,需要做两步:1. 在mrs集群的所有core节点,以及提交任务的节点(通常为mrs的master节点),均安装python3;2. 指定pyspark使用的python路径。 使用python3运行pyspark,需要做两步:1. 在mrs集群的所有core节点,以及提交任务的节点(通常为mrs的master节点),均安装python3;2. 指定pyspark使用的python路径。
- MRS服务的ECS对用户开放,但是都是内网地址,用户访问十分困难,给调试带来很多不便,故该本文提供在ECS上搭建vpn服务,通过本地连接vpn,进而可以利用一个弹性ip即可访问整个MRS服务内的所有节点,为用户开发者在MRS服务进行业务开发提供访问便利。本文提供两种方法搭建vpn,开源代码见附件,也可自行在github下载。 MRS服务的ECS对用户开放,但是都是内网地址,用户访问十分困难,给调试带来很多不便,故该本文提供在ECS上搭建vpn服务,通过本地连接vpn,进而可以利用一个弹性ip即可访问整个MRS服务内的所有节点,为用户开发者在MRS服务进行业务开发提供访问便利。本文提供两种方法搭建vpn,开源代码见附件,也可自行在github下载。
推荐直播
-
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中 -
华为云码道全新升级,多会话并行与多智能体协作2026/05/08 周五 19:00-21:00
王一男-华为云码道产品专家;张嘉冉-华为云码道工程师;胡琦-华为云HCDE;程诗杰-华为云HCDG
华为云码道4月份版本全新升级,此次直播深度解读4月份产品特性,通过“特性解读+实操演示+实战案例+设计创新”的组合,全方位展现码道在多会话并行与多智能体协作方面的能力,赋能开发者提升效率
正在直播
热门标签