- 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
- 本文将介绍如何通过在Linux的机器上，执行kettle脚本，在MRS集群中，运行Spark程序。 本文将介绍如何通过在Linux的机器上，执行kettle脚本，在MRS集群中，运行Spark程序。
- 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。
- 如果能配合jupyter notebook使用pyspark，无论是机器学习，数据探索，还是ETL应用的开发，开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。 如果能配合jupyter notebook使用pyspark，无论是机器学习，数据探索，还是ETL应用的开发，开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。
- 使用python3运行pyspark，需要做两步：1. 在mrs集群的所有core节点，以及提交任务的节点（通常为mrs的master节点），均安装python3；2. 指定pyspark使用的python路径。 使用python3运行pyspark，需要做两步：1. 在mrs集群的所有core节点，以及提交任务的节点（通常为mrs的master节点），均安装python3；2. 指定pyspark使用的python路径。
- MRS服务的ECS对用户开放，但是都是内网地址，用户访问十分困难，给调试带来很多不便，故该本文提供在ECS上搭建vpn服务，通过本地连接vpn，进而可以利用一个弹性ip即可访问整个MRS服务内的所有节点，为用户开发者在MRS服务进行业务开发提供访问便利。本文提供两种方法搭建vpn，开源代码见附件，也可自行在github下载。 MRS服务的ECS对用户开放，但是都是内网地址，用户访问十分困难，给调试带来很多不便，故该本文提供在ECS上搭建vpn服务，通过本地连接vpn，进而可以利用一个弹性ip即可访问整个MRS服务内的所有节点，为用户开发者在MRS服务进行业务开发提供访问便利。本文提供两种方法搭建vpn，开源代码见附件，也可自行在github下载。
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
回顾中
热门标签