- 越来越多的用户开始上云使用MRS，在上云过程中会有组件版本的一些差异。我们抽取了客户使用度较高的一个hive2.1.1版本和MRS1.9.3中的hive版本2.3.3，在这篇博客里面主要对这两个版本的区别做一些介绍。 越来越多的用户开始上云使用MRS，在上云过程中会有组件版本的一些差异。我们抽取了客户使用度较高的一个hive2.1.1版本和MRS1.9.3中的hive版本2.3.3，在这篇博客里面主要对这两个版本的区别做一些介绍。
- MRS集群 Ranger启动时默认配置的数据库为GaussDB，但有时候我们需要使用Mysql数据库，该如何切换呢？如果使用的是RDS的Mysql实例，可参考如下指导去配置https://support.huaweicloud.com/usermanual-mrs/mrs_01_0633.html。本文主要介绍切换MRS集群Ranger数据库为用户自己安装的Mysql的配置步骤。... MRS集群 Ranger启动时默认配置的数据库为GaussDB，但有时候我们需要使用Mysql数据库，该如何切换呢？如果使用的是RDS的Mysql实例，可参考如下指导去配置https://support.huaweicloud.com/usermanual-mrs/mrs_01_0633.html。本文主要介绍切换MRS集群Ranger数据库为用户自己安装的Mysql的配置步骤。...
- 继上篇在华为云编译和使用单点的ClickHouse，本篇博文会向大家分享MRS集群上配置部署ClickHouse服务，是ClickHouse集群：） 继上篇在华为云编译和使用单点的ClickHouse，本篇博文会向大家分享MRS集群上配置部署ClickHouse服务，是ClickHouse集群：）
- 1 前言大家好，今天继续向各位分享在华为云上编译和使用ClickHouse，这里会以单节点为例，后续会有系列博文介绍怎样部署集群和使用，欢迎持续关注^_^2 准备工作在开始本文之前，建议在华为云购买一台云服务器，同时考虑到后续的顺利操作，云服务器需要有一些要求：CPU架构：x86计算规格：c6.2xlarge.4，如果想编译快一点尽量提高CPU的核数镜像：公共镜像，CentOS CentOS... 1 前言大家好，今天继续向各位分享在华为云上编译和使用ClickHouse，这里会以单节点为例，后续会有系列博文介绍怎样部署集群和使用，欢迎持续关注^_^2 准备工作在开始本文之前，建议在华为云购买一台云服务器，同时考虑到后续的顺利操作，云服务器需要有一些要求：CPU架构：x86计算规格：c6.2xlarge.4，如果想编译快一点尽量提高CPU的核数镜像：公共镜像，CentOS CentOS...
- MRS集群支持开启Kerberos认证，使得数据和计算过程更加安全。Kerberos实际上是一种基于票据（Ticket）的认证方式。大数据开源组件封装了整个认证过程，开发者在开发过程中Get不到整个认证过程。本文将对Kerberos认证的过程进行讲述，希望对大家有所帮助。 MRS集群支持开启Kerberos认证，使得数据和计算过程更加安全。Kerberos实际上是一种基于票据（Ticket）的认证方式。大数据开源组件封装了整个认证过程，开发者在开发过程中Get不到整个认证过程。本文将对Kerberos认证的过程进行讲述，希望对大家有所帮助。
- 集群外druid对接MRS kerberos集群 集群外druid对接MRS kerberos集群
- 之前有在笔记本上安装hadoop，配置如下： 测试过同时运行6台虚拟机（2C4G）没有问题，但是如果运行pycharm，没过多久肯定会有一台虚拟机会挂掉。所以只能运行一个pycharm和5台虚拟机。 之前安装没有搭建k8s，只安装docker，为了便于管理docker，使用docker-compose，并在mas5虚拟机里使用docker-compose安装zabbix。doc... 之前有在笔记本上安装hadoop，配置如下： 测试过同时运行6台虚拟机（2C4G）没有问题，但是如果运行pycharm，没过多久肯定会有一台虚拟机会挂掉。所以只能运行一个pycharm和5台虚拟机。 之前安装没有搭建k8s，只安装docker，为了便于管理docker，使用docker-compose，并在mas5虚拟机里使用docker-compose安装zabbix。doc...
- 今天华为云服务器到期，已经做释放，原本想做文章推荐。但是因某种原因，目前暂时只做到离线文章画像。后期只能使用笔记本电脑来做。电脑配置cpu为4核8线程，内存32G，只能够开5台虚拟机和PyCharm。刚好能搭建一套高可用hadoop集群。虽然这次没完成，但还是使用很多软件，例如：1. 1.sible部署——2.docker——3. Keepalived——4. Proxy... 今天华为云服务器到期，已经做释放，原本想做文章推荐。但是因某种原因，目前暂时只做到离线文章画像。后期只能使用笔记本电脑来做。电脑配置cpu为4核8线程，内存32G，只能够开5台虚拟机和PyCharm。刚好能搭建一套高可用hadoop集群。虽然这次没完成，但还是使用很多软件，例如：1. 1.sible部署——2.docker——3. Keepalived——4. Proxy...
- 本文主要利用Flink的ProcessFunction api、状态编程,实现传感器温度持续上升时发出告警的功能 本文主要利用Flink的ProcessFunction api、状态编程,实现传感器温度持续上升时发出告警的功能
- 1. 采用的是Python黑马头条推荐系统项目这个案例，选择它是用python完成。相关视频可以哔哩哔哩上找到。新建文章数据库，存储文章数据、中间计算结果以及文章画像结果 2. 以为资源配置高，想把25个频道循环分频道做文章画像。因为pyspark下把变量传递到sql语句里，使用$是不行... 1. 采用的是Python黑马头条推荐系统项目这个案例，选择它是用python完成。相关视频可以哔哩哔哩上找到。新建文章数据库，存储文章数据、中间计算结果以及文章画像结果 2. 以为资源配置高，想把25个频道循环分频道做文章画像。因为pyspark下把变量传递到sql语句里，使用$是不行...
- 1. 测试supervisorctl能否正常运行collect_click.sh脚本1. 上传数据到/user/hive/warehouse//opt/modules/hadoop/bin/hdfs dfs -put /opt/datas/backup/toutiao.db /user/hive/warehouse//opt/modules/hadoop/bin/hd... 1. 测试supervisorctl能否正常运行collect_click.sh脚本1. 上传数据到/user/hive/warehouse//opt/modules/hadoop/bin/hdfs dfs -put /opt/datas/backup/toutiao.db /user/hive/warehouse//opt/modules/hadoop/bin/hd...
- 1. 用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。启动脚本：2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h... 1. 用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。启动脚本：2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h...
- 1.虽然提供的数据不需要使用sqoop来倒入到hive，但还是根据案例部署sqoop.启动sqoop出现上面情况，解决方法如下：方法一：方法二：https://wenda.chinahadoop.cn/question/2121 (本人没测试过)修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查$HCAT_HOME$ACCUMUL... 1.虽然提供的数据不需要使用sqoop来倒入到hive，但还是根据案例部署sqoop.启动sqoop出现上面情况，解决方法如下：方法一：方法二：https://wenda.chinahadoop.cn/question/2121 (本人没测试过)修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查$HCAT_HOME$ACCUMUL...
- 本文使用MapReduce生成HFile文件,再直接将HFile加载到HBase中 本文使用MapReduce生成HFile文件,再直接将HFile加载到HBase中
- 本文主要介绍了在MRS集群环境,如何使用flume客户端从日志主机收集日志保存至hdfs指定文件夹 本文主要介绍了在MRS集群环境,如何使用flume客户端从日志主机收集日志保存至hdfs指定文件夹
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用？本期直播将聚焦华为云设备接入平台，结合AI、鸿蒙（OpenHarmony）、大数据等技术，实现物联网端云协同创新场景，教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
即将直播 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
去报名
热门标签