- 添加kafka service选择kafka Next部署kafka HA 选择 ambari-01 ambari-02 ambari-03ambari-01:2181 next这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续Review安装的组件 DEPLOYSUCCESS Next 成功后NextSummary 注意提示 Important... 添加kafka service选择kafka Next部署kafka HA 选择 ambari-01 ambari-02 ambari-03ambari-01:2181 next这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续Review安装的组件 DEPLOYSUCCESS Next 成功后NextSummary 注意提示 Important...
- 创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理：# 在MySQL 所在服务器 ambari-01mysql -uroot -pPWD@123456# 执行如下指令set global validate_password_policy=0;set g... 创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理：# 在MySQL 所在服务器 ambari-01mysql -uroot -pPWD@123456# 执行如下指令set global validate_password_policy=0;set g...
- ambari 安装 HBase HA选择HBase 点击Next部署HA HBase 选择多节点 点击Next选择默认配置Review 没有问题的话点击 DEPLOYSummary 注意提示 Important: After closing this wizard, please restart all services that have the restart indicator ... ambari 安装 HBase HA选择HBase 点击Next部署HA HBase 选择多节点 点击Next选择默认配置Review 没有问题的话点击 DEPLOYSummary 注意提示 Important: After closing this wizard, please restart all services that have the restart indicator ...
- 这个比较靠谱，下面操作的是单机https://blog.csdn.net/high2011/article/details/90272331从github上clone ambari-flink-service到对应目录sudo git clone https://github.com/abajwa-hw/ambari-flink-service.git /var/lib/ambari-s... 这个比较靠谱，下面操作的是单机https://blog.csdn.net/high2011/article/details/90272331从github上clone ambari-flink-service到对应目录sudo git clone https://github.com/abajwa-hw/ambari-flink-service.git /var/lib/ambari-s...
- 选择Atlas服务选择Atlas选择多节点部署HA集群分配从站和客户端，选择客户端全节点安装 NextADVANCED Advaced atlas-env 设置管理员密码为admin123，管理员用户默认为admin：这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续 Atlas is configured to use the HBase in... 选择Atlas服务选择Atlas选择多节点部署HA集群分配从站和客户端，选择客户端全节点安装 NextADVANCED Advaced atlas-env 设置管理员密码为admin123，管理员用户默认为admin：这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续 Atlas is configured to use the HBase in...
- Atlas集成外部组件安装好Atlas只是第一步，接下来我们得采集相关大数据组件的元数据，所以得跟大数据组组件做集成。如果是手工安装的Apache版本的Atlas，我们还需要单独做Atlas跟其他组件的集成配置才能管理他们的元数据，比如HBase、Hive、Storm、kafka等。我们所要做的就是采集元数据和使用即可。1、集成Hive没有任何表，第一次你会没有看见database，后续操作... Atlas集成外部组件安装好Atlas只是第一步，接下来我们得采集相关大数据组件的元数据，所以得跟大数据组组件做集成。如果是手工安装的Apache版本的Atlas，我们还需要单独做Atlas跟其他组件的集成配置才能管理他们的元数据，比如HBase、Hive、Storm、kafka等。我们所要做的就是采集元数据和使用即可。1、集成Hive没有任何表，第一次你会没有看见database，后续操作...
- 1、DS源码编译1.1 版本规划DS在成为Apache孵化项⽬之后的最新稳定版是1.3.4，并提供了Flink的⽀持，我们就使⽤1.3.4即可https://github.com/apache/incubator-dolphinscheduler/releases1.2 克隆代码git clone https://github.com/apache/incubator-dolphinsche... 1、DS源码编译1.1 版本规划DS在成为Apache孵化项⽬之后的最新稳定版是1.3.4，并提供了Flink的⽀持，我们就使⽤1.3.4即可https://github.com/apache/incubator-dolphinscheduler/releases1.2 克隆代码git clone https://github.com/apache/incubator-dolphinsche...
- eureka访问地址http://ambari-03:20303/1、 安装java# 上传jdk8稳定版压缩包到服务器目录&解压sudo tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/# 链接jdk - jdk1.8.0_231sudo ln -s /usr/local/jdk1.8.0_231/ /usr/local/jdk# 移除... eureka访问地址http://ambari-03:20303/1、 安装java# 上传jdk8稳定版压缩包到服务器目录&解压sudo tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/# 链接jdk - jdk1.8.0_231sudo ln -s /usr/local/jdk1.8.0_231/ /usr/local/jdk# 移除...
- 安装完毕linkis后1、部署Scriptshttps://github.com/WeBankFinTech/Scriptis/blob/master/docs/zh_CN/README.md Scripts本质上是Linkis的前端程序，Scripts通过restapi跟Linkis交互，因此我们部署Scripts到nginx即 可。1.1 下载安装包https://github.com/... 安装完毕linkis后1、部署Scriptshttps://github.com/WeBankFinTech/Scriptis/blob/master/docs/zh_CN/README.md Scripts本质上是Linkis的前端程序，Scripts通过restapi跟Linkis交互，因此我们部署Scripts到nginx即 可。1.1 下载安装包https://github.com/...
- 一、前期准备工作1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可hadoop-2.10.1-src.tar.gzjdk-8u281-linux-x64.tar.gzapache-ant-1.10.9-bin.tar.gzapache-maven-3.6.3... 一、前期准备工作1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可hadoop-2.10.1-src.tar.gzjdk-8u281-linux-x64.tar.gzapache-ant-1.10.9-bin.tar.gzapache-maven-3.6.3...
- 一、什么是Hadoop 1、Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2、Hadoop发展历史：（1）Lucene框架是Doug Cutting开创的开源软件，用Jav a书写代码，实现与Google类似的全文搜索功能... 一、什么是Hadoop 1、Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2、Hadoop发展历史：（1）Lucene框架是Doug Cutting开创的开源软件，用Jav a书写代码，实现与Google类似的全文搜索功能...
- 一、大数据概念大数据：指无法在一定时间范围内用常用软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB1Byte = 8bit 1KB = 1024Byte1MB = 1024KB1GB = 1024MB以此类推... 一、大数据概念大数据：指无法在一定时间范围内用常用软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB1Byte = 8bit 1KB = 1024Byte1MB = 1024KB1GB = 1024MB以此类推...
- 随着数字划时代的到来，社会生产生活产生大量的数据，数据量越来越大，种类越来越多、企业迫切对大量数据的背后价值进行挖掘、华为云大数据服务帮助企业构筑从数据接入、存储、计算和分析的全生命周期大数据解决方案，帮助企业客户进一步挖掘数据价值，快速完成数字化转型，激发制造企业的创新活力、发展潜力和转型动力。 随着数字划时代的到来，社会生产生活产生大量的数据，数据量越来越大，种类越来越多、企业迫切对大量数据的背后价值进行挖掘、华为云大数据服务帮助企业构筑从数据接入、存储、计算和分析的全生命周期大数据解决方案，帮助企业客户进一步挖掘数据价值，快速完成数字化转型，激发制造企业的创新活力、发展潜力和转型动力。
- 随着时代发展，数据变得更加开放、共享，客户的业务也面临着多元化处理，原有的集群亟待扩容，另外，推到原有小规模集群的烟囱建设，打造一体化数据湖的诉求也越来越迫切。在这一背景下，原本上千规模的集群已经远远无法满足客户的业务诉求，于是，迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试，也成为我们研发团队需要考虑的问题。 ... 随着时代发展，数据变得更加开放、共享，客户的业务也面临着多元化处理，原有的集群亟待扩容，另外，推到原有小规模集群的烟囱建设，打造一体化数据湖的诉求也越来越迫切。在这一背景下，原本上千规模的集群已经远远无法满足客户的业务诉求，于是，迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试，也成为我们研发团队需要考虑的问题。 ...
- 写给1024，写给物联网大数据的我和你们 作为一个大数据中心 ，每分 每秒 收到 来自不同 数据库 接口的 数不清的 数据急需一个 软件 来 替代人工 进行 自动化 完成上面操作 写入 数据库 ，后面由前端 UI展示出来 的步骤暂不用我参与。 最终选择了一款 开源 ，稳定的 数据 集成 工具下面分享下我下载 这个 软件 的一些过程，也帮助 更多的人 排坑带来点思路第一步，肯定是找... 写给1024，写给物联网大数据的我和你们 作为一个大数据中心 ，每分 每秒 收到 来自不同 数据库 接口的 数不清的 数据急需一个 软件 来 替代人工 进行 自动化 完成上面操作 写入 数据库 ，后面由前端 UI展示出来 的步骤暂不用我参与。 最终选择了一款 开源 ，稳定的 数据 集成 工具下面分享下我下载 这个 软件 的一些过程，也帮助 更多的人 排坑带来点思路第一步，肯定是找...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签