- 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用 mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用 mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。
- 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务，搭建开源Hadoop集群。在实验中，购买并配置了ECS服务作为Hadoop集群的主机，然后购买了OBS服务并获取了AK、SK信息，用于连接集群和OBS服务。本次实验搭建了Hadoop集群，并配置了HDFS分布式文件系统。通过本实验，深入了解了Hadoop集群的搭建方法，以及如何将其与华为云服务互联。 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务，搭建开源Hadoop集群。在实验中，购买并配置了ECS服务作为Hadoop集群的主机，然后购买了OBS服务并获取了AK、SK信息，用于连接集群和OBS服务。本次实验搭建了Hadoop集群，并配置了HDFS分布式文件系统。通过本实验，深入了解了Hadoop集群的搭建方法，以及如何将其与华为云服务互联。
- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 Python 中的 GIL（全局解释器锁） 简介在Python中，GIL是一个广为人知的概念，它影响了Python解释器的多线程执行。GIL（Global Interpreter Lock）是一种机制，... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 Python 中的 GIL（全局解释器锁） 简介在Python中，GIL是一个广为人知的概念，它影响了Python解释器的多线程执行。GIL（Global Interpreter Lock）是一种机制，...
- Hive工作流程适用场景Hive适用于非结构化数据的离线分析统计。Hive的执行延迟比较高，适用于对实时性要求不高的场合。Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。Hive常用的存储格式：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE默认存储格式为TEXTFILE，按行存储，内容为普通的文本格式。TEXTFILE支持使用Gzip压缩，但... Hive工作流程适用场景Hive适用于非结构化数据的离线分析统计。Hive的执行延迟比较高，适用于对实时性要求不高的场合。Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。Hive常用的存储格式：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE默认存储格式为TEXTFILE，按行存储，内容为普通的文本格式。TEXTFILE支持使用Gzip压缩，但...
- 【Hadoop】【Yarn】NodeManager资源本地化实现 【Hadoop】【Yarn】NodeManager资源本地化实现
- 【Hadoop】【Yarn】NodeManager之Container是如何启动的 【Hadoop】【Yarn】NodeManager之Container是如何启动的
- 【Hadoop】【JHS】2-JHS服务之JobHistory源码解析 【Hadoop】【JHS】2-JHS服务之JobHistory源码解析
- 【Hadoop】【ResourceManager】中的作业Token刷新源码分析 【Hadoop】【ResourceManager】中的作业Token刷新源码分析
- Hadoop集群搭建配置教程 Hadoop集群搭建配置教程
- HDFS之Java客户端操作 HDFS之Java客户端操作
- HDFS常见的Shell操作 HDFS常见的Shell操作
- Azkaban初认识 Azkaban初认识
- Sqoop的简单使用案例之数据导出 Sqoop的简单使用案例之数据导出
- Sqoop的简单使用案例之数据导入 Sqoop的简单使用案例之数据导入
- Sqoop初认识及安装 Sqoop初认识及安装
上滑加载中
推荐直播
0.25
-
华为云Metastudio×DeepSeek与RAG检索优化分享2025/03/14 周五 16:00-17:30
大海 华为云学堂技术讲师 Cocl 华为云学堂技术讲师
本次直播将带来DeepSeek数字人解决方案，以及如何使用Embedding与Rerank实现检索优化实践，为开发者与企业提供参考，助力场景落地。
回顾中 -
-
华为开发者空间玩转DeepSeek2025/03/13 周四 19:00-20:30
马欣 山东商业职业技术学院云计算专业讲师，山东大学、山东建筑大学等多所本科学校学生校外指导老师
同学们，想知道如何利用华为开发者空间部署自己的DeepSeek模型吗？想了解如何用DeepSeek在云主机上探索好玩的应用吗？想探讨如何利用DeepSeek在自己的专有云主机上辅助编程吗？让我们来一场云和AI的盛宴。
回顾中 -
华为云Metastudio×DeepSeek与RAG检索优化分享
2025/03/14 周五 16:00-17:30
大海 华为云学堂技术讲师 Cocl 华为云学堂技术讲师
本次直播将带来DeepSeek数字人解决方案，以及如何使用Embedding与Rerank实现检索优化实践，为开发者与企业提供参考，助力场景落地。
回顾中 -
热门标签
