- 本文介绍部署HDFS相关原理和实验步骤。理解HDFS体系架构和master/slave架构,学会逐一启动HDFS和统一启动HDFS,并完成在HDFS中新建目录和上传文件。 本文介绍部署HDFS相关原理和实验步骤。理解HDFS体系架构和master/slave架构,学会逐一启动HDFS和统一启动HDFS,并完成在HDFS中新建目录和上传文件。
- 在生产中,如果登录yarn页面,查看application任务日志,发现日志查看不了,该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志,发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576,所以yarn日志聚合不了,导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上,因此,随着时... 在生产中,如果登录yarn页面,查看application任务日志,发现日志查看不了,该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志,发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576,所以yarn日志聚合不了,导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上,因此,随着时...
- 本文介绍HDFS读写文件的相关原理和实验步骤。搭建HDFS开发环境,分别在master服务器上和Eclipse环境中编写了HDFS写、读代码,在master机上执行了该写、读程序。通过实验了解HDFS读写文件的调用流程,理解HDFS读写文件的原理。 本文介绍HDFS读写文件的相关原理和实验步骤。搭建HDFS开发环境,分别在master服务器上和Eclipse环境中编写了HDFS写、读代码,在master机上执行了该写、读程序。通过实验了解HDFS读写文件的调用流程,理解HDFS读写文件的原理。
上滑加载中
推荐直播
-
全面解析华为云EI-API服务:理论基础与实践应用指南
2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能,应用场景,实践案例,调用流程”四个维度来深入解析“语音交互API,文字识别API,自然语言处理API,图像识别API及图像搜索API”五大场景下API服务,同时结合实验,来加深开发者对API服务理解。
去报名 -
企业员工、应届毕业生、在读研究生共探项目实践
2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧,在线分享如何入门,以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析:理论基础与实践应用指南
2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型,管理全周期AI工作流呢?本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍,同时结合基于ModelArts 的实践性实验,帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签