- 在华为云新的试用活动，零元购买鲲鹏版MRS一个月试用。去年也优惠购买过X86版的MRS，不过那时候不知道如何使用，误删除了某些软件，导致MRS无法使用。现在可以直接在MRS界面右上角找到使用指南。 通过使用source /opt/client/bigdata_env进入大数据shell客户端环境。hdfs shell客户端建立目录，上传文件，查看文件内容等操作熟悉hdfs命令。... 在华为云新的试用活动，零元购买鲲鹏版MRS一个月试用。去年也优惠购买过X86版的MRS，不过那时候不知道如何使用，误删除了某些软件，导致MRS无法使用。现在可以直接在MRS界面右上角找到使用指南。 通过使用source /opt/client/bigdata_env进入大数据shell客户端环境。hdfs shell客户端建立目录，上传文件，查看文件内容等操作熟悉hdfs命令。...
- Hadoop如何调整某一个类的日志级别 Hadoop如何调整某一个类的日志级别
- 介绍了 SecondaryNameNode 的工作流程( fsimage 与 edits 文件的合并)，以及 检查点 的相关知识，方便了解 NameNode 与 SecondaryNameNode 之间的关系。 介绍了 SecondaryNameNode 的工作流程( fsimage 与 edits 文件的合并)，以及 检查点 的相关知识，方便了解 NameNode 与 SecondaryNameNode 之间的关系。
- 介绍hadoop 环境中dns 解析过程， linux dns 解析原理，提供最佳实践。 介绍hadoop 环境中dns 解析过程， linux dns 解析原理，提供最佳实践。
- 1、简介Hadoop作为一个较通用的海量数椐处理平台，在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性.所有的压缩算法都会考虑时间和空间的权衡，更快的压缩和解压缩速度通常会耗费更多的交间（压缩比较低）例如：通过gzip命令压缩数据时，用户可以设置不同的选项来选择速度优先或空间优先.选项-1表示优先考虑速度，选项-9表示空间最优，可以获得最大的压缩比。需要注意的是：有些压缩算法的压缩... 1、简介Hadoop作为一个较通用的海量数椐处理平台，在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性.所有的压缩算法都会考虑时间和空间的权衡，更快的压缩和解压缩速度通常会耗费更多的交间（压缩比较低）例如：通过gzip命令压缩数据时，用户可以设置不同的选项来选择速度优先或空间优先.选项-1表示优先考虑速度，选项-9表示空间最优，可以获得最大的压缩比。需要注意的是：有些压缩算法的压缩...
- 接着hdfs源码解析之客户端写数据（一）继续。fs.write(a.getBytes());上面write方法郑振调用的是FSOutputSummer.write，FSOutputSummer维护了一个本地缓冲区buf，大小初始为9*chunkSize，append文件时初始化方法不同。循环写buf.length字节数据，buf满了就开始调用writeChecksumChunks写packe... 接着hdfs源码解析之客户端写数据（一）继续。fs.write(a.getBytes());上面write方法郑振调用的是FSOutputSummer.write，FSOutputSummer维护了一个本地缓冲区buf，大小初始为9*chunkSize，append文件时初始化方法不同。循环写buf.length字节数据，buf满了就开始调用writeChecksumChunks写packe...
- 大数据并不是一个单一的概念，其内涵较为丰富，在实际的应用过程中也需要很多编程知识的支撑。具体要掌握哪些技能呢？1、Java大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术... 大数据并不是一个单一的概念，其内涵较为丰富，在实际的应用过程中也需要很多编程知识的支撑。具体要掌握哪些技能呢？1、Java大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术...
- 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。
- Windows10下对Hadoop3.3.0源码进行编译 Windows10下对Hadoop3.3.0源码进行编译
- 如何在windows7系统上面运行Hadoop 如何在windows7系统上面运行Hadoop
- 本章讲解了Hadoop WritableUtils的主要代码实现 本章讲解了Hadoop WritableUtils的主要代码实现
- hive testbench 运行时遇到failed with status code 139. hive testbench 运行时遇到failed with status code 139.
- 部署时启动失败，提示：Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1解决办法：1、首先查看datanode的分区是否存在，是否能够正常读写，df -h，在数据分区下touch一个文件试试，发现也是正常的2、查看日志发现是数据分区没有权限，最后发现是文件夹d... 部署时启动失败，提示：Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1解决办法：1、首先查看datanode的分区是否存在，是否能够正常读写，df -h，在数据分区下touch一个文件试试，发现也是正常的2、查看日志发现是数据分区没有权限，最后发现是文件夹d...
- 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码
- GaussDB对接HDFS Login failed on cn_XXXX, check your principal and keytab问题，HD集群hive可以正常查询外表，gaussDB不可以正常查询表问题。 GaussDB对接HDFS Login failed on cn_XXXX, check your principal and keytab问题，HD集群hive可以正常查询外表，gaussDB不可以正常查询表问题。
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签