- 大数据并不是一个单一的概念，其内涵较为丰富，在实际的应用过程中也需要很多编程知识的支撑。具体要掌握哪些技能呢？1、Java大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术... 大数据并不是一个单一的概念，其内涵较为丰富，在实际的应用过程中也需要很多编程知识的支撑。具体要掌握哪些技能呢？1、Java大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术...
- 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。
- Windows10下对Hadoop3.3.0源码进行编译 Windows10下对Hadoop3.3.0源码进行编译
- 如何在windows7系统上面运行Hadoop 如何在windows7系统上面运行Hadoop
- 本章讲解了Hadoop WritableUtils的主要代码实现 本章讲解了Hadoop WritableUtils的主要代码实现
- hive testbench 运行时遇到failed with status code 139. hive testbench 运行时遇到failed with status code 139.
- 部署时启动失败，提示：Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1解决办法：1、首先查看datanode的分区是否存在，是否能够正常读写，df -h，在数据分区下touch一个文件试试，发现也是正常的2、查看日志发现是数据分区没有权限，最后发现是文件夹d... 部署时启动失败，提示：Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1解决办法：1、首先查看datanode的分区是否存在，是否能够正常读写，df -h，在数据分区下touch一个文件试试，发现也是正常的2、查看日志发现是数据分区没有权限，最后发现是文件夹d...
- 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码
- GaussDB对接HDFS Login failed on cn_XXXX, check your principal and keytab问题，HD集群hive可以正常查询外表，gaussDB不可以正常查询表问题。 GaussDB对接HDFS Login failed on cn_XXXX, check your principal and keytab问题，HD集群hive可以正常查询外表，gaussDB不可以正常查询表问题。
- 福哥答案2020-09-02：[答案来自此链接](https://www.kaops.com/ivquest/104670)下图显示了Sqoop的工作流程：Sqoop导入导入工具将单个表从RDBMS导入到HDFS。 表中的每一行都被视为HDFS中的一条记录。 所有记录都作为文本数据存储在文本文件中，或者作为二进制数据存储在Avro和Sequence文件中。Sqoop导出导出工具将一组文件从H... 福哥答案2020-09-02：[答案来自此链接](https://www.kaops.com/ivquest/104670)下图显示了Sqoop的工作流程：Sqoop导入导入工具将单个表从RDBMS导入到HDFS。 表中的每一行都被视为HDFS中的一条记录。 所有记录都作为文本数据存储在文本文件中，或者作为二进制数据存储在Avro和Sequence文件中。Sqoop导出导出工具将一组文件从H...
- 概览：The Hadoop File System简称HDFS，是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统，并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上，并且会在这些机器上进... 概览：The Hadoop File System简称HDFS，是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统，并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上，并且会在这些机器上进...
- Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca... Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca...
- Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq... Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq...
- 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ... 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ...
- 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式... 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式...
上滑加载中
推荐直播
-
基于OpenHarmony的计算机学科人才培养经验分享2024/11/28 周四 19:00-21:00
华为开发者布道师、兰州大学信息科学与工程学院教授周睿
老师们、同学们，这里有不容错过的精彩！ 想了解计算机类人才培养存在哪些挑战？想知道OpenHarmony如何应用于人才培养？本次直播，为你分享基于它的科创实践、专业社团实践和教学实践途径，培养学术型、应用型和复合型精英人才。快来报名，开启提升之旅！
回顾中 -
全面解析华为云EI-API服务：理论基础与实践应用指南2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能，应用场景，实践案例，调用流程”四个维度来深入解析“语音交互API，文字识别API，自然语言处理API，图像识别API及图像搜索API”五大场景下API服务，同时结合实验，来加深开发者对API服务理解。
去报名 -
华为ICT大赛2024-2025 编程赛-鸿蒙技术赋能2024/12/01 周日 14:00-18:00
赵小刚 武汉大学计算机学院软件工程系 副教授
本期直播将与您一起交流学习OpenHarmony 物联网应用开发，助力您在华为ICT大赛2024-2025编程赛中取得好成绩。
即将直播
热门标签