- 一、前期准备工作1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可hadoop-2.10.1-src.tar.gzjdk-8u281-linux-x64.tar.gzapache-ant-1.10.9-bin.tar.gzapache-maven-3.6.3... 一、前期准备工作1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可hadoop-2.10.1-src.tar.gzjdk-8u281-linux-x64.tar.gzapache-ant-1.10.9-bin.tar.gzapache-maven-3.6.3...
- 一、什么是Hadoop 1、Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2、Hadoop发展历史：（1）Lucene框架是Doug Cutting开创的开源软件，用Jav a书写代码，实现与Google类似的全文搜索功能... 一、什么是Hadoop 1、Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2、Hadoop发展历史：（1）Lucene框架是Doug Cutting开创的开源软件，用Jav a书写代码，实现与Google类似的全文搜索功能...
- 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对... 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
- • 配置快速删除在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml添加下列属性：fs.obs.trash.enable为true；fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注：此目录可根据客户需求，命名。例如：<property> ... • 配置快速删除在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml添加下列属性：fs.obs.trash.enable为true；fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注：此目录可根据客户需求，命名。例如：<property> ...
- Hadoop 概述 Hadoop 概述
- HDFS Java 客户端 API HDFS Java 客户端 API
- linux系列第六课 linux系列第六课
- HDFS Shell 命令实操 HDFS Shell 命令实操
- HDFS Shell 命令简介及查询 HDFS Shell 命令简介及查询
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。管理员可以根据以下指导，在FusionInsight Manager修改参数以启用集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。管理员可以根据以下指导，在FusionInsight Manager修改参数以启用集群间拷贝功能
- 需要一种可以从关系数据库导入和导出数据的工具。这就是 Apache Sqoop 诞生的原因。Sqoop 可以轻松地与 Hadoop 集成并从 HDFS 上的关系数据库转储结构化数据，从而补充 Hadoop 的强大功能。 需要一种可以从关系数据库导入和导出数据的工具。这就是 Apache Sqoop 诞生的原因。Sqoop 可以轻松地与 Hadoop 集成并从 HDFS 上的关系数据库转储结构化数据，从而补充 Hadoop 的强大功能。
- 在服务客户端的读请求时，HDFS 选择离客户端最近的副本。这减少了读取延迟和带宽消耗。因此，如果可能，选择与读取器节点位于同一机架上的副本。 在服务客户端的读请求时，HDFS 选择离客户端最近的副本。这减少了读取延迟和带宽消耗。因此，如果可能，选择与读取器节点位于同一机架上的副本。
- 题目：MapReduce 黑名单过滤问题 问题描述：在HDFS中有两个名单：人员名单，人员黑名单。要求：对该人员名单进行过滤，除去黑名单中的人员，并且统计人员名单中人员出现的频次。将结果生成文件，保存在HDFS中。 题目：MapReduce 黑名单过滤问题 问题描述：在HDFS中有两个名单：人员名单，人员黑名单。要求：对该人员名单进行过滤，除去黑名单中的人员，并且统计人员名单中人员出现的频次。将结果生成文件，保存在HDFS中。
- 概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据（DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn）及业务数据（HBase、HDFS、Elasticsearch、Hive、Redis）。备份功能支持将数据备份至本地磁盘（Lo... 概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据（DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn）及业务数据（HBase、HDFS、Elasticsearch、Hive、Redis）。备份功能支持将数据备份至本地磁盘（Lo...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签