- Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。服务器资源目录ip地址节点组件192.168.186.... Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。服务器资源目录ip地址节点组件192.168.186....
- 一、前期准备工作1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可hadoop-2.10.1-src.tar.gzjdk-8u281-linux-x64.tar.gzapache-ant-1.10.9-bin.tar.gzapache-maven-3.6.3... 一、前期准备工作1、准备一台CentOS虚拟机，虚拟机需要能够联网，采用root角色编译2、准备以下安装包（hadoop源码、JDK8、maven、ant、protobuf），分别从各自的官网下载即可hadoop-2.10.1-src.tar.gzjdk-8u281-linux-x64.tar.gzapache-ant-1.10.9-bin.tar.gzapache-maven-3.6.3...
- 一、什么是Hadoop 1、Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2、Hadoop发展历史：（1）Lucene框架是Doug Cutting开创的开源软件，用Jav a书写代码，实现与Google类似的全文搜索功能... 一、什么是Hadoop 1、Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈 2、Hadoop发展历史：（1）Lucene框架是Doug Cutting开创的开源软件，用Jav a书写代码，实现与Google类似的全文搜索功能...
- 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对... 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
- • 配置快速删除在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml添加下列属性：fs.obs.trash.enable为true；fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注：此目录可根据客户需求，命名。例如：<property> ... • 配置快速删除在Spark客户端的core-site.xml 配置文件中/opt/Bigdata/client/Spark2x/spark/conf/core-site.xml添加下列属性：fs.obs.trash.enable为true；fs.obs.trash.dir 为”.obs-Posix-FastDelete/”。注：此目录可根据客户需求，命名。例如：<property> ...
- Hadoop 概述 Hadoop 概述
- HDFS Java 客户端 API HDFS Java 客户端 API
- linux系列第六课 linux系列第六课
- HDFS Shell 命令实操 HDFS Shell 命令实操
- HDFS Shell 命令简介及查询 HDFS Shell 命令简介及查询
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。管理员可以根据以下指导，在FusionInsight Manager修改参数以启用集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。管理员可以根据以下指导，在FusionInsight Manager修改参数以启用集群间拷贝功能
- 需要一种可以从关系数据库导入和导出数据的工具。这就是 Apache Sqoop 诞生的原因。Sqoop 可以轻松地与 Hadoop 集成并从 HDFS 上的关系数据库转储结构化数据，从而补充 Hadoop 的强大功能。 需要一种可以从关系数据库导入和导出数据的工具。这就是 Apache Sqoop 诞生的原因。Sqoop 可以轻松地与 Hadoop 集成并从 HDFS 上的关系数据库转储结构化数据，从而补充 Hadoop 的强大功能。
- 在服务客户端的读请求时，HDFS 选择离客户端最近的副本。这减少了读取延迟和带宽消耗。因此，如果可能，选择与读取器节点位于同一机架上的副本。 在服务客户端的读请求时，HDFS 选择离客户端最近的副本。这减少了读取延迟和带宽消耗。因此，如果可能，选择与读取器节点位于同一机架上的副本。
- 题目：MapReduce 黑名单过滤问题 问题描述：在HDFS中有两个名单：人员名单，人员黑名单。要求：对该人员名单进行过滤，除去黑名单中的人员，并且统计人员名单中人员出现的频次。将结果生成文件，保存在HDFS中。 题目：MapReduce 黑名单过滤问题 问题描述：在HDFS中有两个名单：人员名单，人员黑名单。要求：对该人员名单进行过滤，除去黑名单中的人员，并且统计人员名单中人员出现的频次。将结果生成文件，保存在HDFS中。
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签