- 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr... 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr...
- Hive命令使用记录 Hive命令使用记录
- 关于Hadoop集群物理及虚拟内存的检测的设置说明 关于Hadoop集群物理及虚拟内存的检测的设置说明
- Hive on Tez 的安装配置 Hive on Tez 的安装配置
- MapReduce报错：「MKDirs failed to create file」 MapReduce报错：「MKDirs failed to create file」
- MapReduce关于类型转换报错记录 MapReduce关于类型转换报错记录
- 执行MapReduce报错：无法分配内存 (errno=12) 执行MapReduce报错：无法分配内存 (errno=12)
- 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ... 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ...
- 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应... 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应...
- 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P... 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P...
- 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav... 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作
- 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中 -
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中
热门标签