- 成功解决'pip' 不是内部或外部命令，也不是可运行的程序 或批处理文件 目录 解决问题 解决方法 1、图文教程 解决问题 'pip' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 解决方法 1、图文教程 系统环境变量内加入即可！ F:\Prog... 成功解决'pip' 不是内部或外部命令，也不是可运行的程序 或批处理文件 目录 解决问题 解决方法 1、图文教程 解决问题 'pip' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 解决方法 1、图文教程 系统环境变量内加入即可！ F:\Prog...
- 成功解决'nvidia-smi' 不是内部或外部命令，也不是可运行的程序 或批处理文件 目录 解决问题 解决思路 解决方法 解决问题 'nvidia-smi' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 解决思路 先查看是否存在，不存在的话，就下载一个到此文件内 解决方法 下载... 成功解决'nvidia-smi' 不是内部或外部命令，也不是可运行的程序 或批处理文件 目录 解决问题 解决思路 解决方法 解决问题 'nvidia-smi' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 解决思路 先查看是否存在，不存在的话，就下载一个到此文件内 解决方法 下载...
- Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conver... Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conver...
- 目录 1 任务 2 过程 2.1 熟悉常用的 Hadoop 命令 2.2 Hadoop环境搭建 1.SSH登录权限设置 2.安装Java环境 3.Hadoop的安装 4.伪分布式安装配置 2.3 Wordcount实例 2.4 搭建eclipse环境编程实现Wordcount程序 1、安装eclipse 2.配置Hadoop-Eclipse-Plugi... 目录 1 任务 2 过程 2.1 熟悉常用的 Hadoop 命令 2.2 Hadoop环境搭建 1.SSH登录权限设置 2.安装Java环境 3.Hadoop的安装 4.伪分布式安装配置 2.3 Wordcount实例 2.4 搭建eclipse环境编程实现Wordcount程序 1、安装eclipse 2.配置Hadoop-Eclipse-Plugi...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha... 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha...
- Hello，大家好！博主上篇讲解了分区，这篇要讲的是合并操作。如何讲解这个章节呢？首先先对什么是合并进行解释，然后通过案例进行证明。 目录 一. Combiner合并的简单介绍二. 通过图片了解使用Combiner和不使用的区别三. 代码实现3.1 编写Mapper类3.2 编写Reducer类3.3 编写Driver驱动类 四. 对比及结论 ... Hello，大家好！博主上篇讲解了分区，这篇要讲的是合并操作。如何讲解这个章节呢？首先先对什么是合并进行解释，然后通过案例进行证明。 目录 一. Combiner合并的简单介绍二. 通过图片了解使用Combiner和不使用的区别三. 代码实现3.1 编写Mapper类3.2 编写Reducer类3.3 编写Driver驱动类 四. 对比及结论 ...
- 这篇文章是我阅读 MapReduce 论文：《MapReduce: Simplified Data Processing on Large Clusters》的笔记，这篇笔记概述了 MapReduce 是什么，它的工作流程，一些细节问题，以及我的个人理解与思考。 MapReduce 是什么？ MapReduce 是 Google设计的一种用于大规模数据集的分布式模型，... 这篇文章是我阅读 MapReduce 论文：《MapReduce: Simplified Data Processing on Large Clusters》的笔记，这篇笔记概述了 MapReduce 是什么，它的工作流程，一些细节问题，以及我的个人理解与思考。 MapReduce 是什么？ MapReduce 是 Google设计的一种用于大规模数据集的分布式模型，...
- 一、新的变量声明方式 let/const 与var不同，新的变量声明方式带来了一些不一样的特性，其中最重要的两个特性就是提供了块级作用域与不再具备变量提升。 比较var、let和const区别 var、let和const区别 ①、let 声明的变量只在 let 命令所在的代码块内有效。 ②、const 声明一个只读的常量，一旦声明，常量的值就不能改变。 ③、var是在全... 一、新的变量声明方式 let/const 与var不同，新的变量声明方式带来了一些不一样的特性，其中最重要的两个特性就是提供了块级作用域与不再具备变量提升。 比较var、let和const区别 var、let和const区别 ①、let 声明的变量只在 let 命令所在的代码块内有效。 ②、const 声明一个只读的常量，一旦声明，常量的值就不能改变。 ③、var是在全...
- Hello，大家好，在本系列的第一篇博文中，博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu... Hello，大家好，在本系列的第一篇博文中，博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu...
- 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1.... 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1....
- 本次博主分享的是MapReduce的另一进阶知识计数器应用及数据清洗(ETL)。希望大家能够喜欢 目录 一. 计数器应用1.1 计数器API1.2 计数器案例 二. 简单的数据清洗案例2.1 需求2.2 需求分析2.3 代码实现2.4 运行及结果 一. 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。 ... 本次博主分享的是MapReduce的另一进阶知识计数器应用及数据清洗(ETL)。希望大家能够喜欢 目录 一. 计数器应用1.1 计数器API1.2 计数器案例 二. 简单的数据清洗案例2.1 需求2.2 需求分析2.3 代码实现2.4 运行及结果 一. 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。 ...
- 上一篇博文讲了Shuffle排序的相关概念以及全排序的操作，这篇博文继续分享的是排序的另一种操作：区内排序。 目录 一. 需求分析二. 代码实现2.1 增加自定义分区类MyPartitioner22.2 在驱动类中添加分区类 三. 运行及其结果 一. 需求分析 基于前一个需求，增加自定义分区类，分区按照省份手机号设置。 1. ... 上一篇博文讲了Shuffle排序的相关概念以及全排序的操作，这篇博文继续分享的是排序的另一种操作：区内排序。 目录 一. 需求分析二. 代码实现2.1 增加自定义分区类MyPartitioner22.2 在驱动类中添加分区类 三. 运行及其结果 一. 需求分析 基于前一个需求，增加自定义分区类，分区按照省份手机号设置。 1. ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录 1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数... 此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录 1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数...
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中
热门标签