- hdfs dfs命令是用来操作HDFS中的文件的，其包含如下参数：其中比较常用的命令有：ls使用方法：hdfs dfs -ls <args>如果是文件，则按照如下格式返回文件信息：权限 <副本数> 用户ID 组ID 文件大小 修改日期 修改时间 文件名如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：权限 <-> 用户ID 组ID 0 修改日期 修改时间... hdfs dfs命令是用来操作HDFS中的文件的，其包含如下参数：其中比较常用的命令有：ls使用方法：hdfs dfs -ls <args>如果是文件，则按照如下格式返回文件信息：权限 <副本数> 用户ID 组ID 文件大小 修改日期 修改时间 文件名如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：权限 <-> 用户ID 组ID 0 修改日期 修改时间...
- 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ... 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ...
- Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)目录一、伪分布式搭建(60分)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、正确解压【java】以及【hadoop】的压缩文件(5分)5、修改【hado... Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)目录一、伪分布式搭建(60分)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、正确解压【java】以及【hadoop】的压缩文件(5分)5、修改【hado...
- Hadoop快速入门——第三章、MapReduce案例目录 环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务 8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件... Hadoop快速入门——第三章、MapReduce案例目录 环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务 8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件...
- HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多 为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式 副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有o... HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多 为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式 副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有o...
- 大数据启蒙与入门知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：那日看雪，你从未看我，我从未看雪二、千里之行，始于足下启蒙很重要分治思想 单机处理大数据问题 集群分布式处理大数据的辩证三、分治思想需求： 我有一万个元素（比如数字或单词）需要存储？如果查找某一个元素，最简单的遍历方式复杂的是多少？如果我期望复杂度是O(4)呢？学习知识的时候要去搞明白它存在... 大数据启蒙与入门知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：那日看雪，你从未看我，我从未看雪二、千里之行，始于足下启蒙很重要分治思想 单机处理大数据问题 集群分布式处理大数据的辩证三、分治思想需求： 我有一万个元素（比如数字或单词）需要存储？如果查找某一个元素，最简单的遍历方式复杂的是多少？如果我期望复杂度是O(4)呢？学习知识的时候要去搞明白它存在...
- 技术场景大数据技术可分类如下：存储计算资源管理 HDFS最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。 HBaseNoSQL英杰，可划分到存储类别，它的底层存储也用到HDFS。 主要用途某些场景代替MySQL数据存储访问，利用可伸缩特性，存储比MySQL多得多的数据量。比如滴滴司机每隔几s就将当前GPS数据上传，而滴滴司... 技术场景大数据技术可分类如下：存储计算资源管理 HDFS最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。 HBaseNoSQL英杰，可划分到存储类别，它的底层存储也用到HDFS。 主要用途某些场景代替MySQL数据存储访问，利用可伸缩特性，存储比MySQL多得多的数据量。比如滴滴司机每隔几s就将当前GPS数据上传，而滴滴司...
- Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个人建议，先... Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个人建议，先...
- Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的... Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的...
- 1. 了解Hadoop配置文件1.1 当前所处位置，及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月... 1. 了解Hadoop配置文件1.1 当前所处位置，及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月...
- 一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mo... 一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mo...
- 目的熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求 Hbase数据库练习Shell练习根据下面给出的表格，用Hbase Shell模式设计学生表格，表名用自己姓名全拼。namesc... 目的熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求 Hbase数据库练习Shell练习根据下面给出的表格，用Hbase Shell模式设计学生表格，表名用自己姓名全拼。namesc...
- 目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求HDFS理解含义：HDFS是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件... 目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求HDFS理解含义：HDFS是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件...
- 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让... 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让...
- 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签