- 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ... 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ...
- Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)目录一、伪分布式搭建(60分)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、正确解压【java】以及【hadoop】的压缩文件(5分)5、修改【hado... Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)目录一、伪分布式搭建(60分)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、正确解压【java】以及【hadoop】的压缩文件(5分)5、修改【hado...
- Hadoop快速入门——第三章、MapReduce案例目录 环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务 8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件... Hadoop快速入门——第三章、MapReduce案例目录 环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务 8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件...
- HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多 为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式 副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有o... HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多 为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式 副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有o...
- 大数据启蒙与入门知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：那日看雪，你从未看我，我从未看雪二、千里之行，始于足下启蒙很重要分治思想 单机处理大数据问题 集群分布式处理大数据的辩证三、分治思想需求： 我有一万个元素（比如数字或单词）需要存储？如果查找某一个元素，最简单的遍历方式复杂的是多少？如果我期望复杂度是O(4)呢？学习知识的时候要去搞明白它存在... 大数据启蒙与入门知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：那日看雪，你从未看我，我从未看雪二、千里之行，始于足下启蒙很重要分治思想 单机处理大数据问题 集群分布式处理大数据的辩证三、分治思想需求： 我有一万个元素（比如数字或单词）需要存储？如果查找某一个元素，最简单的遍历方式复杂的是多少？如果我期望复杂度是O(4)呢？学习知识的时候要去搞明白它存在...
- 技术场景大数据技术可分类如下：存储计算资源管理 HDFS最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。 HBaseNoSQL英杰，可划分到存储类别，它的底层存储也用到HDFS。 主要用途某些场景代替MySQL数据存储访问，利用可伸缩特性，存储比MySQL多得多的数据量。比如滴滴司机每隔几s就将当前GPS数据上传，而滴滴司... 技术场景大数据技术可分类如下：存储计算资源管理 HDFS最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。 HBaseNoSQL英杰，可划分到存储类别，它的底层存储也用到HDFS。 主要用途某些场景代替MySQL数据存储访问，利用可伸缩特性，存储比MySQL多得多的数据量。比如滴滴司机每隔几s就将当前GPS数据上传，而滴滴司...
- Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个人建议，先... Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个人建议，先...
- Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的... Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的...
- 1. 了解Hadoop配置文件1.1 当前所处位置，及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月... 1. 了解Hadoop配置文件1.1 当前所处位置，及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月...
- 一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mo... 一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mo...
- 目的熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求 Hbase数据库练习Shell练习根据下面给出的表格，用Hbase Shell模式设计学生表格，表名用自己姓名全拼。namesc... 目的熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求 Hbase数据库练习Shell练习根据下面给出的表格，用Hbase Shell模式设计学生表格，表名用自己姓名全拼。namesc...
- 目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求HDFS理解含义：HDFS是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件... 目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求HDFS理解含义：HDFS是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件...
- 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让... 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让...
- 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了
- 四个组件的可靠性与NN主备机制:JN(日志节点)，Zookeeper，NameNode主备部署（HA机制），数据存储三副本；修改：editlog实际上是NN节点生成上传，JN什么都不做，只做存储使用。HDFS是大容量，高吞吐量、高容错的分布式文件存储系统，采用的是流式数据访问的方式； 上面的因素决定了HDFS的两个特点： 适合场景：HDFS适合大容量和流式数据访问场景； 不... 四个组件的可靠性与NN主备机制:JN(日志节点)，Zookeeper，NameNode主备部署（HA机制），数据存储三副本；修改：editlog实际上是NN节点生成上传，JN什么都不做，只做存储使用。HDFS是大容量，高吞吐量、高容错的分布式文件存储系统，采用的是流式数据访问的方式； 上面的因素决定了HDFS的两个特点： 适合场景：HDFS适合大容量和流式数据访问场景； 不...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签