大数据一站式学习平台,涵盖Linux基础,MySQL基础,大数据核心框架等大数据必备知识详解
从入门到精通,助您提升技能储备
本课程从Linux系统安装部署讲起,涵盖常用操作命令、软件包管理、用户和权限管理、文件系统管理
【课程大纲】
第1章 Linux简介与安装
第2章 Linux常用命令
第3章 Vim编辑器
第4章 Linux软件包管理
第5章 Linux用户与权限
第6章 Linux文件系统管理
本课程内容是Java程序员必须掌握的核心基础知识,既能供入门者学习,也能帮助入行的程序员夯实基础。它囊括了Java核心语法、面向对象思想、常用API、集合、IO流、反射等JavaSE各个领域的知识。
第1章 计算机基本概念
第2章 Java核心
第3章 Java编程思想
第4章 Java常用工具
第5章 Java高级
第6章 综合实战
本教程讲解的内容是Python的基础知识,教程中包含了操作系统,python环境搭建,Python的基本语法、类型和对象、流程控制、函数、函数式编程、面向对象、文件操作等内容。
第1章 Python入门
第2章 Python运算
第3章 Python的控制语句
第4章 Python模板介绍
第1章 Python函数和装饰器
第2章 Python面向对象
第3章 Python的模块化与异常
第4章 Python文件操作
本实验指导用户在短时间内,了解和熟悉华为云产品购买及部署操作,并利用华为云服务部署Python爬虫。
实验目标与基本要求
了解华为云产品页面信息,实操体验华为云
VPC/ECS/RDS等云服务配置操作,通过使用所购买的华为云产品和终端命令行完成部署Python爬虫。
实验摘要
1.准备环境
2.查看目的网页并编写爬虫代码
3.在弹性云服务器ECS上运行爬虫程序
4.存储爬取图片至对象存储服务OBS
本实验指导用户基于Notebook对Python编程语言有一个基础的认知,掌握Python的基础语法。
通过本实验,您将能够:
① 使用ModelArts Notebook编写Python代码
② 熟悉Python基础
操作前提:登录华为云
1.准备数据
2.Python代码实现
3.Python编程基础
本实验指导用户基于Notebook来学习Python语言中的正则表达式进行文本信息的匹配、多线程执行任务的实现和Python中类的魔法方法的使用。
① 使用ModelArts Notebook编写Python代码;
② 熟悉Python的高级用法。
操作前提: 登录华为云
2. 准备工作
3.Python高级编程代码实现
python下载抖音内容的帖子网上有一些,但都比较麻烦,需要通过adb连接安卓手机后,模拟操作。那么,如何简单快速获取抖音内容呢?这篇文章将带你使用Python代码实现快速获取抖音内容
从抓取、解析、存储、反爬、加速五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧,介绍了不同场景下如何采取不同措施高效地进行数据抓取的方法。
我们日常的python学习和使用都是在电脑上的,会写Linux下的python脚本、搞一些爬虫的项目、开发几个好玩的web网站,用python做数据分析。可如果脱离了电脑,就成了零。
本视频涵盖MySQL核心技术主要知识点,每节知识配套对应练习。主要包含数据库和表的常用操作、约束、视图、存储过程和函数、流程控制结构以及综合运用各种命令实现数据的增删改查操作。
第1章 MySQL简介
第2章 MySQL--查询
第3章 MySQL--函数
第4章 MySQL--语法
第5章 MySQL--数据类型
第6章 MySQL--变量
第7章 MySQL--流程控制结构
本课程中你将学习到,Hadoop完全分布式集群搭建、Hadoop源码编译、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS读写数据流程、NameNode和SecondaryNameNode工作机制
第1章 大数据入门
第2章 Hadoop简介
第3章 Hadoop源码编译
第4章 Hadoop HDFS
第5章 MapReduce
第6章 实战案例
第7章 总结
本套视频教程基于Scala 2.12版本,对最新Spark 3.0版本的核心模块进行了详尽的源码级讲解,授课图文并茂,资料详实丰富,带你领略不一样的技术风景线。
第1章 Spark框架
第2章 SparkCore
第3章 SparkSQL
第4章 SparkStreaming
该实验旨在指导用户短时间内了解MySQL数据库编译流程及MySQL数据库参数对性能的影响。
本实验目标是通过源码编译,了解MySQL的编译方法,基于Benchmarksql测试工具,了解MySQL性能定位方法及如何通过参数优化提升数据库性能。
1.准备实验环境
2.准备MySQL环境
3.BenchmarkSQL测试
本实验指导用户在华为云上创建、配置、访问MapReduce服务,并基于MapReduce服务提供的HDFS实现单词统计。
掌握MRS服务的申请与使用。
操作前提:
1. 开通MapReduce服务
2.访问集群的管理页面
3.利用MapReduce做单词统计
本实通过MRS服务Spark组件分析统计指定时间内,车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数。
1. 使用MRS服务Spark组件数据分析;
2. 查看分析结果。
2. 准备数据
3.提交任务
4.查看结果
这是HBase入门系列的第1篇文章,主要介绍HBase当前的项目活跃度以及搜索引擎热度信息,以及一些概况信息,内容基于HBase 2.0 beta2版本。本系列文章既适用于HBase新手,也适用于已有一定经验的HBase开发人员。
上一篇文章讲了HBase项目与应用概况信息,这篇文章讲述HBase的数据模型以及一些基础概念,数据模型可以说决定了HBase适合于什么应用场景。
这篇文章继HBase数据模型之后,介绍HBase的适用场景,以及与一些关键场景有关的周边技术生态,最后给出了本文的示例数据
本文主要介绍HBase与HDFS的关系,一些关键进程角色,以及在部署上的建议
本文先给出了一些示例数据,而后介绍了如何建立Client到HBase集群侧的连接,最后介绍了整个建表的流程
本文介绍HBase写数据的几种可选接口,表服务接口的抽象,以及写数据的几种模式
学习路线为开发者提供高品质课程资源
对于您反馈的课程建议我们会及时评估并向您反馈评估结果与实施计划