阶段一:大数据基础入门

Linux基础知识

本课程从Linux系统安装部署讲起,涵盖常用操作命令、软件包管理、用户和权限管理、文件系统管理


【课程大纲】

第1章 Linux简介与安装

第2章 Linux常用命令

第3章 Vim编辑器

第4章 Linux软件包管理

第5章 Linux用户与权限

第6章 Linux文件系统管理

Java基础

本课程内容是Java程序员必须掌握的核心基础知识,既能供入门者学习,也能帮助入行的程序员夯实基础。它囊括了Java核心语法、面向对象思想、常用API、集合、IO流、反射等JavaSE各个领域的知识。


【课程大纲】

第1章 计算机基本概念

第2章 Java核心

第3章 Java编程思想

第4章 Java常用工具

第5章 Java高级

第6章 综合实战

Python核心基础(上)

本教程讲解的内容是Python的基础知识,教程中包含了操作系统,python环境搭建,Python的基本语法、类型和对象、流程控制、函数、函数式编程、面向对象、文件操作等内容。


【课程大纲】

第1章 Python入门

第2章 Python运算

第3章 Python的控制语句

第4章 Python模板介绍

python核心基础(下)

本教程讲解的内容是Python的基础知识,教程中包含了操作系统,python环境搭建,Python的基本语法、类型和对象、流程控制、函数、函数式编程、面向对象、文件操作等内容。


【课程大纲】

第1章 Python函数和装饰器

第2章 Python面向对象

第3章 Python的模块化与异常

第4章 Python文件操作

使用Python爬虫抓取图片和文字实验

本实验指导用户在短时间内,了解和熟悉华为云产品购买及部署操作,并利用华为云服务部署Python爬虫。

实验目标与基本要求

了解华为云产品页面信息,实操体验华为云

VPC/ECS/RDS等云服务配置操作,通过使用所购买的华为云产品和终端命令行完成部署Python爬虫。

实验摘要

1.准备环境

2.查看目的网页并编写爬虫代码

3.在弹性云服务器ECS上运行爬虫程序

4.存储爬取图片至对象存储服务OBS


使用ModelArts中开发工具学习Python(初级)

本实验指导用户基于Notebook对Python编程语言有一个基础的认知,掌握Python的基础语法。

实验目标与基本要求

通过本实验,您将能够:

① 使用ModelArts Notebook编写Python代码

② 熟悉Python基础

实验摘要

操作前提:登录华为云

1.准备数据

2.Python代码实现

3.Python编程基础

使用ModelArts中开发工具学习Python(高级)

本实验指导用户基于Notebook来学习Python语言中的正则表达式进行文本信息的匹配、多线程执行任务的实现和Python中类的魔法方法的使用。

实验目标与基本要求

通过本实验,您将能够:

① 使用ModelArts Notebook编写Python代码;

② 熟悉Python的高级用法。

实验摘要

操作前提: 登录华为云

1.准备数据

2. 准备工作

3.Python高级编程代码实现

Python爬取全抖音好听背景音乐,一次性下载

python下载抖音内容的帖子网上有一些,但都比较麻烦,需要通过adb连接安卓手机后,模拟操作。那么,如何简单快速获取抖音内容呢?这篇文章将带你使用Python代码实现快速获取抖音内容

这可能是你见过的最全的网络爬虫总结

从抓取、解析、存储、反爬、加速五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧,介绍了不同场景下如何采取不同措施高效地进行数据抓取的方法。

当Python遇见Andriod手机 万物皆可盘

我们日常的python学习和使用都是在电脑上的,会写Linux下的python脚本、搞一些爬虫的项目、开发几个好玩的web网站,用python做数据分析。可如果脱离了电脑,就成了零。

阶段二:大数据核心技术

MySQL核心

本视频涵盖MySQL核心技术主要知识点,每节知识配套对应练习。主要包含数据库和表的常用操作、约束、视图、存储过程和函数、流程控制结构以及综合运用各种命令实现数据的增删改查操作。


【课程大纲】

第1章 MySQL简介

第2章 MySQL--查询

第3章 MySQL--函数

第4章 MySQL--语法

第5章 MySQL--数据类型

第6章 MySQL--变量

第7章 MySQL--流程控制结构


Hadoop

本课程中你将学习到,Hadoop完全分布式集群搭建、Hadoop源码编译、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS读写数据流程、NameNode和SecondaryNameNode工作机制


【课程大纲】

第1章 大数据入门

第2章 Hadoop简介

第3章 Hadoop源码编译

第4章 Hadoop HDFS

第5章 MapReduce

第6章 实战案例

第7章 总结


Spark

本套视频教程基于Scala 2.12版本,对最新Spark 3.0版本的核心模块进行了详尽的源码级讲解,授课图文并茂,资料详实丰富,带你领略不一样的技术风景线。


【课程大纲】

第1章 Spark框架

第2章 SparkCore

第3章 SparkSQL

第4章 SparkStreaming

基于鲲鹏弹性云服务器进行MySQL性能优化

该实验旨在指导用户短时间内了解MySQL数据库编译流程及MySQL数据库参数对性能的影响。

实验目标与基本要求

本实验目标是通过源码编译,了解MySQL的编译方法,基于Benchmarksql测试工具,了解MySQL性能定位方法及如何通过参数优化提升数据库性能。

实验摘要

1.准备实验环境

2.准备MySQL环境

3.BenchmarkSQL测试

MapReduce服务初体验

本实验指导用户在华为云上创建、配置、访问MapReduce服务,并基于MapReduce服务提供的HDFS实现单词统计。

实验目标与基本要求

掌握MRS服务的申请与使用。

实验摘要

操作前提:

1. 开通MapReduce服务

2.访问集群的管理页面

3.利用MapReduce做单词统计

基于Spark实现车主驾驶行为分析

本实通过MRS服务Spark组件分析统计指定时间内,车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数。

实验目标与基本要求

1. 使用MRS服务Spark组件数据分析;

2. 查看分析结果。

实验摘要

操作前提:

1. 开通MapReduce服务

2. 准备数据

3.提交任务

4.查看结果

一条数据的HBase之旅,简明HBase入门教程1:开篇

这是HBase入门系列的第1篇文章,主要介绍HBase当前的项目活跃度以及搜索引擎热度信息,以及一些概况信息,内容基于HBase 2.0 beta2版本。本系列文章既适用于HBase新手,也适用于已有一定经验的HBase开发人员。

一条数据的HBase之旅,简明HBase入门教程2:数据模型

上一篇文章讲了HBase项目与应用概况信息,这篇文章讲述HBase的数据模型以及一些基础概念,数据模型可以说决定了HBase适合于什么应用场景。

一条数据的HBase之旅,简明HBase入门教程3:适用场景

这篇文章继HBase数据模型之后,介绍HBase的适用场景,以及与一些关键场景有关的周边技术生态,最后给出了本文的示例数据

一条数据的HBase之旅,简明HBase入门教程4:集群角色

本文主要介绍HBase与HDFS的关系,一些关键进程角色,以及在部署上的建议

一条数据的HBase之旅,简明HBase入门教程5:创建数据表

本文先给出了一些示例数据,而后介绍了如何建立Client到HBase集群侧的连接,最后介绍了整个建表的流程

一条数据的HBase之旅,简明HBase入门教程6:写数据接口

本文介绍HBase写数据的几种可选接口,表服务接口的抽象,以及写数据的几种模式

建议与反馈

学习路线为开发者提供高品质课程资源

对于您反馈的课程建议我们会及时评估并向您反馈评估结果与实施计划