- Spark是一个快速、可扩展的大数据处理引擎，它提供了一个统一的编程模型，可以处理各种数据源，包括Hadoop HDFS、Hive、Cassandra、HBase等。本文将介绍Spark的基本概念和使用方法，帮助初学者快速入门。一、Spark的基本概念Spark应用程序Spark应用程序是由Spark API编写的程序，它们运行在Spark集群上，可以对大数据进行处理和分析。Spark应用程... Spark是一个快速、可扩展的大数据处理引擎，它提供了一个统一的编程模型，可以处理各种数据源，包括Hadoop HDFS、Hive、Cassandra、HBase等。本文将介绍Spark的基本概念和使用方法，帮助初学者快速入门。一、Spark的基本概念Spark应用程序Spark应用程序是由Spark API编写的程序，它们运行在Spark集群上，可以对大数据进行处理和分析。Spark应用程...
- 引言有这样的一个面试题:给20亿个不重复的unsigned int的整数的文件,每一行一个数字，没排过序的，然后再给一个数，如何快速判断这个数是否在那20亿个数当中？在php中,其实是有sort 和in_array函数可以实现的,例如:<?php$arr = [ 5,8,1,3,54,745,123];var_dump($arr);sort($arr);var_dump($arr);var... 引言有这样的一个面试题:给20亿个不重复的unsigned int的整数的文件,每一行一个数字，没排过序的，然后再给一个数，如何快速判断这个数是否在那20亿个数当中？在php中,其实是有sort 和in_array函数可以实现的,例如:<?php$arr = [ 5,8,1,3,54,745,123];var_dump($arr);sort($arr);var_dump($arr);var...
- 强化学习从基础到进阶-常见问题和面试必知必答[2]：马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代 强化学习从基础到进阶-常见问题和面试必知必答[2]：马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代
- 在当今大数据时代，实时数据分析和大数据处理对于许多企业和组织来说至关重要。华为云提供了一系列功能强大的服务和工具，使开发人员能够轻松在云上构建和管理实时数据分析和大数据处理解决方案。本文将介绍如何利用华为云的服务和技术实现这一目标，并提供相应的实例代码。步骤1：创建云服务器和存储资源首先，在华为云上创建一个云服务器实例，选择适当的规格和配置。同时，创建一个存储桶或文件系统，用于存储数据和结果... 在当今大数据时代，实时数据分析和大数据处理对于许多企业和组织来说至关重要。华为云提供了一系列功能强大的服务和工具，使开发人员能够轻松在云上构建和管理实时数据分析和大数据处理解决方案。本文将介绍如何利用华为云的服务和技术实现这一目标，并提供相应的实例代码。步骤1：创建云服务器和存储资源首先，在华为云上创建一个云服务器实例，选择适当的规格和配置。同时，创建一个存储桶或文件系统，用于存储数据和结果...
- 合运用 Flink 的各种 API，基于 EventTime 实现分析电商用户行为。 合运用 Flink 的各种 API，基于 EventTime 实现分析电商用户行为。
- 前言什么是爬虫网络爬虫(Web Spider)又叫网络蜘蛛，或者网络机器人(在FOAF社区中间，更经常的称为网页追逐者)，正如他的英文名一样,很形象的一个名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。其中的工作原理就是通过编程让程序自动化,模拟人的操作,模仿人给服务器发送请求,从返回的信息中抓取需要的数据... 前言什么是爬虫网络爬虫(Web Spider)又叫网络蜘蛛，或者网络机器人(在FOAF社区中间，更经常的称为网页追逐者)，正如他的英文名一样,很形象的一个名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。其中的工作原理就是通过编程让程序自动化,模拟人的操作,模仿人给服务器发送请求,从返回的信息中抓取需要的数据...
- 制作趋势分析图表一、折线图反应数据变化的趋势表，需求：使用折线图展示"2022年点播订单表"每日营收金额变化。新建页面并命名为折线图，在可视化区域点击"折线图"，然后按照如下配置：美化图表格式，打开可视化区域中的"设置视觉对象格式"，按照如下步骤设置格式：视觉对象中打开"数据标签"，设置"值"中的单位为无视觉对象中打开"缩放滑块"常规对象中修改"标题"为"2022年每日营收金额"并居中显示... 制作趋势分析图表一、折线图反应数据变化的趋势表，需求：使用折线图展示"2022年点播订单表"每日营收金额变化。新建页面并命名为折线图，在可视化区域点击"折线图"，然后按照如下配置：美化图表格式，打开可视化区域中的"设置视觉对象格式"，按照如下步骤设置格式：视觉对象中打开"数据标签"，设置"值"中的单位为无视觉对象中打开"缩放滑块"常规对象中修改"标题"为"2022年每日营收金额"并居中显示...
- 制作对比分析图表一、表表主要用来记录数据信息，需求：使用表展示每个门店总营收金额对比情况。新建页面，在可视化区域点击"表"，然后按照如下配置：美化图表格式，打开可视化区域中的"设置视觉对象格式"，按照如下步骤设置格式：视觉对象中"值"的字体设置为12视觉对象中"列标题"的字体设置为12，字体加粗、背景色为蓝色、标题对齐方式设置居中在常规"效果"打开视觉对象边框二、矩阵矩阵能够快速对数据进行汇... 制作对比分析图表一、表表主要用来记录数据信息，需求：使用表展示每个门店总营收金额对比情况。新建页面，在可视化区域点击"表"，然后按照如下配置：美化图表格式，打开可视化区域中的"设置视觉对象格式"，按照如下步骤设置格式：视觉对象中"值"的字体设置为12视觉对象中"列标题"的字体设置为12，字体加粗、背景色为蓝色、标题对齐方式设置居中在常规"效果"打开视觉对象边框二、矩阵矩阵能够快速对数据进行汇...
- 如果把数据分析比作盖房子，那么数据分析方法就是设计方案，解决房子装修的各种问题。如果没有学习数据分析方法，在面对一堆数据分析问题时，只会手足无措，根本不知道从哪里开始分析，需要分析什么。 如果把数据分析比作盖房子，那么数据分析方法就是设计方案，解决房子装修的各种问题。如果没有学习数据分析方法，在面对一堆数据分析问题时，只会手足无措，根本不知道从哪里开始分析，需要分析什么。
- Apache Flink架构介绍一、Flink组件栈在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层。物理部署层：该层主要涉及Flink的部署... Apache Flink架构介绍一、Flink组件栈在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层。物理部署层：该层主要涉及Flink的部署...
- 使用Maxwell增量和全量同步MySQL数据一、使用Maxwell同步MySQL数据首先下载Maxwell,Maxwell下载地址：https://github.com/zendesk/maxwell/releases/tag/v1.28.2现在版本1.30.0版本之上需要jdk11以上，建议下载1.30.0版本以下版本。下载完成后按照如下步骤进行配置，同步MySQL数据到Kafka，前提... 使用Maxwell增量和全量同步MySQL数据一、使用Maxwell同步MySQL数据首先下载Maxwell,Maxwell下载地址：https://github.com/zendesk/maxwell/releases/tag/v1.28.2现在版本1.30.0版本之上需要jdk11以上，建议下载1.30.0版本以下版本。下载完成后按照如下步骤进行配置，同步MySQL数据到Kafka，前提...
- 去年来到了俄罗斯读研究生，专业是信息学，课程中也涉及到了物联网相关的知识，今天接带大家看看俄罗斯眼中物联网的定义究竟是什么样子，顺便也回顾一下我学过的知识，本人学习课程是《物联网概述》，所以基本上前面部分都是一些概述内容： 首先说一下什么是物联网，物联网 (IoT) 是一种将设备连接到计算机网络并允许它们通过软件、应用程序或技术设备收集、分析、处理和传输数据给其他对... 去年来到了俄罗斯读研究生，专业是信息学，课程中也涉及到了物联网相关的知识，今天接带大家看看俄罗斯眼中物联网的定义究竟是什么样子，顺便也回顾一下我学过的知识，本人学习课程是《物联网概述》，所以基本上前面部分都是一些概述内容： 首先说一下什么是物联网，物联网 (IoT) 是一种将设备连接到计算机网络并允许它们通过软件、应用程序或技术设备收集、分析、处理和传输数据给其他对...
- 数据架构的演变近年来随着越来越多的大数据技术被开源，例如：HDFS、Spark等，伴随这些技术的发展与普及， 促使企业数据架构的演进——从传统的关系型数据存储架构逐步演化为分布式处理和存储的架构。我们通过数据架构的演变角度来了解下为什么今天Flink实时计算引擎会爆火起来。一、业务处理-单体架构传统单体架构最大的特点是集中式数据存储，一个企业中可能有很多业务系统，例如：订单系统、CRM系统、... 数据架构的演变近年来随着越来越多的大数据技术被开源，例如：HDFS、Spark等，伴随这些技术的发展与普及， 促使企业数据架构的演进——从传统的关系型数据存储架构逐步演化为分布式处理和存储的架构。我们通过数据架构的演变角度来了解下为什么今天Flink实时计算引擎会爆火起来。一、业务处理-单体架构传统单体架构最大的特点是集中式数据存储，一个企业中可能有很多业务系统，例如：订单系统、CRM系统、...
- Flink开发环境准备学习一门新的编程语言时，往往会从"hello world"程序开始，而接触一套新的大数据计算框架时，则一般会从WordCount案例入手，下面以大数据中最经典入门案例WordCount为例，来编写Flink代码，Flink底层源码是基于Java代码进行开发，在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来... Flink开发环境准备学习一门新的编程语言时，往往会从"hello world"程序开始，而接触一套新的大数据计算框架时，则一般会从WordCount案例入手，下面以大数据中最经典入门案例WordCount为例，来编写Flink代码，Flink底层源码是基于Java代码进行开发，在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来...
- 导入数据操作介绍进入PowBI，弹出的如下页面也可以直接关闭，在Power BI中想要导入数据需要通过Power Query 编辑器，Power Query 主要用来清洗和整理数据。文件资料下载：https://download.csdn.net/download/xiaoweite1/87587711一、导入Excel数据我们可以在Power BI中导入Excel数据进行分析展示，操作步骤... 导入数据操作介绍进入PowBI，弹出的如下页面也可以直接关闭，在Power BI中想要导入数据需要通过Power Query 编辑器，Power Query 主要用来清洗和整理数据。文件资料下载：https://download.csdn.net/download/xiaoweite1/87587711一、导入Excel数据我们可以在Power BI中导入Excel数据进行分析展示，操作步骤...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签