- 欢迎来到本文，今天我们将探讨如何构建一个可扩展的实时数据分析系统，并重点介绍了一个强大的工具——Apache Flink。Apache Flink是一个流式处理引擎，它提供了一种高效、可靠且可扩展的方式来处理实时数据分析任务。什么是实时数据分析？ 实时数据分析是指对流式数据进行即时处理和分析的过程。与传统的批处理方式相比，实时数据分析可以实时地获取数据并立即对其进行处理，从而帮助企业做出即时... 欢迎来到本文，今天我们将探讨如何构建一个可扩展的实时数据分析系统，并重点介绍了一个强大的工具——Apache Flink。Apache Flink是一个流式处理引擎，它提供了一种高效、可靠且可扩展的方式来处理实时数据分析任务。什么是实时数据分析？ 实时数据分析是指对流式数据进行即时处理和分析的过程。与传统的批处理方式相比，实时数据分析可以实时地获取数据并立即对其进行处理，从而帮助企业做出即时...
- 这是一个最好的时代。互联网如此普及，市场有无限可能，大量的创业公司崛起，生活服务无不能连接到互联网，让人有了更多想象。 这也是最坏的时代。伴随着新型业务的出现和增长，黑色产业(以下简称黑产或黑灰产，不作具体区分)正在野蛮生长，而每个企业在初期都会缺乏风险控制意识，都曾为此付出过沉重代价，Uber 打车、拼多多、ofo、外卖、无数的 P2P 平台、无数的广告主…… 这是一个最好的时代。互联网如此普及，市场有无限可能，大量的创业公司崛起，生活服务无不能连接到互联网，让人有了更多想象。 这也是最坏的时代。伴随着新型业务的出现和增长，黑色产业(以下简称黑产或黑灰产，不作具体区分)正在野蛮生长，而每个企业在初期都会缺乏风险控制意识，都曾为此付出过沉重代价，Uber 打车、拼多多、ofo、外卖、无数的 P2P 平台、无数的广告主……
- 数据模型介绍一、模型关系在数据分析过程中，我们会将数据表分为事实表和维度表两种类型的表。事实表发生在现实世界中的操作型事件，其所产生的可度量数值，存储在事实表中，事实表也叫明细表。例如，一个按照地区、产品、月份划分的销售量和销售额的事实表如下：在以上事实表的示例中，"地区ID"、"产品ID"、"月份ID"为键值列，"销售量"、"销售额"为度量列，所谓度量列就是列的数据可度量，度量列一般为可统... 数据模型介绍一、模型关系在数据分析过程中，我们会将数据表分为事实表和维度表两种类型的表。事实表发生在现实世界中的操作型事件，其所产生的可度量数值，存储在事实表中，事实表也叫明细表。例如，一个按照地区、产品、月份划分的销售量和销售额的事实表如下：在以上事实表的示例中，"地区ID"、"产品ID"、"月份ID"为键值列，"销售量"、"销售额"为度量列，所谓度量列就是列的数据可度量，度量列一般为可统...
- 获取Web数据在数据分析的过程中，我们在网页中看到有好的表格数据想进行分析，我们也可以通过Power Query 可以获取Web网页数据。通过Power Query 我们可以获取Web网页中表格数据、多表格数据等。现在以下面网址数据数据http://www.stats.gov.cn/xxgk/sjfb/zxfb2020/202211/t20221115_1890263.html 登录该网址我... 获取Web数据在数据分析的过程中，我们在网页中看到有好的表格数据想进行分析，我们也可以通过Power Query 可以获取Web网页数据。通过Power Query 我们可以获取Web网页中表格数据、多表格数据等。现在以下面网址数据数据http://www.stats.gov.cn/xxgk/sjfb/zxfb2020/202211/t20221115_1890263.html 登录该网址我...
- 深入了解Apache Doris一、Apache Doris介绍Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以 支持高并发的点查询场景，也能支持高吞吐的复杂分析场景 。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用... 深入了解Apache Doris一、Apache Doris介绍Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以 支持高并发的点查询场景，也能支持高吞吐的复杂分析场景 。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用...
- Maxwell介绍和工作原理一、Maxwell介绍Maxwell是由美国Zendesk开源，使用Java编写的MySQL实时抓取工具，可以实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它设计的初衷是实时采集Mysql数据到... Maxwell介绍和工作原理一、Maxwell介绍Maxwell是由美国Zendesk开源，使用Java编写的MySQL实时抓取工具，可以实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它设计的初衷是实时采集Mysql数据到...
- RabbitMQ的概念 RabbitMQ是一个消息中间件：它接受并转发消息。你可以把它当做一个快递站点，当你要发送一个包裹时，你把你的包裹放到快递站，快递员最终会把你的快递送到收件人那里，按照这种逻辑RabbitMQ是一个快递站，一个快递员帮你传递快件。RabbitMQ与快递站的主要区别在于，它不处理快件而是接收，存储和转发消息数据。 四大核心概念 生产者产生数据发送消息的程序是生产者交换... RabbitMQ的概念 RabbitMQ是一个消息中间件：它接受并转发消息。你可以把它当做一个快递站点，当你要发送一个包裹时，你把你的包裹放到快递站，快递员最终会把你的快递送到收件人那里，按照这种逻辑RabbitMQ是一个快递站，一个快递员帮你传递快件。RabbitMQ与快递站的主要区别在于，它不处理快件而是接收，存储和转发消息数据。 四大核心概念 生产者产生数据发送消息的程序是生产者交换...
- 大数据集群的部署实例 大数据集群的部署实例
- 大数据 │ ECharts与pyecharts数据可视化应用 大数据 │ ECharts与pyecharts数据可视化应用
- Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、... Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、...
- Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈... Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈...
- Power BI下载安装和模块介绍一、Power BI下载安装首先在Microsoft官方网站上下载PowerBI Desktop，然后进行安装。下载地址：https://www.microsoft.com/zh-cn/download/details.aspx?id=58494点击"Next"后会弹出下载框，进行下载即可，下载好的PowerBI名称为"PBIDesktopSetup_x64... Power BI下载安装和模块介绍一、Power BI下载安装首先在Microsoft官方网站上下载PowerBI Desktop，然后进行安装。下载地址：https://www.microsoft.com/zh-cn/download/details.aspx?id=58494点击"Next"后会弹出下载框，进行下载即可，下载好的PowerBI名称为"PBIDesktopSetup_x64...
- Canal介绍一、什么是CanalCanal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的... Canal介绍一、什么是CanalCanal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的...
- Oozie是Hadoop工作流调度引擎。 Oozie是Hadoop工作流调度引擎。
- Redis是Key-Value内存数据库。 Redis是Key-Value内存数据库。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签