- Zookeeper 3.8.0 集群环境安装 Zookeeper 3.8.0 集群环境安装
- Zookeeper 3.8.0 伪分布式安装 Zookeeper 3.8.0 伪分布式安装
- Flume中 File Channel 的优化 Flume中 File Channel 的优化
- Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
- 离线数仓之Kerberos基本使用及问题记录 离线数仓之Kerberos基本使用及问题记录
- NiFi Processors（处理器）为了创建高效的数据流处理流程,需要了解可用的处理器（Processors ）类型，NiFi提供了大约近300个现成的处理器。这些处理器提供了可从不同系统中提取数据,路由,转换,处理,拆分和聚合数据以及将数据分发到多个系统的功能。如果还不能满足需求，还可以自定义处理器。每个新的NiFi版本都会有新的处理器，下面将按照功能对处理器分类，介绍一些常用的处理器... NiFi Processors（处理器）为了创建高效的数据流处理流程,需要了解可用的处理器（Processors ）类型，NiFi提供了大约近300个现成的处理器。这些处理器提供了可从不同系统中提取数据,路由,转换,处理,拆分和聚合数据以及将数据分发到多个系统的功能。如果还不能满足需求，还可以自定义处理器。每个新的NiFi版本都会有新的处理器，下面将按照功能对处理器分类，介绍一些常用的处理器...
- NiFi分布式安装一、为什么需要NiFi集群NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。因此，一种解决方案是在多个NiFi服务器上运行相同的数据流。但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，他们必须在每个服务器上进行这些更改，然后单独监视每个服务器。通过集群NiFi服务器，可以增加处理能... NiFi分布式安装一、为什么需要NiFi集群NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。因此，一种解决方案是在多个NiFi服务器上运行相同的数据流。但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，他们必须在每个服务器上进行这些更改，然后单独监视每个服务器。通过集群NiFi服务器，可以增加处理能...
- 动态规划比较适合用来求解最优问题，比如求最大值、最小值等等。它可以非常显著地降低时间复杂度，提高代码的执行效率。 它和递归一样都非常难学，主要学习难点在于求解问题的过程不太符合人类常规的思维方式。 动态规划比较适合用来求解最优问题，比如求最大值、最小值等等。它可以非常显著地降低时间复杂度，提高代码的执行效率。 它和递归一样都非常难学，主要学习难点在于求解问题的过程不太符合人类常规的思维方式。
- NiFi架构一、NiFi核心概念NiFi的基本设计理念是基于数据流的编程Flow-Based Programming（FBP），应用是由处理器、连接器组成的网络。数据进入一个节点，由该节点对数据进行处理，根据不同的处理结果将数据路由到后续的其他节点进行处理。这是NiFi的流程比较容易可视化的一个原因。以下是NiFi的一些概念：NiFi术语描述FlowFileFlowFile 是... NiFi架构一、NiFi核心概念NiFi的基本设计理念是基于数据流的编程Flow-Based Programming（FBP），应用是由处理器、连接器组成的网络。数据进入一个节点，由该节点对数据进行处理，根据不同的处理结果将数据路由到后续的其他节点进行处理。这是NiFi的流程比较容易可视化的一个原因。以下是NiFi的一些概念：NiFi术语描述FlowFileFlowFile 是...
- 大数据技术之Hadoop系统前言传统的系统已无法处理结构多变的大数据，而高性能硬件和专用服务器价格昂贵且不灵活，Hadoop因此应运而生。Hadoop使用互连的廉价商业硬件，通过数百甚至数千个低成本服务器协同工作，可有效存储和处理大量数据。一、大数据概念最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡，它是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件... 大数据技术之Hadoop系统前言传统的系统已无法处理结构多变的大数据，而高性能硬件和专用服务器价格昂贵且不灵活，Hadoop因此应运而生。Hadoop使用互连的廉价商业硬件，通过数百甚至数千个低成本服务器协同工作，可有效存储和处理大量数据。一、大数据概念最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡，它是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件...
- 实时OLAP开发一、实时ETL处理使用ClickHouse分析物流指标数据，必须将数据存储到ClickHouse中。业务流程：二、SparkSQL基于DataSourceV2自定义数据源1、Data Source API V1Spark 1.3 版本开始引入了 Data Source API V1，通过这个 API 我们可以很方便的读取各种来源的数据，而且 Sp... 实时OLAP开发一、实时ETL处理使用ClickHouse分析物流指标数据，必须将数据存储到ClickHouse中。业务流程：二、SparkSQL基于DataSourceV2自定义数据源1、Data Source API V1Spark 1.3 版本开始引入了 Data Source API V1，通过这个 API 我们可以很方便的读取各种来源的数据，而且 Sp...
- ClickHouse的使用一、使用Java操作ClickHouse1、构建maven工程2、导入依赖<!-- Clickhouse --><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.2</ve... ClickHouse的使用一、使用Java操作ClickHouse1、构建maven工程2、导入依赖<!-- Clickhouse --><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.2</ve...
- 业务和指数开发一、业务开发实现步骤：在logistics-etl模块cn.it.logistics.etl.realtime程序包下创建CKStreamApp单例对象，继承自StreamApp编写main入口函数，初始化spark的运行环境实现StreamApp基类的两个方法Execute（消费kafka数据，并对消费到的数据转换成对象，过滤每张表的数据写入到CK）Save（实... 业务和指数开发一、业务开发实现步骤：在logistics-etl模块cn.it.logistics.etl.realtime程序包下创建CKStreamApp单例对象，继承自StreamApp编写main入口函数，初始化spark的运行环境实现StreamApp基类的两个方法Execute（消费kafka数据，并对消费到的数据转换成对象，过滤每张表的数据写入到CK）Save（实...
- ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n... ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n...
- ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别... ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签