- Flume中 File Channel 的优化 Flume中 File Channel 的优化
- Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
- 离线数仓之Kerberos基本使用及问题记录 离线数仓之Kerberos基本使用及问题记录
- NiFi Processors（处理器）为了创建高效的数据流处理流程,需要了解可用的处理器（Processors ）类型，NiFi提供了大约近300个现成的处理器。这些处理器提供了可从不同系统中提取数据,路由,转换,处理,拆分和聚合数据以及将数据分发到多个系统的功能。如果还不能满足需求，还可以自定义处理器。每个新的NiFi版本都会有新的处理器，下面将按照功能对处理器分类，介绍一些常用的处理器... NiFi Processors（处理器）为了创建高效的数据流处理流程,需要了解可用的处理器（Processors ）类型，NiFi提供了大约近300个现成的处理器。这些处理器提供了可从不同系统中提取数据,路由,转换,处理,拆分和聚合数据以及将数据分发到多个系统的功能。如果还不能满足需求，还可以自定义处理器。每个新的NiFi版本都会有新的处理器，下面将按照功能对处理器分类，介绍一些常用的处理器...
- NiFi分布式安装一、为什么需要NiFi集群NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。因此，一种解决方案是在多个NiFi服务器上运行相同的数据流。但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，他们必须在每个服务器上进行这些更改，然后单独监视每个服务器。通过集群NiFi服务器，可以增加处理能... NiFi分布式安装一、为什么需要NiFi集群NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。因此，一种解决方案是在多个NiFi服务器上运行相同的数据流。但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，他们必须在每个服务器上进行这些更改，然后单独监视每个服务器。通过集群NiFi服务器，可以增加处理能...
- 动态规划比较适合用来求解最优问题，比如求最大值、最小值等等。它可以非常显著地降低时间复杂度，提高代码的执行效率。 它和递归一样都非常难学，主要学习难点在于求解问题的过程不太符合人类常规的思维方式。 动态规划比较适合用来求解最优问题，比如求最大值、最小值等等。它可以非常显著地降低时间复杂度，提高代码的执行效率。 它和递归一样都非常难学，主要学习难点在于求解问题的过程不太符合人类常规的思维方式。
- NiFi架构一、NiFi核心概念NiFi的基本设计理念是基于数据流的编程Flow-Based Programming（FBP），应用是由处理器、连接器组成的网络。数据进入一个节点，由该节点对数据进行处理，根据不同的处理结果将数据路由到后续的其他节点进行处理。这是NiFi的流程比较容易可视化的一个原因。以下是NiFi的一些概念：NiFi术语描述FlowFileFlowFile 是... NiFi架构一、NiFi核心概念NiFi的基本设计理念是基于数据流的编程Flow-Based Programming（FBP），应用是由处理器、连接器组成的网络。数据进入一个节点，由该节点对数据进行处理，根据不同的处理结果将数据路由到后续的其他节点进行处理。这是NiFi的流程比较容易可视化的一个原因。以下是NiFi的一些概念：NiFi术语描述FlowFileFlowFile 是...
- 大数据技术之Hadoop系统前言传统的系统已无法处理结构多变的大数据，而高性能硬件和专用服务器价格昂贵且不灵活，Hadoop因此应运而生。Hadoop使用互连的廉价商业硬件，通过数百甚至数千个低成本服务器协同工作，可有效存储和处理大量数据。一、大数据概念最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡，它是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件... 大数据技术之Hadoop系统前言传统的系统已无法处理结构多变的大数据，而高性能硬件和专用服务器价格昂贵且不灵活，Hadoop因此应运而生。Hadoop使用互连的廉价商业硬件，通过数百甚至数千个低成本服务器协同工作，可有效存储和处理大量数据。一、大数据概念最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡，它是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件...
- 实时OLAP开发一、实时ETL处理使用ClickHouse分析物流指标数据，必须将数据存储到ClickHouse中。业务流程：二、SparkSQL基于DataSourceV2自定义数据源1、Data Source API V1Spark 1.3 版本开始引入了 Data Source API V1，通过这个 API 我们可以很方便的读取各种来源的数据，而且 Sp... 实时OLAP开发一、实时ETL处理使用ClickHouse分析物流指标数据，必须将数据存储到ClickHouse中。业务流程：二、SparkSQL基于DataSourceV2自定义数据源1、Data Source API V1Spark 1.3 版本开始引入了 Data Source API V1，通过这个 API 我们可以很方便的读取各种来源的数据，而且 Sp...
- ClickHouse的使用一、使用Java操作ClickHouse1、构建maven工程2、导入依赖<!-- Clickhouse --><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.2</ve... ClickHouse的使用一、使用Java操作ClickHouse1、构建maven工程2、导入依赖<!-- Clickhouse --><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.2</ve...
- 业务和指数开发一、业务开发实现步骤：在logistics-etl模块cn.it.logistics.etl.realtime程序包下创建CKStreamApp单例对象，继承自StreamApp编写main入口函数，初始化spark的运行环境实现StreamApp基类的两个方法Execute（消费kafka数据，并对消费到的数据转换成对象，过滤每张表的数据写入到CK）Save（实... 业务和指数开发一、业务开发实现步骤：在logistics-etl模块cn.it.logistics.etl.realtime程序包下创建CKStreamApp单例对象，继承自StreamApp编写main入口函数，初始化spark的运行环境实现StreamApp基类的两个方法Execute（消费kafka数据，并对消费到的数据转换成对象，过滤每张表的数据写入到CK）Save（实...
- ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n... ClickHouse的SQL语法一、常用的SQL命令作用SQL列出所有数据库show databases;进入某一个数据库use dbName;列出数据库中所有的表show tables;创建数据库create database [if not exists] dbName;删除数据库drop database dbName;创建表create [temporary] table [if n...
- ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别... ClickHouse的VersionedCollapsingMergeTree深入了解该引擎继承自 MergeTree 并将折叠行的逻辑添加到合并数据部分的算法中，这个引擎:允许快速写入不断变化的对象状态删除后台中的旧对象状态，这显著降低了存储体积VersionedCollapsingMergeTree 用于相同的目的折叠树 ，但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。 特别...
- ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来... ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来...
- ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存... ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签