- 执行MapReduce报错：无法分配内存 (errno=12) 执行MapReduce报错：无法分配内存 (errno=12)
- Structured Streaming报错记录：Overloaded method foreachBatch with alternatives Structured Streaming报错记录：Overloaded method foreachBatch with alternatives
- NiFi集群页面的添加、配置处理器操作下面以GetFile Processor为例来添加配置处理器：一、从工具栏中拖入Processor，在弹出的面板中搜索GetFile,然后点击“ADD”添加Processor在生成的GetFile processor上右键，弹出可操作选项：对以上操作选项的解释如下：操作选项功能描述Configure(配置)此选项允许用户建立或更改处理器的配置,也可以在对... NiFi集群页面的添加、配置处理器操作下面以GetFile Processor为例来添加配置处理器：一、从工具栏中拖入Processor，在弹出的面板中搜索GetFile,然后点击“ADD”添加Processor在生成的GetFile processor上右键，弹出可操作选项：对以上操作选项的解释如下：操作选项功能描述Configure(配置)此选项允许用户建立或更改处理器的配置,也可以在对...
- NiFi集群页面管理节点操作用户可以手动断开节点与集群的连接，节点也可能由于其他原因而断开连接，例如由于缺乏心跳。节点断开之后用户不能修改节点上的数据流，另外，有可能由于网络问题导致节点无法与集群协调器通信导致页面上显示节点断开连接，并不意味着它不起作用。一、断开节点手动断开节点可以点击“断开连接”图标：断开节点之后，可以对断开节点进行卸载、删除操作。二、卸载节点在断开节点上存储的数据可以... NiFi集群页面管理节点操作用户可以手动断开节点与集群的连接，节点也可能由于其他原因而断开连接，例如由于缺乏心跳。节点断开之后用户不能修改节点上的数据流，另外，有可能由于网络问题导致节点无法与集群协调器通信导致页面上显示节点断开连接，并不意味着它不起作用。一、断开节点手动断开节点可以点击“断开连接”图标：断开节点之后，可以对断开节点进行卸载、删除操作。二、卸载节点在断开节点上存储的数据可以...
- NiFi单节点安装一、介绍与下载Apache NiFi可以基于Linux和Window安装，这里建议基于Linux安装。安装NiFi的节点需要安装JDK8,NiFi0.x版本需要JDK7。NiFi安装可以单节点安装，也可以分布式安装。我们这里安装NiFi的1.13版本，需要JDK8。NiFI下载官网地址：Apache NiFi Downloads二、单节点安装1、将下载好的NiFi安装包上... NiFi单节点安装一、介绍与下载Apache NiFi可以基于Linux和Window安装，这里建议基于Linux安装。安装NiFi的节点需要安装JDK8,NiFi0.x版本需要JDK7。NiFi安装可以单节点安装，也可以分布式安装。我们这里安装NiFi的1.13版本，需要JDK8。NiFI下载官网地址：Apache NiFi Downloads二、单节点安装1、将下载好的NiFi安装包上...
- 什么是NiFiApache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，在大数据生态中的定位是成为一个统一的，与数据源无关的大数据集成平台。Apache NiFi 是为数据流设计，它支持高度可配置的指示图，来指示数据路由、转换和系统中流转关系，支持从多种数据源动态拉取数据。简单地说，NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流... 什么是NiFiApache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，在大数据生态中的定位是成为一个统一的，与数据源无关的大数据集成平台。Apache NiFi 是为数据流设计，它支持高度可配置的指示图，来指示数据路由、转换和系统中流转关系，支持从多种数据源动态拉取数据。简单地说，NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流...
- Flink操作KuduFlink主要应用场景是流式数据处理上，有些公司针对流式数据使用Flink实时分析后将结果存入Kudu,例如快手公司。这里将实时计算的结果存入Kudu需要自定义Flink Kudu Sink。场景：Flink实时读取Socket数据，将结果存入Kudu表t_flink_result,为了方便操作不再创建Kudu外表，这里在Impala中创建Kudu内表t_flink_r... Flink操作KuduFlink主要应用场景是流式数据处理上，有些公司针对流式数据使用Flink实时分析后将结果存入Kudu,例如快手公司。这里将实时计算的结果存入Kudu需要自定义Flink Kudu Sink。场景：Flink实时读取Socket数据，将结果存入Kudu表t_flink_result,为了方便操作不再创建Kudu外表，这里在Impala中创建Kudu内表t_flink_r...
- Clickhouse中update/delete的使用从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。下面介绍一下Clickhouse中update、delete的使用。更新、删除语法：Clickhouse通过alter方式实现更新、... Clickhouse中update/delete的使用从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。下面介绍一下Clickhouse中update、delete的使用。更新、删除语法：Clickhouse通过alter方式实现更新、...
- ClickHouse的SQL函数一、类型检测函数select toTypeName(0);select toTypeName(-0);select toTypeName(1000);select toTypeName(-1000);select toTypeName(10000000);select toTypeName(-10000000);select toTypeNam... ClickHouse的SQL函数一、类型检测函数select toTypeName(0);select toTypeName(-0);select toTypeName(1000);select toTypeName(-1000);select toTypeName(10000000);select toTypeName(-10000000);select toTypeNam...
- 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应... 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应...
- 利用sentinel 1和2进行指定区域逐月NDVI的监测，此过程中所用的技术要点是利用起止时间来确定每一个月的个数，从而分别计算出每一个月指定区域的NDVI。期间用到了KMEANS聚类，从而将样本点进行训练分类。函数：ee.Clusterer.wekaKMeans(nClusters, init, canopies, maxCandidates, periodicPruning, min... 利用sentinel 1和2进行指定区域逐月NDVI的监测，此过程中所用的技术要点是利用起止时间来确定每一个月的个数，从而分别计算出每一个月指定区域的NDVI。期间用到了KMEANS聚类，从而将样本点进行训练分类。函数：ee.Clusterer.wekaKMeans(nClusters, init, canopies, maxCandidates, periodicPruning, min...
- 三个案例开发一、记录请求日志需求：记录每次请求中如下的信息并存储进入日志文件请求的来源浏览器所在电脑IP请求的资源 URL请求发生的时间监听器代码package com.lanson.listener;import javax.servlet.ServletRequest;import javax.servlet.ServletRequestEvent;import javax.servle... 三个案例开发一、记录请求日志需求：记录每次请求中如下的信息并存储进入日志文件请求的来源浏览器所在电脑IP请求的资源 URL请求发生的时间监听器代码package com.lanson.listener;import javax.servlet.ServletRequest;import javax.servlet.ServletRequestEvent;import javax.servle...
- 开发案例之登录验证需求：通过过滤器控制,只有登录过之后可以反复进入welcome.jsp欢迎页,如果没有登录,提示用户进入登录页进行登录操作。一、准备实体类User类：package com.lanson.pojo;import java.io.Serializable;/** * @Author: Lansonli * @Description: MircoMessage:Mark_70... 开发案例之登录验证需求：通过过滤器控制,只有登录过之后可以反复进入welcome.jsp欢迎页,如果没有登录,提示用户进入登录页进行登录操作。一、准备实体类User类：package com.lanson.pojo;import java.io.Serializable;/** * @Author: Lansonli * @Description: MircoMessage:Mark_70...
- 过滤器注解应用和开发案例一、过滤器注解应用@WebFilter属性package com.lanson.filter;import javax.servlet.*;import javax.servlet.annotation.WebFilter;import javax.servlet.annotation.WebInitParam;import java.io.IOException;... 过滤器注解应用和开发案例一、过滤器注解应用@WebFilter属性package com.lanson.filter;import javax.servlet.*;import javax.servlet.annotation.WebFilter;import javax.servlet.annotation.WebInitParam;import java.io.IOException;...
- 过滤器的使用在一个web应用中，可以开发编写多个Filter，这些Filter组合起来称之为一个Filter链。web服务器根据Filter在web.xml文件中的注册顺序，决定先调用哪个Filter，当第一个Filter的doFilter方法被调用时，web服务器会创建一个代表Filter链的FilterChain对象传递给该方法。在doFilter方法中，开发人员如果调用了FilterC... 过滤器的使用在一个web应用中，可以开发编写多个Filter，这些Filter组合起来称之为一个Filter链。web服务器根据Filter在web.xml文件中的注册顺序，决定先调用哪个Filter，当第一个Filter的doFilter方法被调用时，web服务器会创建一个代表Filter链的FilterChain对象传递给该方法。在doFilter方法中，开发人员如果调用了FilterC...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签