- Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。 Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。
- 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java.... 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java....
- Flink初学：读写HBase Flink初学：读写HBase
- Jmeter入门 Jmeter入门
- 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射... 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射...
- Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,... Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,...
- 在FLink SQL中一般是以create Table和connector结合的形式读取外部数据，从而创建table，如下是以JDBC作为connector的创建格式：CREATE TABLE MyUserTable ( ...) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://localhost:33... 在FLink SQL中一般是以create Table和connector结合的形式读取外部数据，从而创建table，如下是以JDBC作为connector的创建格式：CREATE TABLE MyUserTable ( ...) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://localhost:33...
- 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。
- Spark 是专为大规模数据处理而设计的快速通用的计算引擎，起源于UC Berkeley AMP lab的一个研究项目。相比传统的Hadoop(MapReduce) ，Spark的性能快了将近100x倍。Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上，其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题，于是诞生了Spark-Redis Spark 是专为大规模数据处理而设计的快速通用的计算引擎，起源于UC Berkeley AMP lab的一个研究项目。相比传统的Hadoop(MapReduce) ，Spark的性能快了将近100x倍。Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上，其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题，于是诞生了Spark-Redis
- 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码 本文主要进行Hive/Hadoop的安装配置，最后实现IDEA远程调试Hive代码
- 模型设计完成后，如何生成端到端全流程的数据开发作业 模型设计完成后，如何生成端到端全流程的数据开发作业
- 简单介绍如何搭建Zookeeper,HBase,Phoenix单机开发环境，进行简单的功能测试 简单介绍如何搭建Zookeeper,HBase,Phoenix单机开发环境，进行简单的功能测试
- Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都... Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都...
- HBase的一个Retry次数引起的MultiActionResultTooLarge的问题 HBase的一个Retry次数引起的MultiActionResultTooLarge的问题
- 1. 环境异常现象及初步分析 项目中对接外部的thrift服务，使用该服务提供的thrift client进行访问；我们刚开始进行功能验证时一切运行正常，但后来请求量稍微高一点后，就出现了进程卡死的现象，查看后台日志，开始以为是哪个接口有bug导致服务崩溃，后来发现接口是随机性的报错，并且在异常抛出后，client无法再响应后继请求。 跟踪日志查看，每次在出现org.... 1. 环境异常现象及初步分析 项目中对接外部的thrift服务，使用该服务提供的thrift client进行访问；我们刚开始进行功能验证时一切运行正常，但后来请求量稍微高一点后，就出现了进程卡死的现象，查看后台日志，开始以为是哪个接口有bug导致服务崩溃，后来发现接口是随机性的报错，并且在异常抛出后，client无法再响应后继请求。 跟踪日志查看，每次在出现org....
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签