- HiveMetaStore架构源码分析 HiveMetaStore架构源码分析
- 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许... 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许...
- 可信智能计算服务产品优势介绍 可信智能计算服务产品优势介绍
- 可信智能计算服务TICS公测上线。 可信智能计算服务TICS公测上线。
- 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t... 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t...
- 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目... 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目...
- 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。
- 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数... 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数...
- 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ... 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ...
- Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。 Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。
- 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java.... 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java....
- Jmeter入门 Jmeter入门
- 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射... 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射...
- Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,... Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,...
- 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签