- HiveMetaStore架构源码分析 HiveMetaStore架构源码分析
- 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许... 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许...
- 可信智能计算服务产品优势介绍 可信智能计算服务产品优势介绍
- 可信智能计算服务TICS公测上线。 可信智能计算服务TICS公测上线。
- 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t... 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t...
- 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目... 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目...
- 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。
- 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数... 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数...
- 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ... 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ...
- Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。 Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。
- 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java.... 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java....
- Jmeter入门 Jmeter入门
- 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射... 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射...
- Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,... Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,...
- 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签