- HiveMetaStore架构源码分析 HiveMetaStore架构源码分析
- 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许... 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许...
- 可信智能计算服务产品优势介绍 可信智能计算服务产品优势介绍
- 可信智能计算服务TICS公测上线。 可信智能计算服务TICS公测上线。
- 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t... 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t...
- 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目... 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目...
- 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。
- 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数... 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数...
- 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ... 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ...
- Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。 Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。
- 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java.... 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java....
- Jmeter入门 Jmeter入门
- 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射... 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射...
- Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,... Server端java代码要点：用accept开启一个Socket1InputStream inputStream = socket.getInputStream();while ((len = inputStream.read(bytes)) != -1) {3// 注意指定编码格式，发送方和接收方一定要统一，建议使用UTF-84sb.append(new String(bytes, 0,...
- 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。 提出一种基于Thrift Protocol实现自定义信息传输的解决方案，可以在不变动现有服务协议和数据结构的前提下，仅通过较少的协议修改和Class引用修改达到自定义信息传输的目的。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签