- TICS， 可信智能计算 TICS， 可信智能计算
- 本Demo场景为获取HIVE SQL的select结果，作为参数传递到下一个节点进行进一步的条件判断，workflow如下图： 图1. --- 主作业关系图Foreach子作业配置如下图： ... 本Demo场景为获取HIVE SQL的select结果，作为参数传递到下一个节点进行进一步的条件判断，workflow如下图： 图1. --- 主作业关系图Foreach子作业配置如下图： ...
- HiveMetaStore架构源码分析 HiveMetaStore架构源码分析
- 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许... 项目中使用线程池很正常，诸如dlcatalog创建使用metastore的client所使用的线程池，但如何设置线程池的大小则关乎系统性能。线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。线程池应该避免设置的过大或过小，如果线程池过大，大量的线程将在相对很少的CPU和内存资源上发生竞争，这不仅会导致更高的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许...
- 可信智能计算服务产品优势介绍 可信智能计算服务产品优势介绍
- 可信智能计算服务TICS公测上线。 可信智能计算服务TICS公测上线。
- 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t... 某天，某电视台找到税务局和水电局， 说想做一起节目， 以获知有哪些企业是高质量节能企业，要给他们颁奖。这就需要交税量和用电量的数据， 如果交税量/用电量的比值很高， 说明这家公司既挣钱，用电量又少，高效又节能 类似于希望这2个局提供2个表， 将电力表和税收表做一个联合查询， 放到一个数据库中，并执行如下sql：Select rank.公 司 名 ( Select t...
- 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目... 数据治理建设步骤参考:简单介绍一下相关概念:1. 分层分库: 针对一个庞大的业务系统实现数据标准化治理, 分层分库即是采用分治理念,将复杂的问题简单化, 减少变化影响, 减少重复开发重复计算. 分层即按照华为概念划分为SDI(原始数据层)->DWI(多源整合层)->DWR(数据报告层)->DM(数据汇总层); SDI对应系统原始业务元数据, 真实系统会分多个源头\多个部门数据, DWI层的目...
- 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标，下面介绍如何通过DAYU中的数据质量模块实现跨源数据对账的基本一致性校验。
- 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数... 数据服务支持对于API的导入导出, 便于快速复制迁移现有的API。 API导出：首先在数据服务的API管理界面, 选择更多下的导出, 如下图所示。在导出界面, 勾选需要导出的API, 确定导出列表。点击确定后, 即可生成对应的excel文件。数据服务各种类型的API, 数据格式并不相同, 会分别导出至excel不同的sheet中, 点击下方sheet切换查看编辑。excel中所有列的具体参数...
- 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ... 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ...
- Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。 Git作为版本控制工具，在工作中起到了举足轻重的作用，学会使用git可以让我们在团队开发中事半功倍。
- 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java.... 今天用flink测试1个beam程序包， 里面要做1个认证的操作， 认证操作通过部门内部的认证组件包实现。但是发现认证失败， 异常提示"jass DLFClient not exist"。 DlfClient是我们定义的一个module。§ 分析过程这显然是没正确加载到jaas文件， jaas文件里是有DLFClient这个moudle的：用远程调式跟踪了下，发现认证前是有做配置java....
- Jmeter入门 Jmeter入门
- 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射... 首先最关键的模块就是spark中的BlockManager。学习一下。§ BlockManager是什么？BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。其内部模块图如下：图中看到有个memoryStore和DiskStore，说明把block做存储时，有内存和磁盘2种方式，存储后就都i通过这个Store去管理。存储时以Block为单位，所以会有个映射...
上滑加载中
推荐直播
-
openEuler Summit 20242024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日，我们将在北京中关村国际创新中心举办 操作系统大会＆openEuler Summit 2024，本次大会旨在汇聚全球产业发展力量，邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁，共同探讨操作系统产业发展方向和未来机遇，联合伙伴展示最新合作成果，分享数字化转型实践，以技术驱动创新不断激发新质生产力。
正在直播 -
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签