-
2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级,突破传统方案需离线停机多次升级模式,一次性将核心现网集群版本由FusionInsight HD C70升级到FusionInsight MRS 8.0.2,横跨C80、6.5.1两个版本,同时完成了大数据集群从物理机向云服务的模式转变,实现该案例在金融同业首例突破,树立同业新标杆。经过为期两周的升级实施过程操作,实现太保上层业务无感的平滑滚动升级,全程集群作业无中断、性能无影响。本次跨版本滚动升级的成功对金融科技领域意义重大,标志着中国太平洋保险为金融同业树立了大数据服务跨多版本升级、业务连续性和可持续演进的新建设标杆。一、项目背景 中国太平洋保险集团从2017年选择华为云FusionInsight构建保险大数据平台。随着太保与华为云合作的持续深入,其内部主要业务系统都已使用华为云大数据平台。但是早期各业务系统都建设了独立的大数据集群,数据无法互通,存在数据冗余,且多集群造成维护难问题。截止升级前已建设18套大数据集群,以FusionInsight HD C70版本为主。 随着太保业务的高速发展,对大数据平台的统一管理、数据共享、升级演进有了新的诉求,希望将现网18套生产集群进行统一升级和归并,同时面向未来提供大数据集群可持续演进的能力。 为此,太保联合华为云,决定将现有18套大数据集群,由FusionInsight HD C70版本统一升级到MRS8.0,升级的主要目标:通过对原集群升级归并,统一为一套大集群,通过资源整合,提高资源利用率;统一到MRS平台版本资源监控更完善,定位问题更准确;升级到云平台,可以按需灵活调配资源,实现可演进的湖仓一体架构,扩展其他高阶服务。二、项目内容2.1 技术挑战 太保大数据集群按需部署了HBase、Hive、HDFS、ZooKeeper、YARN、Oozie、Hue、Spark等各类组件。 此外,集群中每日有上万作业的执行,也为无感知的滚动升级加大了难度。主要挑战有以下几点:Hadoop组件内核由X到3.X的跨大版本升级中,社区仅提供了HDFS的滚动升级能力,YARN的社区原生目标版本由于与原版本协议不同,无法支持滚动升级;社区原生版本的HDFS在升级过程中,删除的文件并不会物理删除,而是移动到trash目录,这一处理对大容量集群的滚动升级造成存储资源压力,阻碍了剩余信息保护,如果不能及时清理会导致爆盘问题;Hive组件内核由X到3.X的跨大版本升级中,由于元数据前后格式不兼容、API前后版本有变化、部分语法不兼容等问题,导致社区原生版本无法支持滚动升级;HBase组件内核由X到2.X的跨大版本升级中,API前后版本存在较大的变化,导致社区原生版本无法支持滚动升级;每日上万任务量,滚动升级期间如何保障平稳运行,尤其是损益分析、减值测算等核心场景;600+节点的大数据集群环境下,需要确保在升级过程中突发状况,快速应对硬件(磁盘、内存等)故障,不影响升级;70+业务系统,数百个业务在此集群上运行,滚动升级过程中需要保证每一个业务运行不受损。2.2 技术保障 滚动升级就是借助于FusionInsight MRS的高可用机制、主备模式、多副本机制、机架策略等在不影响集群整体业务的情况下,一次升级/重启部分节点。循环滚动,直至集群所有节点升级到新版本。 下图为已HDFS组件滚动升级示例: 为应对上述技术挑战项目组建了滚动升级小组,由社区PMC、社区Commiter、版本Developer构成,主要执行了以下技术保障:依托协议同步、元数据映射转换、API封装转换等方式,解决了社区协议不同、元数据格式不同、API变化等导致的兼容性问题,保障了滚动升级过程中低版本的组件客户端的正常使用;针对HDFS社区新版本升级过程中的文件未删除问题,额外实现了trash目录自动清理,将逻辑删除转换为物理删除,并增补了旧版本定期清理trash目录的工具。确保了基础设施资源利用的有效性,降低存储成本;针对组件升级前后性能状况、升级时长、升级过程中和事后可能出现的瓶颈点等问题,做了相应架构调整及优化,助力实现滚动升级的全局可控、全程无感、全面无误;运维管理方面,项目组针对性的研发了升级管理服务界面,可以端到端、分步骤地完成滚动升级,便于查看滚动升级状态,实现组件级控制。为了降低在升级过程中对关键任务服务连续性的影响,项目实现了按升级批次暂停的功能,有助于在关键作业或者作业高峰时段,通过暂停升级进行风险规避,确保业务无影响。此外,为避免各种突发事件中断升级进程,项目实现了故障节点隔离能力,在故障发生时,可以跳过对应节点的升级动作,保障了故障处理和升级的同步进行。2.3 组织保障 项目启动后,成立了以太保相关领导为项目经理,以华为交付和研发、太保的研发和运维为成员的联合项目组。本次升级面向的应用部门多达20+,平台涉及业务数量多且复杂。为保证滚动升级成功且整个过程中业务要做到0中断,在升级前、中、后的6个月里由华为方主导,客户各个业务部门紧密配合,项目组制定了周密的组织保障制度。太保升级项目组织保障升级前准备阶段:在项目组整体协调和华为的研发支撑下,完成了70+应用代码改造及验证,并输出测试报告;为充分识别风险,华为主动提供测试环境硬件资源,项目组联合各应用部门,进行了3次升级演练的联合测试;为达成升级前置条件,华为专家调研指导,有效的进行了集群小文件合并、客户端整改、集群多次巡检、升级方案的反复评审改进等升级前准备工作;升级过程保障:在升级过程的两周期间,华为安排研发、方案等专家现场保障。华为协同太保联合项目组制定了24小时排班保障、联合项目组和应用部门间的信息反馈及沟通(滚动升级中每组件升级完都需业务验证及确认)、升级操作的联合项目组授权、升级操作的录屏监控等制度;升级后观察:滚动升级完成后,联合项目组协调各应用部门进行应用业务验证,且已全部输出业务运行正常报告。后华为项目组后续持续观察两周时间,确认平台及应用运行正常后进行了本次升级提交。三、总结与展望 太平洋保险联合华为公司完成的本次金融业首家大数据集群跨多版本的滚动升级,实现了上层业务无感知、全程集群作业无中断、性能无影响,切实保障了客户的核心利益,也树立了金融同业新标杆。 随着数字化技术的不断迭代升级,将改变传统保险运营模式,未来主要会呈现出以下三个方向的变革:实现从大数到小数,加强风险数字刻画,从过去的大数概率到小数更加敏锐的感知,将从根本上改变传统的运营模式;从实体到虚拟,数据已是重要的生产资料,通过海量数据识别和评估新型资产的风险,将成为保险业的核心能力;从保险到治理,数字化将提升保险公司自身风险管理能力,将更多的参与到国家、城市的风险治理当中,逐步从损失补偿到风险管理和治理。 面向未来,太平洋保险将携手华为持续创新,不断完善风险生态,贯彻"以客户需求为导向"的战略,建设"专注保险主业,价值持续增长,具有国际竞争力的一流保险金融服务集团"。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
基于“十四五规划”践行“信息化2.0的行动计划”,华为云联合北师智慧构建了“互联网+教育”大平台——北师智慧智学伴教学系统,目的在于实现人工智能、大数据等先进技术与教育教学的深度融合,助力智慧教育数字化转型发展。平台以提高课堂效率为目标,将教学场景、教学内容和教学应用深度融合,教学过程与学情数据自动融入个人空间,全面沉淀过程性的数据,为教研和教学服务,教育云平台包含了融合的资源平台和管理平台。功能覆盖教学全场景,主要服务于学生、老师、家长、管理者四个对象。 商品亮点:1)深度融合教学场景 让每个老师都能做好信息化教学,不改变老师的教学习惯,把教学资源融入教学业务流程2)轻投入实现大规模因材施教 业内唯一,学生不购买硬件设备,老师手阅即可收集批阅痕迹并自动生成错题集3)盘活已投入的基础设施硬件利旧学校基础实施,班班通安装软件上云;开放融合,可对接已建设的平台和内容4)数据融合的开放平台 全面构建基于大数据实现全场景数据融合,内容、软件、硬件、平台均可开放融合5)标准化服务 服务简单,交付有标准、培训有计划、教研活动有准备,帮助学校提升师生信息素养 华为云云市场北师智慧智学伴教学系统核心功能:(1)智慧教育大脑:北师智慧基础云服务平台,构建开放、融合、共享的哈尔滨“城市大脑”。围绕学生、教师、教研员、管理者四类用户的核心诉求,构建和完善当地教育大脑中枢及教育教学应用体系。依据国家、教育部、省教育厅数据标准,统一数据采集标准和使用规范;建设统一生态平台,横向整合区域平台,纵向对接国家和黑龙江省平台,基于全场景应用形成“用数据辅助决策”的新机制,构建面向数据可视化的“一张图”教育治理图谱。 (2)局级教育治理大数据平台解决多级管理的一体化问题,实现教育局层面的教育管理平台,以及教育大数据看板等平台系统,推进区域内教育水平的均衡发展。帮助管理者及时掌握信息化系统建设与应用情况,实现基于数据的科学化决策和大规模因材施教;帮助地方政府通过平台有效提升“课后3点半”的校内课外辅导效率和效果,有效规范并治理培训机构。(3)局级资源共建共享平台建设“互联网+教育”大资源平台,建设形成协同连接的网状数字化教育资源应用环境。支持区校形成资源一体、数据同步、业务联通、服务融合、协同发展的一体化应用环境,实现优质数据与资源的沉淀与再应用。 (4)人人通空间全覆盖通过人人通网络学习空间的建设,重构当地学校全体教师的教学和办公环境,以及学生的学习环境,建立人人皆学、处处能学、时时可学的泛在学习环境,适应信息化条件下的教与学需求。 (5)“教、学、测、评、育”应用为教师提供备、教、改、辅、考全方面的智能教学工具,为学生提供一套完整预习、课堂、作业、练习、错题本等一系列学习活动的学习空间;满足教育部提出的提高课堂效率与质量的要求,在实际教学中,用数据帮助教师关注每一个学生,差异化教学;同时提供智慧教研系统、综合素质评价、家校共育系统,满足教师、学生、家长、管理者多方教育应用的需求,推进优质的资源和应用在学校的落地,实现与课堂教学的深度融合。 (6)智慧作业学生不需要购买硬件设备,老师用智慧笔批阅,达成全面收集老师批阅痕迹并自动生成错题集。全面解决批阅痕迹保留,应对教育部作业管理相关政策,实现老师批改作业,同时可控制作业总量和质量、获得作业数据分析;各级教育局可监管作业的批改、作业的质量;不给家长增加负担,提供学情数据服务。(7)智慧课堂通过小组探究性学习课堂、纸笔智慧课堂、PAD智慧课堂等多种形态,实现课前预习、课后作业、学科工具、课堂报告、课堂板书及微课、云与白板的融合系统、课堂智能组网、多屏互动管控、课堂互动、课堂测试等丰富的课堂形式。加速课堂教学进度,增强教学互动性,提高学生学习兴趣和积极性,实现课堂翻转和教学创新,有效实现教学资源应用的普及化和常态化,小组探究性学习课堂,帮助学生建立主动学习、探究学习、小组协作学习的能力,同时解决课后“3点半”在校内延时自主学习课上的学习问题。 北师智慧智学伴教学系统以“教、学、测、评、育”教育全场景的智慧教育解决方案,积极响应国家教育信息化2.0建设要求,帮助地区政府实现教育产业数字化转型发展,让每个孩子得到优质的教育资源,让每个孩子成为最好的自己!文中提到的商品链接:北师智慧智学伴教学系统【华为云云市场,助您上云无忧】
-
概述 当我们把设计稿和技术选型定下来之后,接下来就要开始着手画这个依赖图了。依赖图的组成最简单的就是节点Node 和节点之间的连线。这一节我们要处理的就是节点位置信息的处理。为了确定节点的位置信息,首先要给节点分层,分层的信息取决于节点之间的依赖关系。问题分析 当前我们默认图是从上到下布局方式,节点分层,最容易想到的就是拓扑排序,通过BFS 宽度优先遍历,计算每个节点的步长。自顶向下BFS 如上图,我们如果是普通的BFS,我们会发现D 节点应该是第二层,实际上D应该是第三层,所以,实际上每个节点应该取最大的步长,实现如下function calcLayer(nodes){ var queue = []; var maxLayer = 1; var nodesT = nodes; // 入度为0 的点放入队列 for (var i = 0; i < nodesT.length; i++) { if (nodesT[i].inputNode.length === 0) { nodesT[i].layer = 1; queue.push(nodesT[i]); } } while(queue.length > 0){ var tNode = queue.shift(); if (tNode.outputNode && tNode.outputNode.length > 0) { for (var j = 0; j < tNode.outputNode.length; j++) { var outputNodeIndex = getNodeIndex(tNode.outputNode[j], nodesT); if(outputNodeIndex < 0) continue; if (nodesT[outputNodeIndex].layer === -1) { nodesT[outputNodeIndex].layer = tNode.layer + 1; }else{ nodesT[outputNodeIndex].layer = Math.max(nodesT[outputNodeIndex].layer,tNode.layer + 1); } // 更新节点层次,选择最大值 maxLayer = Math.max(maxLayer, nodesT[outputNodeIndex].layer); queue.push(nodesT[outputNodeIndex]); } } } } 至此分层基本完成,但是发现另外一种情况,如下: 如果是按照刚才那种分发,入度为0 的节点必然在第一层,其实这种,我们可能更希望 G在第三层,F 在第二层,例如下图展示的 这样展示,图会更紧凑一点,观察图可知,在链路中间的节点,它的层级就是固定的,例如D节点,但是一些没有上游节点的,例如G,F 的位置确实可以多种选择的。在观察,我们可以知道,如果从E往上BFS,我们会发现,G,F节点就是我们需要的层次了,所以,这时候,我们需要自底向上再进行一次BFS,得到新的层级,并且用自底向上的结果去矫正自上而下的结果,这一点很关键。自底向上BFSfunction bottomToTop (nodes){ var queue = []; var maxLayer = 1; for (var i = 0; i <nodes.length; i++) { if (nodes.outputNode.length === 0) { nodes[i].layer = 1; queue.push(nodes[i]); } } while(queue.length > 0){ var tNode = queue.shift(); if (tNode.inputNode && tNode.inputNode.length > 0) { for (var j = 0; j < tNode.inputNode.length; j++) { var inputNodeIndex = getNodeIndex(tNode.inputNode[j], nodes); if(inputNodeIndex < 0) continue; if (nodes[inputNodeIndex].layer === -1) { nodes[inputNodeIndex].layer = tNode.layer + 1; }else{ nodes[inputNodeIndex].layer = Math.max(nodes[inputNodeIndex].layer,tNode.layer + 1); } maxLayer = Math.max(maxLayer, nodes[inputNodeIndex].layer); queue.push(nodes[inputNodeIndex]); } } } // 计数从下到上的,这里要转换成从上到下 for(var i = 0; i < nodes.length; i++){ nodes[i].layer = maxLayer + 1 - nodes[i].layer; } }修正结果集function fixLayer (nodesT, nodes){ for(var i = 0; i < nodesT.length; i++){ if(nodesT[i].inputNode.length === 0){ var minL = maxLayer; var minT = maxLayer; if(nodesT[i].outputNode && nodesT[i].outputNode.length > 0){ for(var j = 0; j < nodesT[i].outputNode.length; j++){ var inputNodeIndex = getNodeIndex(nodesT[i].outputNode[j], nodes); var inputNodeIndexT = getNodeIndex(nodesT[i].outputNode[j], nodesT); if(inputNodeIndex < 0) continue; if(inputNodeIndexT < 0) continue; // 注意,矫正的结果不能该节点比它子节点的层级还要高,这里要和它子节点做一次比较 minL = Math.min(minL, nodes[inputNodeIndex].layer - 1); minT = Math.min(minT, nodesT[inputNodeIndexT].layer - 1); } } nodesT[i].layer = Math.min(minL,minT); } } }总结 这里主要用到了BFS,如果很熟悉这个算法的话,还是很简单的,同时要观察一些实际情况,做一些优化即可!转自,从零开始画自己的DAG作业依赖图(二)--分层布局算法-云社区-华为云 (huaweicloud.com)
-
随着大数据业务场景越来越复杂,数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现作业失败,或者重试的情况,运维或者开发人员需要有一个很直观的图展示了解作业之间的依赖,这时候DAG依赖流程图就是一个很好的展现形式。由于一些开源的插件和当前的业务逻辑有一些冲突,华为云大数据技术工程师尝试从零开始,一点点实现业务的DAG图,并记录整个实现过程和总结。【摘要】 背景: 由于业务场景需要展示作业之间的依赖关系,由于一些开源的插件和当前的业务逻辑有一些冲突,个人打算尝试从零开始,一点点实现自己的DAG图。同时用博客记录自己实现过程和总结,不正确的地方,欢迎指正提升。场景分析: 1. 数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现有些作业失败,或者重试,这时候,运维或者开发的人,需要有一个很直观的图去展示作业之...背景: 由于业务场景需要展示作业之间的依赖关系,由于一些开源的插件和当前的业务逻辑有一些冲突,个人打算尝试从零开始,一点点实现自己的DAG图。同时用博客记录自己实现过程和总结,不正确的地方,欢迎指正提升。场景分析: 1. 数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现有些作业失败,或者重试,这时候,运维或者开发的人,需要有一个很直观的图去展示作业之间的依赖,这时候DAG 依赖流程图就是一个很好的展现形式。 2. 大数据场景下,可能会出现很多节点,甚至可能达到上千,甚至上万的节点,节点之间的边有可能也会很多,大的数据下,图的渲染时间需要考虑在内 3. 用户有可能在看了图之后,想直接重跑或者查看某个节点的上下游节点,等等运维操作 4. 用户可能需要图拖动某个算子,点击某个算子,复制某些算子的名称等一些操作实现目标: 基于以上客户的要求,我们大致明确要实现目标和需求,梳理如下 1. 用图的方式展示作业之间的依赖,基本能力要达到 2. 图要能够支撑大数据场景,在很多节点下节点之间布局清晰节点的之间的连线不要重叠,少交叉图能够支持缩放,拖动 图中节点支持拖动 3. 图要支持运维能力 悬浮某个节点 ,展示该节点的上下游,能够区分上下游节点选中某个节点,以及支持选中某个节点全部上游或者下游节点右键可以定制化业务操作,例如作业实例的重跑,停止作业名称支持复制选中具体某个节点可以展示该节点的信息面板 4. 优化提升提供鸟瞰图的功能,保证大数据下可以查找节点 提供搜索功能,能够精准在图上定位出要找的作业交互设计稿: 基于以上目标,设计稿大致如下技术选型: 一般的DAG,就两种方式,一种是canvas实现,另外一种就是svg,由于svg 对于事件处理比较简单,但是性能会差一些,后续如果svg 性能搞不定,可以使用canvas优化,新手,所以这里我选择了svg。用了svg.js,这个开源的插件,封装了一些简单的svg 函数,可以减少部分工作量。实现过程概览: 个人打算分一下几个方面,逐步实现。规划,背景,交互设计方案,技术选型节点的分层布局算法节点之间的线条路径图上运维--右键,选中,节点复制等图上事件--缩放,平移,节点拖动等后期优化--纵向排列优化后期优化--鸟瞰图以及搜索框及其他后期优化--大数据节点优化转自,从零开始画自己的DAG作业依赖图(一)--前期准备-云社区-华为云 (huaweicloud.com)
-
2021年6月18日,华为云TechWave全球技术峰会(人工智能&数据)在上海举行,以“创新普惠”为主题,分享技术创新与行业实践。华为云大力投入数据、人工智能领域,发布数据和AI系列新品,加速千行百业智能升级。华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳发表主题演讲 华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳出席并发表了《创新普惠,加速千行百业智能升级》的主题演讲。石冀琳表示:“企业实现全面云化、全栈智能的三大关键是:首先是全面拥抱云原生,加速云上创新,打造企业数字化转型、智能升级的底座;其次是围绕数据全生命周期技术创新,激发数据潜能,让数据成为新的生产要素;最后是释放AI生产力,使能全业务、全流程创新,打造企业智能升级的核心能力。”华为云架构与技术规划部部长朱海培发表主题演讲 华为云架构与技术规划部部长朱海培出席并发表了《云原生2.0,让云无处不在,让智能无所不及》的主题演讲。朱海培表示:“华为云FusionInsight智能数据湖解决方案提供湖仓一体的统一数据平台,包含MRS云原生数据湖、DWS数据仓库、DGC数据湖治理中心、DLI数据湖探索、ModelArts推理平台、TICS可信智能计算等云服务。通过底层统一数据存储,实现全局一份数据,通过对象存储物理数据,全局一份数据无需搬迁数据;分析计算,多引擎弹性计算,一个平台多引擎支持批处理、流处理、交互式查询等;统一元数据管理,全局一个视图,实现全局统一元数据管理,像管理代码一样管理数据。 在峰会上由太平洋保险客户发表《数字化提升保险风险治理能力》主题演讲,云计算、大数据等技术支撑风险生态建设,推动保险业务产品的转型和重塑,全面实现数字化和数智化的运营模式。太平洋保险在大数据平台的创新实践 中国太平洋财产保险基于华为云FusionInsight大数据平台,整合客户信息、运营服务资源和气象数据,搭建起气象灾害的风控信息化平台,并逐步深化大数据应用,延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”,不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力;在个客风控平台方面,打通承保理赔数据,形成客户的风控画像,结合经营风险,及时的进行干预,避免经营风险的发生。华为云FusionInsight MRS解决方案架构师发表主题演讲 华为云FusionInsight MRS解决方案架构师在数据使能分论坛上发表《MRS云原生数据湖,推动大数据分析从离线走向实时》的主题演讲。当前,大数据云化部署是主流趋势,政企客户需要充分利用云技术使得大数据所需资源弹性、灵活的使用。MRS云原生数据湖可让客户在一个架构实现离线数据湖、实时数据湖、逻辑数据湖三种数据湖,用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!离线数据湖使客户在一个平台下实现AI、BI、交互式查询等多场景分析;实时数据湖使大数据分析从离线走向实时,通过Hudi实现数据增量更新,从传统Append 到 Upsert,数据实时更新,数据价值释放从T+1转变为T+0;通过Clickhouse毫秒级的OLAP分析能力,实现数据分析不出湖,解决了传统数据来回搬迁、数据冗余的问题;逻辑数据湖通过HetuEngine实现跨湖、跨仓、跨云协同分析,突破地理限制,打破数据“墙”; 同时,MRS云原生数据湖还提供IoTDB时序数据库、DGC数据湖治理中心等能力。IoTDB实现一份数据兼容全场景,一套引擎打通云边端、一套框架集成云边端;DGC实现数据统一入湖、统一数据服务,让开发者轻松驾驭数据集成、规范、开发、质量、资产、安全、开放服务全流程。 在2020年IDC MarketScape评估中,FusionInsight处于市场份额和技术实力双领先,在2021年Frost&Sullivan评估中,FusionInsight在创新、成长及基础能力全面领先国内大数据厂商。华为云FusionInsight持续投入10年+,坚持与世界同行,在开源社区先后开放CarbonData和openLooKeng等组件,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户,已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
2021年6月18日,华为云TechWave全球技术峰会(人工智能&数据)在上海举行,以“创新普惠”为主题,分享技术创新与行业实践。华为云大力投入数据、人工智能领域,发布数据和AI系列新品,加速千行百业智能升级。在峰会上由太平洋保险客户分享“数字化提升保险风险治理能力”议题,云计算、大数据等技术支撑风险生态建设,推动保险业务产品的转型和重塑,全面实现数字化和数智化的运营模式。中国太平洋财产保险基于华为大数据平台,整合客户信息、运营服务资源和气象数据,搭建起气象灾害的风控信息化平台,并逐步深化大数据应用,延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”,不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力;在个客风控平台方面,打通承保理赔数据,形成客户的风控画像,结合经营风险,及时的进行干预,避免经营风险的发生。随着数字化技术的不断迭代升级,将改变传统保险运营模式,未来主要会呈现出以下三个方向的变革:实现从大数到小数,加强风险数字刻画,从过去的大数概率到小数更加敏锐的感知,将从根本上改变传统的运营模式;从实体到虚拟,数据已是重要的生产资料,通过海量数据识别和评估新型资产的风险,将成为保险业的核心能力;从保险到治理,数字化将提升保险公司自身风险管理能力,将更多的参与到国家、城市的风险治理当中,逐步从损失补偿到风险管理和治理。华为云FusionInsight持续投入10年+,坚持与世界同行,在开源社区先后开放CarbonData和openLooKeng等组件,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户,已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
为进一步支撑国家大数据战略落地,推动“十四五”期间大数据产业交流与合作,中国信息通信研究院(以下简称“中国信通院”)于2021年6月24日在京召开“2021大数据产业峰会·成果发布会”。会上,中国信通院云计算与大数据研究所所长何宝宏发布了《2021大数据十大关键词》。十大关键词分别是:数据要素、数据安全、DataOps、隐私计算、服务体系、与云融合、实时计算、数据湖、数字孪生和硬件变革。当前世界正经历百年未有之大变局,大数据技术、产业和应用逆势而上,“数据驱动”的价值深入人心。十大关键词勾勒出了大数据在政策、技术、产业、应用等方面呈现出的特点,为产业下一步演进提供了依据。大数据产业峰会至今已经成功举办五届,成为支撑大数据国家战略落地、全景展示大数据产业发展成果、推动大数据产业交流与合作、探讨发展面临重大问题的权威会议,是政府主管部门领导、业界知名专家、产业链各环节厂商高管、学术及研究机构人员等共同参与的一个高端平台。文章转载至环球网 https://city.huanqiu.com/article/43fZj0e0By4
-
【摘要】 深入讲解通用时区数据库的组织和维护方法,以及在GaussDB(DWS)中是如何使用的。GaussDB(DWS)时区相关知识(一)GaussDB(DWS)中的时区1. 背景介绍前面两篇详细介绍了一下时区和夏令时是如何产生并一步步成为标准的,也大概介绍了一下通用时区数据库相关的知识。接下来,我们深入了解一下通用时区数据库的组织规则,以及时区和夏令时到底是如何维护的,GaussDB(DWS)中又是如何使用的。2. 通用时区数据库介绍各地的时区和夏令时规则由各自的政府独立管理,他们经常在有限的通知下进行变更。而且他们历史数据和未来计划也只是断断续续的记录下来。通用时区数据库试图组织和整理这一领域相关的数据。时区数据库,通常称为 tz, tzdata 或 zoneinfo,是一组包含大量代码和数据用来表示全球许多有代表性的地点的本地时间的历史信息,他会根据各个政体对时区边界和夏令时规则的改变而不定期的更新。数据库中每一个条目都代表这自1970年以来被广泛认可的民用时钟的时区信息。该数据库被很多项目引用,比如:the GNU C Library (used in GNU/Linux), Android, FreeBSD, NetBSD, OpenBSD, Chromium OS, Cygwin, MariaDB, MINIX, MySQL, webOS, AIX, BlackBerry 10, iOS, macOS, Microsoft Windows, OpenVMS, Oracle Database, 和 Oracle Solaris。GaussDB(DWS)同其它广泛使用的软件产品一样,也是采用了IANA维护的通用时区数据。该数据库由David Olson创立,由Paul Eggert进行编辑和维护。因而有些地方也将其称作Olson数据库。它的显著特色是由Paul Eggert设计的一套通用时区命名规则,每个时区按照“区域/位置”格式,得到一个独有的名称,例如“America/New_York”。英文地名中的空格用下划线“_”代替,连词符“-”只在英文地名本身包含时使用。时区数据库目前普遍有两个叫法 Olson时区数据库或IANA时区数据库。奥尔森(Olson)的数据有所变化,部分原因是奥尔森(AD Olson)即将退休,部分原因是针对维护者的版权侵权提起了诉讼(现已撤销)。2011年10月14日,国际互联网名称与名称分配机构(IANA)接管了时区数据库的维护工作。它会定期进行更新以反映各政治实体对时区边界、UTC 差值和夏令时规则的更改。对tz的更新遵循BCP 175流程进行管理。经常有一些国家变更时区规则,IANA每年都会发布最新的时区数据和解析源码库。IANA提供三种方法对时区数据库的访问:https://www.iana.org/time-zonesftp://ftp.iana.org/tz/rsync://rsync.iana.org/tz/时区数据库中包含各大洲原始的时区定义的文本文件和解析这些文本文件的代码文件。2.1 通用时区数据库源码相关资料:源码托管地址:https://github.com/eggert/tz 时区数据库的介绍 https://data.iana.org/time-zones/tz-link.html 时区数据库原理及使用 https://data.iana.org/time-zones/theory.html下载方法:mkdir tzdb cd tzdb wget https://www.iana.org/time-zones/repository/tzcode-latest.tar.gz #下载最新解析时区文本定义的代码文件 wget https://www.iana.org/time-zones/repository/tzdata-latest.tar.gz #下载最新时区定义的文本文件 gzip -dc tzcode-latest.tar.gz | tar -xf - gzip -dc tzdata-latest.tar.gz | tar -xf - #或者下载代码+数据的完整压缩包 wget https://www.iana.org/time-zones/repository/tzdb-latest.tar.lz #下载代码+数据的完整时区数据库 lzip -dc tzdb-latest.tar.lz | tar -xf -代码结构:时区数据库中包含的时区定义文件(文本文件):africa antarctica asia australasia europe northamerica southamerica时区数据库中包含的代码文件(用于解析时区定义文件)asctime.c date.c difftime.c localtime.c strftime.c zdump.c zic.c安装目录结构:编译完成后的安装目录结构如下cd tzdb-2020a make TOPDIR=$HOME/tzdir install leap@gaussdb:~> ./sbin/tree -L 3 tzdir/ | more tzdir/ ├── etc │ └── localtime #本地时区文件 └── usr ├── bin │ ├── tzselect #设置时区的工具 │ └── zdump #以文本展示某个时区变化历史的工具 ├── lib │ └── libtz.a #解析时区文件的静态库文件 ├── sbin │ └── zic #时区编译器,可将时区定义的文本文件编译成二进制时区文件 └── share ├── man ├── zoneinfo #编译好的各个时区文件 ├── zoneinfo-leaps └── zoneinfo-posix -> zoneinfo #IANA的时间数据库被the GNU C Library (used in GNU/Linux)采用,因此install后的目录也按linux的系统目录来组织。代码中的zic.c是一个将时区定义的原始文本文件解析成二进制时区文件的工具。如果一个软件产品需要从IANA获取最新时区数据的话,需要同时获取源码和数据,并生成zic解析器将时区数据生成时区文件给软件产品使用。时区文件的解析代码在localtime.c中2.2 时区原始数据的规则及维护方法时区数据库的RAW文件,是按照一定的规则组织的文本文件。样例如下:该规则设计的很科学,能记录时区及夏令时变更的历史信息。使用该通用时区库能自动的转换历史时间,也因此该库被广泛采用。这里介绍一下莫斯科的时区定义Zone NAME STDOFF RULES FORMAT [UNTIL] Zone Europe/Moscow 2:30:17 - LMT 1880 2:30:17 - MMT 1916 Jul 3 # Moscow Mean Time 2:31:19 Russia %s 1919 Jul 1 0:00u 3:00 Russia %s 1921 Oct 3:00 Russia MSK/MSD 1922 Oct 2:00 - EET 1930 Jun 21 3:00 Russia MSK/MSD 1991 Mar 31 2:00s 2:00 Russia EE%sT 1992 Jan 19 2:00s 3:00 Russia MSK/MSD 2011 Mar 27 2:00s 4:00 - MSK 2014 Oct 26 2:00s 3:00 - MSK1992年1月19日凌晨2点到2011年03月27日凌晨2点,采用东三区2011年3月27日凌晨2点到2014年10月26日凌晨2点,采用东四区2014年10月26日凌晨2点以后采用东三区如何阅读时区数据库的RAW文件 https://data.iana.org/time-zones/tz-how-to.htmlVSCode的Zoneinfo插件可以通过语法高亮的方式查看时区数据的RAW文件时区数据库的基本功能是提供 时区数据原始文件 和一个将 时区数据原始文件 转换成 时区文件 的一个编译器:zic。可以通过 man zic 了解时区文件编译器(将时区定义文本文件编译成二进制时区数据文件)的使用3. 通用时区数据库使用每个时区名的具体定义都存在于时区文件中,比如:/etc/localtime。操作系统支持的时区文件存储在/usr/share/zoneinfo/目录下。我们数据库支持的时区文件存储在share/timezone目录下。时区文件有统一约定的格式要求(来自IANA维护的时区数据库),可以使用info tzfile查看。时区文件固定开头结构:struct tzhead { char tzh_magic[4]; /* TZ_MAGIC,固定在开头的特征字符"TZif"来标识时区文件 */ char tzh_version[1]; /* '\0' or '2' or '3' as of 2013,版本信息 */ char tzh_reserved[15]; /* reserved; must be zero */ char tzh_ttisutcnt[4]; /* coded number of trans. time flags 保存在文件中的UTC/local指示器数目*/ char tzh_ttisstdcnt[4]; /* coded number of trans. time flags 保存在文件中的standard/wall指示器数目*/ char tzh_leapcnt[4]; /* coded number of leap seconds 其值保存在文件中的leap second的数目*/ char tzh_timecnt[4]; /* coded number of transition times 其值保存在文件中的"变化时间"数目*/ char tzh_typecnt[4]; /* coded number of local time types 其值保存在文件中的"本地时间类型"数目(非零!)*/ char tzh_charcnt[4]; /* coded number of abbr. chars 保存在文件中的"时区简写符"数目*/ };跟在上面这些头部后的是tzh_timecnt 个"标准"字节顺序的四字节 long 类型值, 以升序排序. 每个值均作为一个变化时间(就像 time(2) 的返回), 系统依赖这些值来计算本地时间变化.而在此之后的是 tzh_timecnt 个 unsigned char 类型的一字节值, 这些值指出了文件中描述的多种"本地时间"类型中哪一个与具有相同索引的变化时间相关. 这些值可作为 ttinfo 结构数组的索引.而 ttinfo 结构在文件中随后就有定义, 描述如下:struct ttinfo {long tt_gmtoff;int tt_isdst;unsigned int tt_abbrind;};结构包括一个"标准"字节顺序的四字节 long 类型值 tt_gmtoff,以及一个一字节的 tt_isdst和一个一字节的 tt_abbrind.在每个结构里, tt_gmtoff 给出了要被加到UTC的时间, 以秒为单位,tt_isdst 表明 tm_isdst 是否可通过 localtime (3) 设置,而 tt_abbrind 可作为时区简写符的数组索引, 该数组在文件中跟在 ttinfo 结构后面.这样就有 tzh_leapcnt 个标准字节顺序的四字节对, 每个四字节对的第一个值给出一个leap second发生的时间, 就如 time(2) 的返回; 每个四字节对的第二个值给出给定时间之后所实现的总的 leap second数. 四字节对按时间的升序排序.同样有 tzh_ttisstdcnt 个standard/wall指示器, 每个保存了一个一字节值; 这些指示器指出了变化时间(与本地时间类型相关)是否被说明为standard time或者wall clock time, 以及当一个时区文件被用于处理POSIX 格式时区环境变量时是否使用变化时间.最后, 有 tzh_ttisgmtcnt 个UTC/local指示器, 每个保存了一个一字节值; 这些指示器指出了变化时间(与本地时间类型相关)是否被说明为UTC 或者local time, 以及当一个时区文件被用于处理 POSIX格式时区环境变量时是否使用变化时间.如果 tzh_timecnt 等于零或者时间参数比文件记录的第一个变化时间小的话, Localtime 就使用文件中的第一个标准时间 ttinfo, 或者在没有标准时间结构是就直接使用第一个 ttinfo 结构.可以通过 man zdump dump二进制时区数据文件,了解如何查看一个时区的变更历史./zdump -V Asia/Chongqing | more Asia/Chongqing Sat Dec 31 16:53:39 1927 UT = Sat Dec 31 23:59:59 1927 LMT isdst=0 gmtoff=25580 Asia/Chongqing Sat Dec 31 16:53:40 1927 UT = Sat Dec 31 23:53:40 1927 LONT isdst=0 gmtoff=25200 Asia/Chongqing Wed Apr 30 16:59:59 1980 UT = Wed Apr 30 23:59:59 1980 LONT isdst=0 gmtoff=25200 Asia/Chongqing Wed Apr 30 17:00:00 1980 UT = Thu May 1 01:00:00 1980 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat May 3 15:59:59 1986 UT = Sat May 3 23:59:59 1986 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat May 3 16:00:00 1986 UT = Sun May 4 01:00:00 1986 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 13 14:59:59 1986 UT = Sat Sep 13 23:59:59 1986 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 13 15:00:00 1986 UT = Sat Sep 13 23:00:00 1986 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 11 15:59:59 1987 UT = Sat Apr 11 23:59:59 1987 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 11 16:00:00 1987 UT = Sun Apr 12 01:00:00 1987 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 12 14:59:59 1987 UT = Sat Sep 12 23:59:59 1987 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 12 15:00:00 1987 UT = Sat Sep 12 23:00:00 1987 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 9 15:59:59 1988 UT = Sat Apr 9 23:59:59 1988 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 9 16:00:00 1988 UT = Sun Apr 10 01:00:00 1988 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 10 14:59:59 1988 UT = Sat Sep 10 23:59:59 1988 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 10 15:00:00 1988 UT = Sat Sep 10 23:00:00 1988 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 15 15:59:59 1989 UT = Sat Apr 15 23:59:59 1989 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 15 16:00:00 1989 UT = Sun Apr 16 01:00:00 1989 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 16 14:59:59 1989 UT = Sat Sep 16 23:59:59 1989 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 16 15:00:00 1989 UT = Sat Sep 16 23:00:00 1989 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 14 15:59:59 1990 UT = Sat Apr 14 23:59:59 1990 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 14 16:00:00 1990 UT = Sun Apr 15 01:00:00 1990 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 15 14:59:59 1990 UT = Sat Sep 15 23:59:59 1990 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 15 15:00:00 1990 UT = Sat Sep 15 23:00:00 1990 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 13 15:59:59 1991 UT = Sat Apr 13 23:59:59 1991 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 13 16:00:00 1991 UT = Sun Apr 14 01:00:00 1991 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 14 14:59:59 1991 UT = Sat Sep 14 23:59:59 1991 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 14 15:00:00 1991 UT = Sat Sep 14 23:00:00 1991 CST isdst=0 gmtoff=28800因为我国从1991年开始取消了夏令时,所以就不再变化。4. GaussDB(DWS)中如何使用时区数据为了国内用户的使用方便,GaussDB(DWS)根据IANA的定义的语法规则,在内部帮助用户定义了 Asia/Beijing 时区,其定义与 PRC 时区定义一致。位于按装目录下的 timezone/Asia/Beijing查看Asia/Beijing的具体定义:./zdump -V Asia/Beijing Asia/Beijing Sat May 3 15:59:59 1986 UT = Sat May 3 23:59:59 1986 CST isdst=0 gmtoff=28800 Asia/Beijing Sat May 3 16:00:00 1986 UT = Sun May 4 01:00:00 1986 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 13 14:59:59 1986 UT = Sat Sep 13 23:59:59 1986 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 13 15:00:00 1986 UT = Sat Sep 13 23:00:00 1986 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 11 15:59:59 1987 UT = Sat Apr 11 23:59:59 1987 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 11 16:00:00 1987 UT = Sun Apr 12 01:00:00 1987 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 12 14:59:59 1987 UT = Sat Sep 12 23:59:59 1987 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 12 15:00:00 1987 UT = Sat Sep 12 23:00:00 1987 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 9 15:59:59 1988 UT = Sat Apr 9 23:59:59 1988 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 9 16:00:00 1988 UT = Sun Apr 10 01:00:00 1988 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 10 14:59:59 1988 UT = Sat Sep 10 23:59:59 1988 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 10 15:00:00 1988 UT = Sat Sep 10 23:00:00 1988 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 15 15:59:59 1989 UT = Sat Apr 15 23:59:59 1989 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 15 16:00:00 1989 UT = Sun Apr 16 01:00:00 1989 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 16 14:59:59 1989 UT = Sat Sep 16 23:59:59 1989 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 16 15:00:00 1989 UT = Sat Sep 16 23:00:00 1989 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 14 15:59:59 1990 UT = Sat Apr 14 23:59:59 1990 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 14 16:00:00 1990 UT = Sun Apr 15 01:00:00 1990 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 15 14:59:59 1990 UT = Sat Sep 15 23:59:59 1990 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 15 15:00:00 1990 UT = Sat Sep 15 23:00:00 1990 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 13 15:59:59 1991 UT = Sat Apr 13 23:59:59 1991 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 13 16:00:00 1991 UT = Sun Apr 14 01:00:00 1991 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 14 14:59:59 1991 UT = Sat Sep 14 23:59:59 1991 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 14 15:00:00 1991 UT = Sat Sep 14 23:00:00 1991 CST isdst=0 gmtoff=28800现在GaussDB(DWS)中所有关于时区的知识都介绍完了,希望从原理和维护角度的深入学习彻底扫除时区使用的疑惑,如果有相关问题欢迎在论坛中提问。5. 总结综上,GaussDB(DWS)作为一款面向全球用户的高性能分析型数据库产品,对时区数据的支持也是符合工业界标准规范的。想了解GuassDB(DWS)更多信息,欢迎微信搜索“GaussDB DWS”关注微信公众号,和您分享最新最全的PB级数仓黑科技~转载来自:https://bbs.huaweicloud.com/blogs/247561
-
【功能模块】【操作步骤&问题现象】1、详细看截图2、FacilityManagement 那该怎么编译发布啊【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
助力千行百业释放数据价值,华为云大数据推出0元试用30天活动,包含4款明星产品↓MapReduce服务:大数据集群云服务,支持数据湖/数仓/BI/AI融合,数据搬迁“代码0修改,业务0中断”。现提供鲲鹏通用计算增强型,4U16G Master节点*2+Core节点*3,1个月套餐包。数据湖治理中心DGC:数据全生命周期一站式开发运营平台,可复用行业知识库,助力企业快速构建数据运营能力。现提供初级版,1个月免费试用。数据湖探索服务DLI:提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。云搜索服务 CSS:兼容Elasticsearch完全托管在线分布式搜索服务,用于站内搜索/日志分析/运维监控等场景,现提供现提供鲲鹏通用计算增强型,4U8G,高IO 100G,免费试用。一、活动时间2021年6月10日-2021年7月10日;云产品体验名额有限,领完即止。二、参与对象完成华为云实名认证(企业认证或个人认证均可);三、活动流程0元购买上面任意一款产品,即可添加小助手入群抽奖,抽取:(具体规则会在群公告公示)荣耀智能体脂秤一个罗技无线鼠标五个定制短袖五件点击链接0购买下面服务体验套餐https://activity.huaweicloud.com/Date-free.html,购买后将华为云账号私法小助手,然后回复【大数据】即可入群四、说明1、符合“参与对象”的同一用户仅能对同一产品申请领取1次。(各服务体验套餐包均可领取1个)(1)同一用户指:在华为云注册、登录、使用过程中的实名认证信息、手机号、邮箱、设备或地址如果一样,则视为同一用户;(2)同一产品指:每类产品只能选择一种配置进行免费试用,请在领取时确认规格、地域等相关信息,领取成功后将不支持更改。2、如用户账号下存在未支付订单,会导致系统对用户试用资格的审核无法通过;在此情况下,用户须将相应的未支付订单作废后,方可正常参与相应产品的试用(去订单管理);3、用户参与免费试用所获得的相应权益,仅限本账号使用,不得转让、出售或以其他方式换取利益;4、为保证活动的公平公正,华为云有权对恶意刷抢(如通过程序等技术手段)活动资源,长期资源闲置,利用资源从事违法违规行为的用户收回免费套餐使用资格;5、如用户在活动中存在隐瞒、虚构、作弊、欺诈或通过其他非正常手段规避活动规则、获取不当利益的行为,例如:作弊领取、恶意套现、网络攻击、虚假交易等,华为云有权收回相关权益、取消用户的活动参与资格,撤销违规交易,必要时追究违规用户的法律责任;所有参加本活动的用户,均视为认可并同意遵守《华为云用户协议》。
-
6月18日,华为云TechWave全球技术峰会(人工智能&数据)将在上海举办,更多云原生创新技术和丰富实践还将与大家见面,华为云FusionInsight MRS解决方案架构师还将带来“MRS云原生数据湖,推动离线分析走向实时”的主题演讲,从行业趋势、技术创新、业务实践等方面解读MRS云原生数据湖。在信息高速流动的数字经济时代,数据的时效越高,价值就越大。大数据平台将逐渐演进成数据流动和汇集的中枢,数据向大数据平台聚焦的速度会越来越快,同时大数据平台对外提供数据服务的时效也会越来越高。传统大数据平台缺少事务和增量更新的能力,协同分析需频繁搬迁数据,易产生数据冗余,且无法保障数据的一致性;传统大数据平台往往采用批量集中处理,端到端数据的时效性通常需要T+1到T+2,造成上层业务感知慢、实现逻辑复杂等问题,已经无法满足数字经济时代快速变更的业务诉求,尤其在实时营销、实时推荐等分析场景。政企客户亟需增强大数据平台供数能力,通过数据实时入湖实时供数,对上层应用提供敏捷高效支撑。华为云FusionInsight MRS云原生数据湖为政企客户提供湖仓一体、云原生的数据湖解决方案,构建一个架构可持续演进的离线、实时、逻辑三种数据湖,支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数据仓库、数据接入和治理等大数据应用场景,使政企客户高效用数、简化用数,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快。伴随政企数字化转型进入深水区,面对错综复杂的数据分析场景和数据激增带来的数据结构变化,华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时,帮助政企客户解决多场景的数据分析诉求,成为政企数字化转型中首选的数据底座呢?6月18日,让我们一起相约华为云TechWave全球技术峰会(人工智能&数据)。目前,华为云FusionInsight MRS云原生数据湖携手800+合作伙伴,已服务于60多个国和地区3000+客户,广泛应用于政务、金融、运营商、能源、医疗、制造、交通等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
灵活就业的措施有三大政策值得期待。一是开展平台灵活就业人员职业伤害保障试点。这里稍作展开具体的方式主要有:探索用工企业购买商业保险、保险公司适当让利、政府加大支持的机制。二是灵活就业人员参加城乡居民基本养老保险的兜底措施也如箭在弦。三是推动放开灵活就业人员在就业地参加社保的户籍限制。当务之急是,利益上,平台和灵活就业者之间能有个起码的平衡;体制上,让灵活就业人员能有个渠道,他们的事需要专门的责任主体去管。除了基础性的保障,必要的职业培训也是很重要一环——为他们将来的转型发展做好准备。——知名评论人石述思与2019年相比,今年企业招聘人数和求职人数同比均上涨,但招聘人数涨幅低于求职人数涨幅。2021届全国普通高校毕业生达909万人,再创历史新高。然而,今年新进入就业市场的年轻人远不止这个数目,还包括自考、函授等非全日制高校毕业生,初高中毕业生,以及仍未就业的2020届毕业生。智联招聘平台数据显示,3月,仍有41.6万2020届毕业生在求职,同时海归回国求职人数也大幅增长。智联招聘进行的2021应届毕业生调查显示,截至4月中旬,8000多名受访者只有56.9%选择找工作,较去年下降了18.9个百分点;12.8%选择慢就业,同比上升6.6个百分点。——智联招聘人力资源顾问王一新由于我国多地积极规划数字经济蓝图,5G与云计算、大数据、人工智能、工业互联网发展浪潮奔涌,企业竞相展开布局,由此带来新一代信息技术上下游硬核科技人才紧缺,成为各大企业争夺的目标。芯片领域的Si/GaN新材料研发专家、DRAM研发专家、IC工艺研发专家平均年薪可达80—150万元,跳槽薪酬涨幅高达50%;大数据领域,数据平台研发、数据应用开发和数据产品类人才炙手可热,部分资深工程师年薪已超150万元;云计算、物联网领域,平台架构、解决方案、智能运维高层次人才成缺口,部分岗位年薪超过200万元,跳槽薪酬涨幅接近40%。
-
天气,关乎地球上所有人的生产生活。古时候,人们看天吃饭,如今,我们是看天气预报,提前做好工作生活的准备,比如:预测台风、洪水,给出预警,做好应急方案;结合污染排放数据和大气流动预报空气质量;海洋养殖根据气候变化及时修改培养策略;……除此之外,国防、交通、保险、智慧城市等等领域,都依赖着气象数据。在这样一个关乎民生的行业里,人工智能、大数据、超算这些技术,可发挥的潜力也是无限的,华为云MVP周峥就是其中的技术践行者,他正带领着团队为国内气象行业带来一股温柔而不失力量的春风。气象市场红利:5年翻20倍2015年是气象领域的转折点,自此之后,垄断的时代宣告结束,气象服务逐渐向商业公司开放。有数据统计,气象市场在未来几年内将有20倍的成长空间,2025年将达到3000亿的市场规模。对比之前7年翻一番的数据,市场开放带来的红利显而易见,一大波新兴的创业公司涌入。2018年,周峥也毅然跨入了这波浪潮中。在创立九方科技之前,周峥在气象领域已经有了一定的技术积累。作为武汉大学&俄亥俄州立大学联合培养博士,他是清华大学地球系统科学系高级工程师,也担任过国家超级计算(无锡)中心部门主管、高级工程师。周峥擅长系统结构设计、核心算法设计等,参与过多项国家重大科研课题的研发工作,论文发表、软件著作专利,各种国家级奖项,不一而足。正是在国家超算无锡中心的研究工作,促成了他的气象大数据创业。周峥带领原部门“地球系统数值模拟部”近20位同事探寻超算产业化与商业气象服务的商业化之路。技术人才的强强联合,让这个从国家科研团队走出的创业公司,成功实现了连续三年的公司盈利。把预报做准确,实非易事作为公司创始人&CEO,周峥带领核心研发人员,基于“神威·太湖之光”超级计算机系统,结合超级计算与人工智能等技术,研制了国产自主的智能网格预报平台,在气象、海洋数值预报方面领域取得技术突破。以海洋数值预报为例,周峥介绍道,在海洋养殖方面,海水水流过急,海带就会冲断。如果温度过高,海参就会直接化成水了,如果温度突然太低,螃蟹就难以存活。于是,他们通过“三维海洋要素智能预报系统”,用科学的手段分析海产品养殖区域情况,不仅可预报海洋温度、盐度、海流这些信息,还可进行营养盐、海洋生物化学等要素的预报。“我们做的事情,就是把天气预报给报准。”看似这句话很简单,但也是最具挑战性的。周峥谈到,他们的定位是数据的生产者,而不是数据的搬运工。所以,周峥和团队耦合了大气、海洋、海浪、海冰、陆面等多个气象预报模式,汇集了卫星、雷达、站点等多类数据,并结合数值预报、人工智能、超级计算技术,形成从气象预报到气象信息应用的完整产业能力与技术壁垒。而且与多数气象公司不同的是,周峥和团队具备自研气象预报数值模式,以及直接加工源数据和应用的能力,这也是他们的杀手锏。他们把数据和AI算法相结合,利用强大的算力推出准确度、精细度更高的气象预报数据,据了解,他们可将大气、海洋预报的时间精度和空间精度进一步提升至分钟级更新和百米级网格水平。比如在大气污染监测方面,周峥和团队已经做到准确度近90%;在厄尔尼诺现象方面,可以提前6个月预测等等。周峥和华为云的合作,也让他们的气象预报能力更上一层台阶。比如,通过华为云高性能计算HPC集群打造大气污染预警系统。其中,HPC管理节点将计算任务通过SGE资源调度系统进行任务投递,集群内基于弹性云服务器搭建的计算节点承担主要计算任务,同时将所有处理结果存储在弹性文件服务,共享存储结果。据了解,华为云HPC解决方案针对HPC Workload进行优化,实现HPC资源按需租用,能够帮助用户降低成本,提升气象预报的效率和准确度,帮助气象业务快速向智能化、云化、和数字化转变。最后深耕气象行业多年,通过历年的技术攻克,周峥和团队也取得了一系列的荣誉与资质。在国家级、省市级的各类大赛中多次获得奖项,积累专利、软件著作等知识产权26项。他们也完成了10余项国家级科研项目研究课题,发表大量科研成果。并加入中国气象服务协会、国家海洋信息产业发展联盟、中国港口协会、华为解决方案伙伴战略合作计划。未来周峥也将面向G端和B端客户提供精细化的气象数据及综合解决方案,包括和华为云合作,基于自研数值模式和人工智能预报技术为行业客户提供更精细化、更针对性的产品和服务,覆盖智能气象预报、大气环保、航运导航、金融保险等等领域。
-
5月27日,“贵州·进而有为 华为云城市峰会暨贵州数字峰会2021”在贵阳国际生态会议中心成功举行。华为公司高级副总裁、华为云CEO、消费者云服务总裁张平安致辞。本次大会以“智变 质变”为主题,贵州省相关领导、产业及学术各界的意见领袖齐聚一堂,共同探讨如何构建城市与产业发展的新格局,加速贵州数字经济的高质量发展。峰会上还重磅发布了贵安华为云数据中心、云上鲲鹏品牌服务器暨贵州首台鲲鹏服务器、数据要素市场可信流通联合创新成果,并进行了多个签约活动。贵州省大数据局局长、贵阳市委副书记马宁宇,贵安新区党工委副书记、管委会副主任张吉兵等出席。华为云中国区总裁洪方明,贵州省生态环境厅厅长杨同光,省大数据局副局长娄松,黔西南州委常委、副州长刘志华,华为中国区云与计算CMO张鹏等作主题演讲。拓维信息系统股份有限公司董事长李新宇,华为公司副总裁、ICT产品组合与解决方案部总裁马海旭,华为中国区副总裁、中国区云与计算总裁张修征,华为公司贵州总经理金伟锋等企业负责人,贵阳市政府秘书长许俊松参加。以“数”取胜,贵州因数据而璀璨从“经济洼地”走向“中国数谷”,贵州数字经济增速已连续六年排名全国第一,其中大数据产业功不可没。不得不说,大数据,已悄然改变生活的模样,亦正在重塑一座城池。华为公司高级副总裁、华为云CEO、消费者云服务总裁张平安发表《以创新智变,迎产业质变,携手打造多彩贵州“中国数谷”》主题演讲,他指出:今年数博会的年度主题是“数智变,物致新”,华为云城市峰会的主题是“以智变,创质变”,可见数据产业的创新智变、产数融合的数字经济高质量发展,已经成为产业界最关心的热点与共同面对的课题。而数据的资产管理、共享流通、安全治理直接关系着数字经济的高质量发展。贵州连续六年数字经济增速全国第一,今年是十四五的开局之年,也是贵州大数据产业从率先创领先、价值化、服务千行百业的关键一年,对中国数字产业化和产业数字化的谋篇布局意义重大。华为公司高级副总裁、华为云CEO、消费者云服务总裁张平安会上,贵安华为云数据中心正式启动发布仪式,将助力现代基础设施体系构建及发展。该中心建设规模超100万台服务器,将成为华为全球最大的数据中心,而且华为云全球运营中心也将建立在贵安新区。同时,作为贵州省鲲鹏产业发展的核心企业——拓维信息旗下云上鲲鹏在大会上正式发布云上鲲鹏品牌服务器,这不仅是“贵州造”鲲鹏服务器的首次亮相,更彰显了鲲鹏产业生态在贵州这片大数据沃土上扎根生长的良好态势。此外,贵州大数据局、云上贵州、华为三方联合发布数据要素市场可信流通联合创新成果,该成果的发布将促进数据要素市场蓬勃发展。加速升级,抢抓数字经济发展新机站在新一轮产业变革的前沿,数据正潜移默化的改变着贵州的发展路径。未来,贵州将抢抓数字经济发展新机,深入挖掘大数据“钻石矿”,开拓数字经济“新蓝海”。华为云中国区总裁洪方明强调,贵州在云1.0时代抓住大数据产业发展的关键时期,构建了大数据产业在新型基础设施建设方面的竞争力,为贵州整个产业数字化打下了非常坚实的基础。进入一个新的阶段,产业数字化将是未来整个经济发展最核心的内容。而贵州在大数据产业具有领先地位的脊柱能力,将如何赋能产业?促进产业发展?这是贵州和华为以及广大伙伴一起面对的课题。华为云基于云原生2.0,希望通过打通数据,来实现数据驱动产业,构筑面向企业的全栈技能,让企业从原来以资源为中心,走向以应用为中心,推动整个业务应用发展。华为云中国区总裁洪方明贵州省生态环境厅厅长杨同光做《“微服务”构建大平台 大数据助力大生态》的主题分享。他指出:在十三五期间,贵州省生态环境厅积极探索将大数据先进技术和生态环境治理融合起来,努力探索生态环境大数据建设的有效路径,助力生态环境治理,为守好发展和生态两条底线,筑牢长江、珠江上游生态屏障做出了积极贡献。贵州省生态环境厅厅长杨同光贵州省大数据发展管理局副局长娄松以《贵州以云服务助力数字经济发展的愿景》为主题,分享了自身对贵州数字经济发展的看法。他指出:经过这几年的探索,在大数据某些细分领域,贵州已形成自身的竞争力,云计算、云服务就是我们的招牌和优势。可以说,云服务是贵州数字经济增长重要增长点,将成为贵州数字经济“抢新机”的重要抓手和支撑。贵州省大数据发展管理局副局长娄松地处黔滇桂三省区结合部的黔西南,风景如画,交通便利,已形成集公路、铁路、水运、航空、管道五位一体的综合交通运输体系。会上,黔西南州委常委、州人民政府副州长刘志华在发表《深耕数据“蓝海”实现弯道取直》主题演讲,他表示:“黔西南州大数据发展优势明显,要积极在实施数字经济战略上抢新机,为‘十四五‘大数据发展开好局。“黔西南州委常委、州人民政府副州长刘志华贵阳国家高新区管委会代表在主题演讲中强调,近年来,贵阳国家高新区持续推进大数据战略行动,积极参与数博大道建设,推进十、百、千、万工程和品牌培育工程,合作共建了华为软件开发云、工业云等一系列的开放平台,聚集了提升政府治理能力大数据应用技术国家工程实验室、云上贵州集团等一大批大数据企业,逐步构建了大数据产业体系,为推动区域产业数字化、数字产业化作出了积极示范。贵州省农村信用社联合社信息科技部技术总监刘超聚焦数据赋能、普惠金融谈到:银行的数字化转型困难多、挑战大,信息化是数字化的基础,所以数字化又是信息化的延伸,在信息化升级方面持续提高数据的应用程度,依然是我们当前信息科技工作的重点。贵州省农村信用社联合社信息科技部技术总监刘超不忘初心,以创新驱动未来从2017年成立之时,华为云立下与伙伴同行,打造“智能世界五朵云之一”的志向。如今,华为云已经实现了这一诺言。会议现场,华为云与计算中国区CMO张鹏以“Cloud for Good 2021让技术更有温度”为主题,围绕华为云、价值和未来这三个关键词,为大家分享了华为云探索初心的故事。他指出,依托华为公司30多年来在ICT技术上的沉淀和积累,我们一直致力于为企业提供创新、安全可信、可持续发展的云服务,去帮助客户更好地解决问题。也是从那时起,我们提出了Cloud for Good选择不凡,我们的初心就是希望与客户、合作伙伴,以及广大的用户一起把5G、AI、云这样的技术带给更多有需要的个体和组织,在解决商业问题的同时,去为社会造就不凡的价值。华为云与计算中国区CMO张鹏峰会最后,华为技术有限公司与贵州云上鲲鹏科技有限公司、云上贵州大数据产业发展有限公司等25家生态企业一同正式成立“贵州鲲鹏计算产业联盟”并举行联盟揭牌及成员授牌仪式。贵州鲲鹏计算产业联盟揭牌及成员授牌仪式同时,华为技术有限公司贵州政企业务部总经理袁立代表华为与贵州守望领域数据智能有限公司签署合作协议,双方将聚焦贵州公共安全领域开展全方位的合作,共同推动贵州社会平安建设事业迈向新高度。不仅如此,为加快智慧校园建设与人才培养,华为分别与贵阳学院、六盘水职业技术学院就创新人才培养、科研合作交流、智慧校园建设等方面达成合作协议,并在会议现场进行了框架合作协议签署。会上,华为还与六盘水师范学院联合举行了华为云学院授牌仪式,双方共谋发展,将为产业转型升级提供更加坚实的一线人才支撑。新中国成立七十多年,贵州发展按下了快捷键,跑出了加速度。从后发赶超的贵州发展,我们看见了中国速度。大数据在贵州落地生根,数字经济在贵州蓬勃发展。面向未来,贵州正勇立潮头,以“智变”创“质变”,掀起经济发展的新篇章!来源:网易
hello word~/
发表于2021-06-08 11:35:03
2021-06-08 11:35:03
最后回复
hello word~/
2021-06-08 11:45:09
2018 1 -
物联网、云计算、大数据、人工智能这四个关键词是目前科技界热门的话题,它们之间既有技术方向上的差异,但是又具有融合的基础与趋势。如果将四个关键词看做一个整体,拟人化来表示,物联网就是感知外界的一切器官,可以是眼睛看、耳朵听、鼻子闻、皮肤感触,感知外物的一切;云计算是提供强大的能力去接受这个数据;大数据是对海量的数据进行挖掘和分析,把数据变成有用信息;人工智能解决的是对数据进行学习和理解,把数据变成知识和智慧。 物联网 我们知道,物联网是物物相连的互联网。我们目前的日常生活中也经常会与物联网技术有交集,通过物联网,我们可以对机器、设备、人员进行集中管理、控制,以及搜索人和物体的位置、状态和信息等,以各种设备为端口,收集到各种类型的数据,云里物里研发的温湿度传感器能实时收集到温湿度数据。这些数据的汇总,就会聚集成大数据,所以说,物联网是基础,它收集数据。 云计算 云计算是一个计算、存储、通讯工具,物联网、大数据和人工智能必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术才能形成行业级应用。云计算相当于人的大脑,是物联网的神经中枢。目前很多物联网的服务器部署在云端,通过云计算提供应用层的各项服务。云计算可以认为包括以下几个层次的服务:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。 大数据 大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据相当于人的大脑从小学到大学记忆和存储的海量知识,这些知识只有通过消化,吸收、再造才能创造出更大的价值。 大数据和云计算的关系从技术上来看,大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 人工智能 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。 物联网、云计算、大数据、人工智能之间相辅相成,在这四个层次中,物联网是在数据的采集层,云计算是在承载层,大数据是在挖掘层,人工智能是在学习层,所以它们是层层递进的关系。通过物联网产生、收集海量的数据存储于云平台,再通过大数据分析,人工智能提取有用的信息持续深度学习,最终人工智能会促进物联网的发展,形成更加智能的物联网社会。本文部分来源网络,如侵删。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签