-
公示结束后最终138人参与抽奖第一轮抽奖中奖名单如下(抽奖过程详见附件):user_beifeng慕雪undefined*考过IE励志当攻城狮yd_264615813琉米第二轮抽奖中奖名单如下(抽奖过程详见附件):Regan Yueyd_246933731zmzeng12yd_238247090阿弥陀佛cx2vj去休这个地方是昵称恭喜以上用户获得奖励,请在8月23日前完成获奖信息填写,如逾期没有填写视为弃奖哦,望周知~填写地址:https://devcloud.huaweicloud.com/expertmobile/qtn?id=0488c22fa5774481a42acd9cf7ae99c2&utm_source=bigdata7daysshaitu先对参与活动的开发者名单进行公示(附件可下载名单),如有问题请扫描二维码联系助手沟通,公示期8月9-8月11日,过了公示期名单不再修改,将会进行抽奖,望周知!(公布的为社区昵称,请自行核对)旧时光里的温柔yd_248137126湬黍szhwxtwolfandyhppynhhnukinsan空LAwuyicom水墨ye帅气的我yd_240212429zmzeng12yd_264615813白先生yd_78159143张辉玳瑁猫慕雪yd_266086776红鲤鱼与绿鲤鱼YNU-YJzdnyyhjunkanMr.GNyd_271203268JaneConanBigpiao886是安可啊孙同学的奇妙之旅测试人员001meet00shmilyfj云水不言沐清杰先森s多米诺的古牌yd_246933731linteng0718春秋大梦@Wuw12567878qianggeqiang辉辉傻呆呆琉米x19好久没出门民工小哥哥lees不是栗子花溪醒不来的梦yd_237416065zbjjyyyd_270382394Archive禄仁恝ad123445去休Regan YueHB1688星哥wwwinston我就灬是我iolink1002kevinStrawberry阿弥陀佛webclubAniazxl0715cx2vjchenyunlianguser_beifeng十年树木xiaobin8325DonaldT.Jump大林子林子大钢铁不钢铁侠liar8527RabbitCloud敏捷江湖桃花岛张教主koray御寜Thbcer阿哩个郎killusa晴空1yd_280743082yd_238247090spjcdlhw1993shuai_beijingkoala221cftang嘉韵MX落落undefined*yd_234279829风风筝孙小北奥力给yd_228478260nszdghwtom外围的小尘埃Jameszjt275978495lwq1228精彩无限沃尔文三心二意hundredtzyww夏暖天堂9127hw35824302小号奥利奥zhukang777若雪冰封cupidhwmwcrw129雨中独撑伞babybabyWangDaWei队长别开枪martinelelewdkjtdwq765416999yd_280422597Jason36912转了一圈考过IE励志当攻城狮东方不亮王小帅hegep40abcabcqiqiguai这个地方是昵称蜡笔不辣小助手二维码:7天大数据分析实战训练营活动已开启,目前进入招募期,本次活动将助您了解大数据热门分析引擎Spark,使用华为云DLI和DGC产品完成大数据分析实践项目。更有超多活动等您参加,赢取华为手环等多重礼品!快来报名吧7天大数据分析实战训练营活动点击报名»»»【活动时间】7月15日-8月6日 【晒图要求】本次活动只对7月之后领取以下免费资源的开发者有效1.点击下方活动链接,领取免费资源(至少领取任意2个资源)推荐领取 :数据湖治理中心DGC /数据湖探索DLI (地区:请领取相同地区的资源,后续课程实践中会使用2个产品资源)https://developer.huaweicloud.com/activity/7days_bigdata.html2.对我的订单进行截图,截图必须包含免费资源的订单和右上角华为云账号信息,否则无效。示例:3.将截图回复至本帖即可参与抽奖。【奖励说明】活动结束后,我们将分两轮抽奖:第一轮抽奖将在所有符合要求的开发者中抽取6名进行奖励,礼品为华为手环4e。第二轮抽奖将在余下符合要求的开发者中抽取8名进行奖励,酷睿冰尊A9 笔记本散热器。本次活动幸运奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/)进行抽取,会公布抽奖过程,如您对评奖方式有异议,请勿参加本次活动。【奖品展示】 华为手环4e 酷睿冰尊A9 笔记本散热器其他事宜请参考【活动页面规则】及【华为云社区常规活动规则】。
-
6月4日,华为智慧金融峰会2021“华为云数据使能,加速金融数据资产化”分论坛在上海举办。华为云携手中国工商银行、北明软件、神州信息、长亮科技、德勤管理咨询等合作伙伴分享面向金融领域的数据解决方案和创新实践,共创金融行业新价值。华为云云原生数据库GaussDB聚焦金融政企,打造一站式上云解决方案云原生数据库GaussDB,依托领先的存算分离架构,实现软硬协同,确保稳定可靠与卓越性能。目前已经规模应用在金融、电信、泛政府、能源、交通、互联网等各行业。华为云数据库产品部总经理苏光牛表示:“华为云GaussDB,立足云原生能力,聚焦全场景,为金融客户打造核心交易系统一站式上云解决方案,让客户真正做到选型安心、迁移放心、管理省心,做企业数字化转型最坚定的数据底座。”结合云原生与AI的技术,华为云在今年4月发布了面向金融行业的金融级分布式数据库GaussDB。在交易事务处理方面,它大幅度降低内存访问时延,性能提升了5倍。在复杂查询性能方面,它通过分布式全并行架构提供极致的吞吐量性能。在金融客户最关注的高可用方面,它提供了多种两地三中心容灾方案,满足金融级监管要求。此外,金融级分布式数据库GaussDB将AI技术融入分布式数据库的全生命周期,实现自治管理与调优等功能,大幅提升管理效率。华为云数据库产品部总经理苏光牛发表主题演讲 工行分享大数据创新实践工商银行大数据平台产品经理袁一表示,工商银行携手华为云FusionInsight持续创新探索,滚动升级让业务无中断;存算分离使数据统一存储,上层架构更灵活;HetuEngine提升全行13000名分析师即时BI体验,形成集技术、数据、服务于一体的大数据服务体系,不断提升工行金融服务实体经济能力,倾力打造服务于经济高质量发展的数字工行。工商银行大数据平台产品经理袁一发表主题演讲 华为云FusionInsight创新金融行业智能数据湖方案,提升用户体验华为云FusionInsight总经理杨志勇分享到,华为云FusionInsight智能数据湖提供湖仓一体化的现代数仓平台,客户可因地适宜设计自己的湖仓一体化数据架构,从单一离线跑批走向实时,T+0供数加速业务创新,让开发者轻松驾驭数据。目前已在工行、招行等大型金融企业成功实践,极大提升了用户体验。在2020年IDC MarketScape和2021年Frost &Sullivan评估中,FusionInsight多项指标领先国内大数据厂商。华为云FusionInsight总经理杨志勇发表主题演讲 北明软件联合华为云FusionInsight助力保险集团统一数据平台建设北明软件副总裁张翼表示,北明软件依托华为云FusionInsight智能数据湖,通过“湖仓一体化、流批一体化、数据服务化”的平台架构思想,构建保险集团统一数据平台,实现数据价值发现和提升,助力保险集团数字化转型。北明软件副总裁张翼发表主题演讲 华为云GaussDB(DWS)一站式分析技术,提速金融全场景分析华为云数据仓库资深专家表示,金融智能数据时代,数据规模呈指数级增长、多样性数据需要多样性的计算引擎,实时数据需要更快分析以释放数据价值。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,支持x86和Kunpeng硬件架构,支持行存储与列存储,提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统。华为云GaussDB(DWS)新一代数仓,企业级内核满足金融业严苛的技术标准,提供批量分析,交互式分析,实时分析,一站式解决数据的供需矛盾。实时分析技术,在标准数仓的基础上加持CEP引擎和时序引擎,真正做到实时入仓持续计算,该项技术斩获数博会领先科技成果奖“新技术”。满足金融全场景业务分析需要,推进普惠分析,让人人都能成为分析师。华为云数据仓库资深专家发表主题演讲神州信息成功落地金融业敏捷高效的数据管理最佳实践神州信息首席数据官CDO黄万忠表示,数字经济时代,金融机构需要挖掘数据潜在价值,驱动业务决策和优化,提升银行效能,推动银行高质量发展。神州信息通过数据服务的5大关键要素,即治理标准化、数据资产化、资产服务化、数据业务化和运营平台化,帮助银行构建基于数据服务的6大核心能力,包括数据治理、数据操作、分析赋能、服务应用、用户体验和监管合规,在金融行业成功落地了敏捷高效的数据管理最佳实践。神州信息首席数据官CDO黄万忠发表主题演讲 长亮基于华为云技术平台打造数据管理应用体系,赋能商业银行数字化转型长亮科技大数据业务部总经理李青表示,随着经济形势和金融环境的不断发展和变化,金融行业和互联网已经深度融合。在新的内外部环境要求下,银行需要提高金融服务的深度与广度,快速应对环境变化。长亮依托华为的软硬件技术平台,结合多年金融行业解决方案经验,积极落地金融行业数字化转型方案,内容包括打造数据管理应用体系-全面覆盖数据资产管理、实现智慧营销-全生命周期营销管理、实现智能风控-全流程覆盖信贷风险,助力银行数字化转型。长亮科技大数据业务部总经理李青发表主题演讲 德勤携手华为联合打造金融行业数字化转型方案德勤管理咨询银行业主管合伙人尤忠彬表示:“金融机构数字化转型从发展维度上需要客户跨越电子化、自动化、移动化、智能化4个阶段,从价值维度上需要实现卓越体验、员工减负提能、管理高效精细、业务创新扩张4大目标。”德勤将数字化转型的内涵定义为“4+4”,即帮助金融机构跨越4个阶段、实现4大目标。德勤与华为将充分融合双方优势实现能力互补,协同助力金融机构数字化转型的每一步;同时与华为将合力为金融机构打造“1+1+4+N”的数字化转型整体解决方案,探索金融机构数字化转型之道。德勤管理咨询银行业主管合伙人尤忠彬发表主题演讲 不同数字化阶段的金融机构面临不同的未知挑战,如何利用数据湖、数据仓库、数据库等技术,加速数据资产化,发挥数据新价值,成为当前数据领域的重要话题。华为云致力于深入理解客户的业务需求,将创新领先的技术与应用场景深度融合,创造行业数字化转型的无限可能。
-
2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级,突破传统方案需离线停机多次升级模式,一次性将核心现网集群版本由FusionInsight HD C70升级到FusionInsight MRS 8.0.2,横跨C80、6.5.1两个版本,同时完成了大数据集群从物理机向云服务的模式转变,实现该案例在金融同业首例突破,树立同业新标杆。经过为期两周的升级实施过程操作,实现太保上层业务无感的平滑滚动升级,全程集群作业无中断、性能无影响。本次跨版本滚动升级的成功对金融科技领域意义重大,标志着中国太平洋保险为金融同业树立了大数据服务跨多版本升级、业务连续性和可持续演进的新建设标杆。一、项目背景 中国太平洋保险集团从2017年选择华为云FusionInsight构建保险大数据平台。随着太保与华为云合作的持续深入,其内部主要业务系统都已使用华为云大数据平台。但是早期各业务系统都建设了独立的大数据集群,数据无法互通,存在数据冗余,且多集群造成维护难问题。截止升级前已建设18套大数据集群,以FusionInsight HD C70版本为主。 随着太保业务的高速发展,对大数据平台的统一管理、数据共享、升级演进有了新的诉求,希望将现网18套生产集群进行统一升级和归并,同时面向未来提供大数据集群可持续演进的能力。 为此,太保联合华为云,决定将现有18套大数据集群,由FusionInsight HD C70版本统一升级到MRS8.0,升级的主要目标:通过对原集群升级归并,统一为一套大集群,通过资源整合,提高资源利用率;统一到MRS平台版本资源监控更完善,定位问题更准确;升级到云平台,可以按需灵活调配资源,实现可演进的湖仓一体架构,扩展其他高阶服务。二、项目内容2.1 技术挑战 太保大数据集群按需部署了HBase、Hive、HDFS、ZooKeeper、YARN、Oozie、Hue、Spark等各类组件。 此外,集群中每日有上万作业的执行,也为无感知的滚动升级加大了难度。主要挑战有以下几点:Hadoop组件内核由X到3.X的跨大版本升级中,社区仅提供了HDFS的滚动升级能力,YARN的社区原生目标版本由于与原版本协议不同,无法支持滚动升级;社区原生版本的HDFS在升级过程中,删除的文件并不会物理删除,而是移动到trash目录,这一处理对大容量集群的滚动升级造成存储资源压力,阻碍了剩余信息保护,如果不能及时清理会导致爆盘问题;Hive组件内核由X到3.X的跨大版本升级中,由于元数据前后格式不兼容、API前后版本有变化、部分语法不兼容等问题,导致社区原生版本无法支持滚动升级;HBase组件内核由X到2.X的跨大版本升级中,API前后版本存在较大的变化,导致社区原生版本无法支持滚动升级;每日上万任务量,滚动升级期间如何保障平稳运行,尤其是损益分析、减值测算等核心场景;600+节点的大数据集群环境下,需要确保在升级过程中突发状况,快速应对硬件(磁盘、内存等)故障,不影响升级;70+业务系统,数百个业务在此集群上运行,滚动升级过程中需要保证每一个业务运行不受损。2.2 技术保障 滚动升级就是借助于FusionInsight MRS的高可用机制、主备模式、多副本机制、机架策略等在不影响集群整体业务的情况下,一次升级/重启部分节点。循环滚动,直至集群所有节点升级到新版本。 下图为已HDFS组件滚动升级示例: 为应对上述技术挑战项目组建了滚动升级小组,由社区PMC、社区Commiter、版本Developer构成,主要执行了以下技术保障:依托协议同步、元数据映射转换、API封装转换等方式,解决了社区协议不同、元数据格式不同、API变化等导致的兼容性问题,保障了滚动升级过程中低版本的组件客户端的正常使用;针对HDFS社区新版本升级过程中的文件未删除问题,额外实现了trash目录自动清理,将逻辑删除转换为物理删除,并增补了旧版本定期清理trash目录的工具。确保了基础设施资源利用的有效性,降低存储成本;针对组件升级前后性能状况、升级时长、升级过程中和事后可能出现的瓶颈点等问题,做了相应架构调整及优化,助力实现滚动升级的全局可控、全程无感、全面无误;运维管理方面,项目组针对性的研发了升级管理服务界面,可以端到端、分步骤地完成滚动升级,便于查看滚动升级状态,实现组件级控制。为了降低在升级过程中对关键任务服务连续性的影响,项目实现了按升级批次暂停的功能,有助于在关键作业或者作业高峰时段,通过暂停升级进行风险规避,确保业务无影响。此外,为避免各种突发事件中断升级进程,项目实现了故障节点隔离能力,在故障发生时,可以跳过对应节点的升级动作,保障了故障处理和升级的同步进行。2.3 组织保障 项目启动后,成立了以太保相关领导为项目经理,以华为交付和研发、太保的研发和运维为成员的联合项目组。本次升级面向的应用部门多达20+,平台涉及业务数量多且复杂。为保证滚动升级成功且整个过程中业务要做到0中断,在升级前、中、后的6个月里由华为方主导,客户各个业务部门紧密配合,项目组制定了周密的组织保障制度。太保升级项目组织保障升级前准备阶段:在项目组整体协调和华为的研发支撑下,完成了70+应用代码改造及验证,并输出测试报告;为充分识别风险,华为主动提供测试环境硬件资源,项目组联合各应用部门,进行了3次升级演练的联合测试;为达成升级前置条件,华为专家调研指导,有效的进行了集群小文件合并、客户端整改、集群多次巡检、升级方案的反复评审改进等升级前准备工作;升级过程保障:在升级过程的两周期间,华为安排研发、方案等专家现场保障。华为协同太保联合项目组制定了24小时排班保障、联合项目组和应用部门间的信息反馈及沟通(滚动升级中每组件升级完都需业务验证及确认)、升级操作的联合项目组授权、升级操作的录屏监控等制度;升级后观察:滚动升级完成后,联合项目组协调各应用部门进行应用业务验证,且已全部输出业务运行正常报告。后华为项目组后续持续观察两周时间,确认平台及应用运行正常后进行了本次升级提交。三、总结与展望 太平洋保险联合华为公司完成的本次金融业首家大数据集群跨多版本的滚动升级,实现了上层业务无感知、全程集群作业无中断、性能无影响,切实保障了客户的核心利益,也树立了金融同业新标杆。 随着数字化技术的不断迭代升级,将改变传统保险运营模式,未来主要会呈现出以下三个方向的变革:实现从大数到小数,加强风险数字刻画,从过去的大数概率到小数更加敏锐的感知,将从根本上改变传统的运营模式;从实体到虚拟,数据已是重要的生产资料,通过海量数据识别和评估新型资产的风险,将成为保险业的核心能力;从保险到治理,数字化将提升保险公司自身风险管理能力,将更多的参与到国家、城市的风险治理当中,逐步从损失补偿到风险管理和治理。 面向未来,太平洋保险将携手华为持续创新,不断完善风险生态,贯彻"以客户需求为导向"的战略,建设"专注保险主业,价值持续增长,具有国际竞争力的一流保险金融服务集团"。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
基于“十四五规划”践行“信息化2.0的行动计划”,华为云联合北师智慧构建了“互联网+教育”大平台——北师智慧智学伴教学系统,目的在于实现人工智能、大数据等先进技术与教育教学的深度融合,助力智慧教育数字化转型发展。平台以提高课堂效率为目标,将教学场景、教学内容和教学应用深度融合,教学过程与学情数据自动融入个人空间,全面沉淀过程性的数据,为教研和教学服务,教育云平台包含了融合的资源平台和管理平台。功能覆盖教学全场景,主要服务于学生、老师、家长、管理者四个对象。 商品亮点:1)深度融合教学场景 让每个老师都能做好信息化教学,不改变老师的教学习惯,把教学资源融入教学业务流程2)轻投入实现大规模因材施教 业内唯一,学生不购买硬件设备,老师手阅即可收集批阅痕迹并自动生成错题集3)盘活已投入的基础设施硬件利旧学校基础实施,班班通安装软件上云;开放融合,可对接已建设的平台和内容4)数据融合的开放平台 全面构建基于大数据实现全场景数据融合,内容、软件、硬件、平台均可开放融合5)标准化服务 服务简单,交付有标准、培训有计划、教研活动有准备,帮助学校提升师生信息素养 华为云云市场北师智慧智学伴教学系统核心功能:(1)智慧教育大脑:北师智慧基础云服务平台,构建开放、融合、共享的哈尔滨“城市大脑”。围绕学生、教师、教研员、管理者四类用户的核心诉求,构建和完善当地教育大脑中枢及教育教学应用体系。依据国家、教育部、省教育厅数据标准,统一数据采集标准和使用规范;建设统一生态平台,横向整合区域平台,纵向对接国家和黑龙江省平台,基于全场景应用形成“用数据辅助决策”的新机制,构建面向数据可视化的“一张图”教育治理图谱。 (2)局级教育治理大数据平台解决多级管理的一体化问题,实现教育局层面的教育管理平台,以及教育大数据看板等平台系统,推进区域内教育水平的均衡发展。帮助管理者及时掌握信息化系统建设与应用情况,实现基于数据的科学化决策和大规模因材施教;帮助地方政府通过平台有效提升“课后3点半”的校内课外辅导效率和效果,有效规范并治理培训机构。(3)局级资源共建共享平台建设“互联网+教育”大资源平台,建设形成协同连接的网状数字化教育资源应用环境。支持区校形成资源一体、数据同步、业务联通、服务融合、协同发展的一体化应用环境,实现优质数据与资源的沉淀与再应用。 (4)人人通空间全覆盖通过人人通网络学习空间的建设,重构当地学校全体教师的教学和办公环境,以及学生的学习环境,建立人人皆学、处处能学、时时可学的泛在学习环境,适应信息化条件下的教与学需求。 (5)“教、学、测、评、育”应用为教师提供备、教、改、辅、考全方面的智能教学工具,为学生提供一套完整预习、课堂、作业、练习、错题本等一系列学习活动的学习空间;满足教育部提出的提高课堂效率与质量的要求,在实际教学中,用数据帮助教师关注每一个学生,差异化教学;同时提供智慧教研系统、综合素质评价、家校共育系统,满足教师、学生、家长、管理者多方教育应用的需求,推进优质的资源和应用在学校的落地,实现与课堂教学的深度融合。 (6)智慧作业学生不需要购买硬件设备,老师用智慧笔批阅,达成全面收集老师批阅痕迹并自动生成错题集。全面解决批阅痕迹保留,应对教育部作业管理相关政策,实现老师批改作业,同时可控制作业总量和质量、获得作业数据分析;各级教育局可监管作业的批改、作业的质量;不给家长增加负担,提供学情数据服务。(7)智慧课堂通过小组探究性学习课堂、纸笔智慧课堂、PAD智慧课堂等多种形态,实现课前预习、课后作业、学科工具、课堂报告、课堂板书及微课、云与白板的融合系统、课堂智能组网、多屏互动管控、课堂互动、课堂测试等丰富的课堂形式。加速课堂教学进度,增强教学互动性,提高学生学习兴趣和积极性,实现课堂翻转和教学创新,有效实现教学资源应用的普及化和常态化,小组探究性学习课堂,帮助学生建立主动学习、探究学习、小组协作学习的能力,同时解决课后“3点半”在校内延时自主学习课上的学习问题。 北师智慧智学伴教学系统以“教、学、测、评、育”教育全场景的智慧教育解决方案,积极响应国家教育信息化2.0建设要求,帮助地区政府实现教育产业数字化转型发展,让每个孩子得到优质的教育资源,让每个孩子成为最好的自己!文中提到的商品链接:北师智慧智学伴教学系统【华为云云市场,助您上云无忧】
-
概述 当我们把设计稿和技术选型定下来之后,接下来就要开始着手画这个依赖图了。依赖图的组成最简单的就是节点Node 和节点之间的连线。这一节我们要处理的就是节点位置信息的处理。为了确定节点的位置信息,首先要给节点分层,分层的信息取决于节点之间的依赖关系。问题分析 当前我们默认图是从上到下布局方式,节点分层,最容易想到的就是拓扑排序,通过BFS 宽度优先遍历,计算每个节点的步长。自顶向下BFS 如上图,我们如果是普通的BFS,我们会发现D 节点应该是第二层,实际上D应该是第三层,所以,实际上每个节点应该取最大的步长,实现如下function calcLayer(nodes){ var queue = []; var maxLayer = 1; var nodesT = nodes; // 入度为0 的点放入队列 for (var i = 0; i < nodesT.length; i++) { if (nodesT[i].inputNode.length === 0) { nodesT[i].layer = 1; queue.push(nodesT[i]); } } while(queue.length > 0){ var tNode = queue.shift(); if (tNode.outputNode && tNode.outputNode.length > 0) { for (var j = 0; j < tNode.outputNode.length; j++) { var outputNodeIndex = getNodeIndex(tNode.outputNode[j], nodesT); if(outputNodeIndex < 0) continue; if (nodesT[outputNodeIndex].layer === -1) { nodesT[outputNodeIndex].layer = tNode.layer + 1; }else{ nodesT[outputNodeIndex].layer = Math.max(nodesT[outputNodeIndex].layer,tNode.layer + 1); } // 更新节点层次,选择最大值 maxLayer = Math.max(maxLayer, nodesT[outputNodeIndex].layer); queue.push(nodesT[outputNodeIndex]); } } } } 至此分层基本完成,但是发现另外一种情况,如下: 如果是按照刚才那种分发,入度为0 的节点必然在第一层,其实这种,我们可能更希望 G在第三层,F 在第二层,例如下图展示的 这样展示,图会更紧凑一点,观察图可知,在链路中间的节点,它的层级就是固定的,例如D节点,但是一些没有上游节点的,例如G,F 的位置确实可以多种选择的。在观察,我们可以知道,如果从E往上BFS,我们会发现,G,F节点就是我们需要的层次了,所以,这时候,我们需要自底向上再进行一次BFS,得到新的层级,并且用自底向上的结果去矫正自上而下的结果,这一点很关键。自底向上BFSfunction bottomToTop (nodes){ var queue = []; var maxLayer = 1; for (var i = 0; i <nodes.length; i++) { if (nodes.outputNode.length === 0) { nodes[i].layer = 1; queue.push(nodes[i]); } } while(queue.length > 0){ var tNode = queue.shift(); if (tNode.inputNode && tNode.inputNode.length > 0) { for (var j = 0; j < tNode.inputNode.length; j++) { var inputNodeIndex = getNodeIndex(tNode.inputNode[j], nodes); if(inputNodeIndex < 0) continue; if (nodes[inputNodeIndex].layer === -1) { nodes[inputNodeIndex].layer = tNode.layer + 1; }else{ nodes[inputNodeIndex].layer = Math.max(nodes[inputNodeIndex].layer,tNode.layer + 1); } maxLayer = Math.max(maxLayer, nodes[inputNodeIndex].layer); queue.push(nodes[inputNodeIndex]); } } } // 计数从下到上的,这里要转换成从上到下 for(var i = 0; i < nodes.length; i++){ nodes[i].layer = maxLayer + 1 - nodes[i].layer; } }修正结果集function fixLayer (nodesT, nodes){ for(var i = 0; i < nodesT.length; i++){ if(nodesT[i].inputNode.length === 0){ var minL = maxLayer; var minT = maxLayer; if(nodesT[i].outputNode && nodesT[i].outputNode.length > 0){ for(var j = 0; j < nodesT[i].outputNode.length; j++){ var inputNodeIndex = getNodeIndex(nodesT[i].outputNode[j], nodes); var inputNodeIndexT = getNodeIndex(nodesT[i].outputNode[j], nodesT); if(inputNodeIndex < 0) continue; if(inputNodeIndexT < 0) continue; // 注意,矫正的结果不能该节点比它子节点的层级还要高,这里要和它子节点做一次比较 minL = Math.min(minL, nodes[inputNodeIndex].layer - 1); minT = Math.min(minT, nodesT[inputNodeIndexT].layer - 1); } } nodesT[i].layer = Math.min(minL,minT); } } }总结 这里主要用到了BFS,如果很熟悉这个算法的话,还是很简单的,同时要观察一些实际情况,做一些优化即可!转自,从零开始画自己的DAG作业依赖图(二)--分层布局算法-云社区-华为云 (huaweicloud.com)
-
随着大数据业务场景越来越复杂,数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现作业失败,或者重试的情况,运维或者开发人员需要有一个很直观的图展示了解作业之间的依赖,这时候DAG依赖流程图就是一个很好的展现形式。由于一些开源的插件和当前的业务逻辑有一些冲突,华为云大数据技术工程师尝试从零开始,一点点实现业务的DAG图,并记录整个实现过程和总结。【摘要】 背景: 由于业务场景需要展示作业之间的依赖关系,由于一些开源的插件和当前的业务逻辑有一些冲突,个人打算尝试从零开始,一点点实现自己的DAG图。同时用博客记录自己实现过程和总结,不正确的地方,欢迎指正提升。场景分析: 1. 数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现有些作业失败,或者重试,这时候,运维或者开发的人,需要有一个很直观的图去展示作业之...背景: 由于业务场景需要展示作业之间的依赖关系,由于一些开源的插件和当前的业务逻辑有一些冲突,个人打算尝试从零开始,一点点实现自己的DAG图。同时用博客记录自己实现过程和总结,不正确的地方,欢迎指正提升。场景分析: 1. 数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现有些作业失败,或者重试,这时候,运维或者开发的人,需要有一个很直观的图去展示作业之间的依赖,这时候DAG 依赖流程图就是一个很好的展现形式。 2. 大数据场景下,可能会出现很多节点,甚至可能达到上千,甚至上万的节点,节点之间的边有可能也会很多,大的数据下,图的渲染时间需要考虑在内 3. 用户有可能在看了图之后,想直接重跑或者查看某个节点的上下游节点,等等运维操作 4. 用户可能需要图拖动某个算子,点击某个算子,复制某些算子的名称等一些操作实现目标: 基于以上客户的要求,我们大致明确要实现目标和需求,梳理如下 1. 用图的方式展示作业之间的依赖,基本能力要达到 2. 图要能够支撑大数据场景,在很多节点下节点之间布局清晰节点的之间的连线不要重叠,少交叉图能够支持缩放,拖动 图中节点支持拖动 3. 图要支持运维能力 悬浮某个节点 ,展示该节点的上下游,能够区分上下游节点选中某个节点,以及支持选中某个节点全部上游或者下游节点右键可以定制化业务操作,例如作业实例的重跑,停止作业名称支持复制选中具体某个节点可以展示该节点的信息面板 4. 优化提升提供鸟瞰图的功能,保证大数据下可以查找节点 提供搜索功能,能够精准在图上定位出要找的作业交互设计稿: 基于以上目标,设计稿大致如下技术选型: 一般的DAG,就两种方式,一种是canvas实现,另外一种就是svg,由于svg 对于事件处理比较简单,但是性能会差一些,后续如果svg 性能搞不定,可以使用canvas优化,新手,所以这里我选择了svg。用了svg.js,这个开源的插件,封装了一些简单的svg 函数,可以减少部分工作量。实现过程概览: 个人打算分一下几个方面,逐步实现。规划,背景,交互设计方案,技术选型节点的分层布局算法节点之间的线条路径图上运维--右键,选中,节点复制等图上事件--缩放,平移,节点拖动等后期优化--纵向排列优化后期优化--鸟瞰图以及搜索框及其他后期优化--大数据节点优化转自,从零开始画自己的DAG作业依赖图(一)--前期准备-云社区-华为云 (huaweicloud.com)
-
2021年6月18日,华为云TechWave全球技术峰会(人工智能&数据)在上海举行,以“创新普惠”为主题,分享技术创新与行业实践。华为云大力投入数据、人工智能领域,发布数据和AI系列新品,加速千行百业智能升级。华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳发表主题演讲 华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳出席并发表了《创新普惠,加速千行百业智能升级》的主题演讲。石冀琳表示:“企业实现全面云化、全栈智能的三大关键是:首先是全面拥抱云原生,加速云上创新,打造企业数字化转型、智能升级的底座;其次是围绕数据全生命周期技术创新,激发数据潜能,让数据成为新的生产要素;最后是释放AI生产力,使能全业务、全流程创新,打造企业智能升级的核心能力。”华为云架构与技术规划部部长朱海培发表主题演讲 华为云架构与技术规划部部长朱海培出席并发表了《云原生2.0,让云无处不在,让智能无所不及》的主题演讲。朱海培表示:“华为云FusionInsight智能数据湖解决方案提供湖仓一体的统一数据平台,包含MRS云原生数据湖、DWS数据仓库、DGC数据湖治理中心、DLI数据湖探索、ModelArts推理平台、TICS可信智能计算等云服务。通过底层统一数据存储,实现全局一份数据,通过对象存储物理数据,全局一份数据无需搬迁数据;分析计算,多引擎弹性计算,一个平台多引擎支持批处理、流处理、交互式查询等;统一元数据管理,全局一个视图,实现全局统一元数据管理,像管理代码一样管理数据。 在峰会上由太平洋保险客户发表《数字化提升保险风险治理能力》主题演讲,云计算、大数据等技术支撑风险生态建设,推动保险业务产品的转型和重塑,全面实现数字化和数智化的运营模式。太平洋保险在大数据平台的创新实践 中国太平洋财产保险基于华为云FusionInsight大数据平台,整合客户信息、运营服务资源和气象数据,搭建起气象灾害的风控信息化平台,并逐步深化大数据应用,延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”,不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力;在个客风控平台方面,打通承保理赔数据,形成客户的风控画像,结合经营风险,及时的进行干预,避免经营风险的发生。华为云FusionInsight MRS解决方案架构师发表主题演讲 华为云FusionInsight MRS解决方案架构师在数据使能分论坛上发表《MRS云原生数据湖,推动大数据分析从离线走向实时》的主题演讲。当前,大数据云化部署是主流趋势,政企客户需要充分利用云技术使得大数据所需资源弹性、灵活的使用。MRS云原生数据湖可让客户在一个架构实现离线数据湖、实时数据湖、逻辑数据湖三种数据湖,用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!离线数据湖使客户在一个平台下实现AI、BI、交互式查询等多场景分析;实时数据湖使大数据分析从离线走向实时,通过Hudi实现数据增量更新,从传统Append 到 Upsert,数据实时更新,数据价值释放从T+1转变为T+0;通过Clickhouse毫秒级的OLAP分析能力,实现数据分析不出湖,解决了传统数据来回搬迁、数据冗余的问题;逻辑数据湖通过HetuEngine实现跨湖、跨仓、跨云协同分析,突破地理限制,打破数据“墙”; 同时,MRS云原生数据湖还提供IoTDB时序数据库、DGC数据湖治理中心等能力。IoTDB实现一份数据兼容全场景,一套引擎打通云边端、一套框架集成云边端;DGC实现数据统一入湖、统一数据服务,让开发者轻松驾驭数据集成、规范、开发、质量、资产、安全、开放服务全流程。 在2020年IDC MarketScape评估中,FusionInsight处于市场份额和技术实力双领先,在2021年Frost&Sullivan评估中,FusionInsight在创新、成长及基础能力全面领先国内大数据厂商。华为云FusionInsight持续投入10年+,坚持与世界同行,在开源社区先后开放CarbonData和openLooKeng等组件,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户,已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
2021年6月18日,华为云TechWave全球技术峰会(人工智能&数据)在上海举行,以“创新普惠”为主题,分享技术创新与行业实践。华为云大力投入数据、人工智能领域,发布数据和AI系列新品,加速千行百业智能升级。在峰会上由太平洋保险客户分享“数字化提升保险风险治理能力”议题,云计算、大数据等技术支撑风险生态建设,推动保险业务产品的转型和重塑,全面实现数字化和数智化的运营模式。中国太平洋财产保险基于华为大数据平台,整合客户信息、运营服务资源和气象数据,搭建起气象灾害的风控信息化平台,并逐步深化大数据应用,延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”,不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力;在个客风控平台方面,打通承保理赔数据,形成客户的风控画像,结合经营风险,及时的进行干预,避免经营风险的发生。随着数字化技术的不断迭代升级,将改变传统保险运营模式,未来主要会呈现出以下三个方向的变革:实现从大数到小数,加强风险数字刻画,从过去的大数概率到小数更加敏锐的感知,将从根本上改变传统的运营模式;从实体到虚拟,数据已是重要的生产资料,通过海量数据识别和评估新型资产的风险,将成为保险业的核心能力;从保险到治理,数字化将提升保险公司自身风险管理能力,将更多的参与到国家、城市的风险治理当中,逐步从损失补偿到风险管理和治理。华为云FusionInsight持续投入10年+,坚持与世界同行,在开源社区先后开放CarbonData和openLooKeng等组件,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户,已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
为进一步支撑国家大数据战略落地,推动“十四五”期间大数据产业交流与合作,中国信息通信研究院(以下简称“中国信通院”)于2021年6月24日在京召开“2021大数据产业峰会·成果发布会”。会上,中国信通院云计算与大数据研究所所长何宝宏发布了《2021大数据十大关键词》。十大关键词分别是:数据要素、数据安全、DataOps、隐私计算、服务体系、与云融合、实时计算、数据湖、数字孪生和硬件变革。当前世界正经历百年未有之大变局,大数据技术、产业和应用逆势而上,“数据驱动”的价值深入人心。十大关键词勾勒出了大数据在政策、技术、产业、应用等方面呈现出的特点,为产业下一步演进提供了依据。大数据产业峰会至今已经成功举办五届,成为支撑大数据国家战略落地、全景展示大数据产业发展成果、推动大数据产业交流与合作、探讨发展面临重大问题的权威会议,是政府主管部门领导、业界知名专家、产业链各环节厂商高管、学术及研究机构人员等共同参与的一个高端平台。文章转载至环球网 https://city.huanqiu.com/article/43fZj0e0By4
-
【摘要】 深入讲解通用时区数据库的组织和维护方法,以及在GaussDB(DWS)中是如何使用的。GaussDB(DWS)时区相关知识(一)GaussDB(DWS)中的时区1. 背景介绍前面两篇详细介绍了一下时区和夏令时是如何产生并一步步成为标准的,也大概介绍了一下通用时区数据库相关的知识。接下来,我们深入了解一下通用时区数据库的组织规则,以及时区和夏令时到底是如何维护的,GaussDB(DWS)中又是如何使用的。2. 通用时区数据库介绍各地的时区和夏令时规则由各自的政府独立管理,他们经常在有限的通知下进行变更。而且他们历史数据和未来计划也只是断断续续的记录下来。通用时区数据库试图组织和整理这一领域相关的数据。时区数据库,通常称为 tz, tzdata 或 zoneinfo,是一组包含大量代码和数据用来表示全球许多有代表性的地点的本地时间的历史信息,他会根据各个政体对时区边界和夏令时规则的改变而不定期的更新。数据库中每一个条目都代表这自1970年以来被广泛认可的民用时钟的时区信息。该数据库被很多项目引用,比如:the GNU C Library (used in GNU/Linux), Android, FreeBSD, NetBSD, OpenBSD, Chromium OS, Cygwin, MariaDB, MINIX, MySQL, webOS, AIX, BlackBerry 10, iOS, macOS, Microsoft Windows, OpenVMS, Oracle Database, 和 Oracle Solaris。GaussDB(DWS)同其它广泛使用的软件产品一样,也是采用了IANA维护的通用时区数据。该数据库由David Olson创立,由Paul Eggert进行编辑和维护。因而有些地方也将其称作Olson数据库。它的显著特色是由Paul Eggert设计的一套通用时区命名规则,每个时区按照“区域/位置”格式,得到一个独有的名称,例如“America/New_York”。英文地名中的空格用下划线“_”代替,连词符“-”只在英文地名本身包含时使用。时区数据库目前普遍有两个叫法 Olson时区数据库或IANA时区数据库。奥尔森(Olson)的数据有所变化,部分原因是奥尔森(AD Olson)即将退休,部分原因是针对维护者的版权侵权提起了诉讼(现已撤销)。2011年10月14日,国际互联网名称与名称分配机构(IANA)接管了时区数据库的维护工作。它会定期进行更新以反映各政治实体对时区边界、UTC 差值和夏令时规则的更改。对tz的更新遵循BCP 175流程进行管理。经常有一些国家变更时区规则,IANA每年都会发布最新的时区数据和解析源码库。IANA提供三种方法对时区数据库的访问:https://www.iana.org/time-zonesftp://ftp.iana.org/tz/rsync://rsync.iana.org/tz/时区数据库中包含各大洲原始的时区定义的文本文件和解析这些文本文件的代码文件。2.1 通用时区数据库源码相关资料:源码托管地址:https://github.com/eggert/tz 时区数据库的介绍 https://data.iana.org/time-zones/tz-link.html 时区数据库原理及使用 https://data.iana.org/time-zones/theory.html下载方法:mkdir tzdb cd tzdb wget https://www.iana.org/time-zones/repository/tzcode-latest.tar.gz #下载最新解析时区文本定义的代码文件 wget https://www.iana.org/time-zones/repository/tzdata-latest.tar.gz #下载最新时区定义的文本文件 gzip -dc tzcode-latest.tar.gz | tar -xf - gzip -dc tzdata-latest.tar.gz | tar -xf - #或者下载代码+数据的完整压缩包 wget https://www.iana.org/time-zones/repository/tzdb-latest.tar.lz #下载代码+数据的完整时区数据库 lzip -dc tzdb-latest.tar.lz | tar -xf -代码结构:时区数据库中包含的时区定义文件(文本文件):africa antarctica asia australasia europe northamerica southamerica时区数据库中包含的代码文件(用于解析时区定义文件)asctime.c date.c difftime.c localtime.c strftime.c zdump.c zic.c安装目录结构:编译完成后的安装目录结构如下cd tzdb-2020a make TOPDIR=$HOME/tzdir install leap@gaussdb:~> ./sbin/tree -L 3 tzdir/ | more tzdir/ ├── etc │ └── localtime #本地时区文件 └── usr ├── bin │ ├── tzselect #设置时区的工具 │ └── zdump #以文本展示某个时区变化历史的工具 ├── lib │ └── libtz.a #解析时区文件的静态库文件 ├── sbin │ └── zic #时区编译器,可将时区定义的文本文件编译成二进制时区文件 └── share ├── man ├── zoneinfo #编译好的各个时区文件 ├── zoneinfo-leaps └── zoneinfo-posix -> zoneinfo #IANA的时间数据库被the GNU C Library (used in GNU/Linux)采用,因此install后的目录也按linux的系统目录来组织。代码中的zic.c是一个将时区定义的原始文本文件解析成二进制时区文件的工具。如果一个软件产品需要从IANA获取最新时区数据的话,需要同时获取源码和数据,并生成zic解析器将时区数据生成时区文件给软件产品使用。时区文件的解析代码在localtime.c中2.2 时区原始数据的规则及维护方法时区数据库的RAW文件,是按照一定的规则组织的文本文件。样例如下:该规则设计的很科学,能记录时区及夏令时变更的历史信息。使用该通用时区库能自动的转换历史时间,也因此该库被广泛采用。这里介绍一下莫斯科的时区定义Zone NAME STDOFF RULES FORMAT [UNTIL] Zone Europe/Moscow 2:30:17 - LMT 1880 2:30:17 - MMT 1916 Jul 3 # Moscow Mean Time 2:31:19 Russia %s 1919 Jul 1 0:00u 3:00 Russia %s 1921 Oct 3:00 Russia MSK/MSD 1922 Oct 2:00 - EET 1930 Jun 21 3:00 Russia MSK/MSD 1991 Mar 31 2:00s 2:00 Russia EE%sT 1992 Jan 19 2:00s 3:00 Russia MSK/MSD 2011 Mar 27 2:00s 4:00 - MSK 2014 Oct 26 2:00s 3:00 - MSK1992年1月19日凌晨2点到2011年03月27日凌晨2点,采用东三区2011年3月27日凌晨2点到2014年10月26日凌晨2点,采用东四区2014年10月26日凌晨2点以后采用东三区如何阅读时区数据库的RAW文件 https://data.iana.org/time-zones/tz-how-to.htmlVSCode的Zoneinfo插件可以通过语法高亮的方式查看时区数据的RAW文件时区数据库的基本功能是提供 时区数据原始文件 和一个将 时区数据原始文件 转换成 时区文件 的一个编译器:zic。可以通过 man zic 了解时区文件编译器(将时区定义文本文件编译成二进制时区数据文件)的使用3. 通用时区数据库使用每个时区名的具体定义都存在于时区文件中,比如:/etc/localtime。操作系统支持的时区文件存储在/usr/share/zoneinfo/目录下。我们数据库支持的时区文件存储在share/timezone目录下。时区文件有统一约定的格式要求(来自IANA维护的时区数据库),可以使用info tzfile查看。时区文件固定开头结构:struct tzhead { char tzh_magic[4]; /* TZ_MAGIC,固定在开头的特征字符"TZif"来标识时区文件 */ char tzh_version[1]; /* '\0' or '2' or '3' as of 2013,版本信息 */ char tzh_reserved[15]; /* reserved; must be zero */ char tzh_ttisutcnt[4]; /* coded number of trans. time flags 保存在文件中的UTC/local指示器数目*/ char tzh_ttisstdcnt[4]; /* coded number of trans. time flags 保存在文件中的standard/wall指示器数目*/ char tzh_leapcnt[4]; /* coded number of leap seconds 其值保存在文件中的leap second的数目*/ char tzh_timecnt[4]; /* coded number of transition times 其值保存在文件中的"变化时间"数目*/ char tzh_typecnt[4]; /* coded number of local time types 其值保存在文件中的"本地时间类型"数目(非零!)*/ char tzh_charcnt[4]; /* coded number of abbr. chars 保存在文件中的"时区简写符"数目*/ };跟在上面这些头部后的是tzh_timecnt 个"标准"字节顺序的四字节 long 类型值, 以升序排序. 每个值均作为一个变化时间(就像 time(2) 的返回), 系统依赖这些值来计算本地时间变化.而在此之后的是 tzh_timecnt 个 unsigned char 类型的一字节值, 这些值指出了文件中描述的多种"本地时间"类型中哪一个与具有相同索引的变化时间相关. 这些值可作为 ttinfo 结构数组的索引.而 ttinfo 结构在文件中随后就有定义, 描述如下:struct ttinfo {long tt_gmtoff;int tt_isdst;unsigned int tt_abbrind;};结构包括一个"标准"字节顺序的四字节 long 类型值 tt_gmtoff,以及一个一字节的 tt_isdst和一个一字节的 tt_abbrind.在每个结构里, tt_gmtoff 给出了要被加到UTC的时间, 以秒为单位,tt_isdst 表明 tm_isdst 是否可通过 localtime (3) 设置,而 tt_abbrind 可作为时区简写符的数组索引, 该数组在文件中跟在 ttinfo 结构后面.这样就有 tzh_leapcnt 个标准字节顺序的四字节对, 每个四字节对的第一个值给出一个leap second发生的时间, 就如 time(2) 的返回; 每个四字节对的第二个值给出给定时间之后所实现的总的 leap second数. 四字节对按时间的升序排序.同样有 tzh_ttisstdcnt 个standard/wall指示器, 每个保存了一个一字节值; 这些指示器指出了变化时间(与本地时间类型相关)是否被说明为standard time或者wall clock time, 以及当一个时区文件被用于处理POSIX 格式时区环境变量时是否使用变化时间.最后, 有 tzh_ttisgmtcnt 个UTC/local指示器, 每个保存了一个一字节值; 这些指示器指出了变化时间(与本地时间类型相关)是否被说明为UTC 或者local time, 以及当一个时区文件被用于处理 POSIX格式时区环境变量时是否使用变化时间.如果 tzh_timecnt 等于零或者时间参数比文件记录的第一个变化时间小的话, Localtime 就使用文件中的第一个标准时间 ttinfo, 或者在没有标准时间结构是就直接使用第一个 ttinfo 结构.可以通过 man zdump dump二进制时区数据文件,了解如何查看一个时区的变更历史./zdump -V Asia/Chongqing | more Asia/Chongqing Sat Dec 31 16:53:39 1927 UT = Sat Dec 31 23:59:59 1927 LMT isdst=0 gmtoff=25580 Asia/Chongqing Sat Dec 31 16:53:40 1927 UT = Sat Dec 31 23:53:40 1927 LONT isdst=0 gmtoff=25200 Asia/Chongqing Wed Apr 30 16:59:59 1980 UT = Wed Apr 30 23:59:59 1980 LONT isdst=0 gmtoff=25200 Asia/Chongqing Wed Apr 30 17:00:00 1980 UT = Thu May 1 01:00:00 1980 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat May 3 15:59:59 1986 UT = Sat May 3 23:59:59 1986 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat May 3 16:00:00 1986 UT = Sun May 4 01:00:00 1986 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 13 14:59:59 1986 UT = Sat Sep 13 23:59:59 1986 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 13 15:00:00 1986 UT = Sat Sep 13 23:00:00 1986 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 11 15:59:59 1987 UT = Sat Apr 11 23:59:59 1987 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 11 16:00:00 1987 UT = Sun Apr 12 01:00:00 1987 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 12 14:59:59 1987 UT = Sat Sep 12 23:59:59 1987 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 12 15:00:00 1987 UT = Sat Sep 12 23:00:00 1987 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 9 15:59:59 1988 UT = Sat Apr 9 23:59:59 1988 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 9 16:00:00 1988 UT = Sun Apr 10 01:00:00 1988 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 10 14:59:59 1988 UT = Sat Sep 10 23:59:59 1988 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 10 15:00:00 1988 UT = Sat Sep 10 23:00:00 1988 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 15 15:59:59 1989 UT = Sat Apr 15 23:59:59 1989 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 15 16:00:00 1989 UT = Sun Apr 16 01:00:00 1989 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 16 14:59:59 1989 UT = Sat Sep 16 23:59:59 1989 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 16 15:00:00 1989 UT = Sat Sep 16 23:00:00 1989 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 14 15:59:59 1990 UT = Sat Apr 14 23:59:59 1990 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 14 16:00:00 1990 UT = Sun Apr 15 01:00:00 1990 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 15 14:59:59 1990 UT = Sat Sep 15 23:59:59 1990 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 15 15:00:00 1990 UT = Sat Sep 15 23:00:00 1990 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 13 15:59:59 1991 UT = Sat Apr 13 23:59:59 1991 CST isdst=0 gmtoff=28800 Asia/Chongqing Sat Apr 13 16:00:00 1991 UT = Sun Apr 14 01:00:00 1991 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 14 14:59:59 1991 UT = Sat Sep 14 23:59:59 1991 CDT isdst=1 gmtoff=32400 Asia/Chongqing Sat Sep 14 15:00:00 1991 UT = Sat Sep 14 23:00:00 1991 CST isdst=0 gmtoff=28800因为我国从1991年开始取消了夏令时,所以就不再变化。4. GaussDB(DWS)中如何使用时区数据为了国内用户的使用方便,GaussDB(DWS)根据IANA的定义的语法规则,在内部帮助用户定义了 Asia/Beijing 时区,其定义与 PRC 时区定义一致。位于按装目录下的 timezone/Asia/Beijing查看Asia/Beijing的具体定义:./zdump -V Asia/Beijing Asia/Beijing Sat May 3 15:59:59 1986 UT = Sat May 3 23:59:59 1986 CST isdst=0 gmtoff=28800 Asia/Beijing Sat May 3 16:00:00 1986 UT = Sun May 4 01:00:00 1986 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 13 14:59:59 1986 UT = Sat Sep 13 23:59:59 1986 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 13 15:00:00 1986 UT = Sat Sep 13 23:00:00 1986 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 11 15:59:59 1987 UT = Sat Apr 11 23:59:59 1987 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 11 16:00:00 1987 UT = Sun Apr 12 01:00:00 1987 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 12 14:59:59 1987 UT = Sat Sep 12 23:59:59 1987 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 12 15:00:00 1987 UT = Sat Sep 12 23:00:00 1987 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 9 15:59:59 1988 UT = Sat Apr 9 23:59:59 1988 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 9 16:00:00 1988 UT = Sun Apr 10 01:00:00 1988 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 10 14:59:59 1988 UT = Sat Sep 10 23:59:59 1988 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 10 15:00:00 1988 UT = Sat Sep 10 23:00:00 1988 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 15 15:59:59 1989 UT = Sat Apr 15 23:59:59 1989 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 15 16:00:00 1989 UT = Sun Apr 16 01:00:00 1989 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 16 14:59:59 1989 UT = Sat Sep 16 23:59:59 1989 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 16 15:00:00 1989 UT = Sat Sep 16 23:00:00 1989 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 14 15:59:59 1990 UT = Sat Apr 14 23:59:59 1990 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 14 16:00:00 1990 UT = Sun Apr 15 01:00:00 1990 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 15 14:59:59 1990 UT = Sat Sep 15 23:59:59 1990 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 15 15:00:00 1990 UT = Sat Sep 15 23:00:00 1990 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 13 15:59:59 1991 UT = Sat Apr 13 23:59:59 1991 CST isdst=0 gmtoff=28800 Asia/Beijing Sat Apr 13 16:00:00 1991 UT = Sun Apr 14 01:00:00 1991 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 14 14:59:59 1991 UT = Sat Sep 14 23:59:59 1991 CDT isdst=1 gmtoff=32400 Asia/Beijing Sat Sep 14 15:00:00 1991 UT = Sat Sep 14 23:00:00 1991 CST isdst=0 gmtoff=28800现在GaussDB(DWS)中所有关于时区的知识都介绍完了,希望从原理和维护角度的深入学习彻底扫除时区使用的疑惑,如果有相关问题欢迎在论坛中提问。5. 总结综上,GaussDB(DWS)作为一款面向全球用户的高性能分析型数据库产品,对时区数据的支持也是符合工业界标准规范的。想了解GuassDB(DWS)更多信息,欢迎微信搜索“GaussDB DWS”关注微信公众号,和您分享最新最全的PB级数仓黑科技~转载来自:https://bbs.huaweicloud.com/blogs/247561
-
【功能模块】【操作步骤&问题现象】1、详细看截图2、FacilityManagement 那该怎么编译发布啊【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
助力千行百业释放数据价值,华为云大数据推出0元试用30天活动,包含4款明星产品↓MapReduce服务:大数据集群云服务,支持数据湖/数仓/BI/AI融合,数据搬迁“代码0修改,业务0中断”。现提供鲲鹏通用计算增强型,4U16G Master节点*2+Core节点*3,1个月套餐包。数据湖治理中心DGC:数据全生命周期一站式开发运营平台,可复用行业知识库,助力企业快速构建数据运营能力。现提供初级版,1个月免费试用。数据湖探索服务DLI:提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。云搜索服务 CSS:兼容Elasticsearch完全托管在线分布式搜索服务,用于站内搜索/日志分析/运维监控等场景,现提供现提供鲲鹏通用计算增强型,4U8G,高IO 100G,免费试用。一、活动时间2021年6月10日-2021年7月10日;云产品体验名额有限,领完即止。二、参与对象完成华为云实名认证(企业认证或个人认证均可);三、活动流程0元购买上面任意一款产品,即可添加小助手入群抽奖,抽取:(具体规则会在群公告公示)荣耀智能体脂秤一个罗技无线鼠标五个定制短袖五件点击链接0购买下面服务体验套餐https://activity.huaweicloud.com/Date-free.html,购买后将华为云账号私法小助手,然后回复【大数据】即可入群四、说明1、符合“参与对象”的同一用户仅能对同一产品申请领取1次。(各服务体验套餐包均可领取1个)(1)同一用户指:在华为云注册、登录、使用过程中的实名认证信息、手机号、邮箱、设备或地址如果一样,则视为同一用户;(2)同一产品指:每类产品只能选择一种配置进行免费试用,请在领取时确认规格、地域等相关信息,领取成功后将不支持更改。2、如用户账号下存在未支付订单,会导致系统对用户试用资格的审核无法通过;在此情况下,用户须将相应的未支付订单作废后,方可正常参与相应产品的试用(去订单管理);3、用户参与免费试用所获得的相应权益,仅限本账号使用,不得转让、出售或以其他方式换取利益;4、为保证活动的公平公正,华为云有权对恶意刷抢(如通过程序等技术手段)活动资源,长期资源闲置,利用资源从事违法违规行为的用户收回免费套餐使用资格;5、如用户在活动中存在隐瞒、虚构、作弊、欺诈或通过其他非正常手段规避活动规则、获取不当利益的行为,例如:作弊领取、恶意套现、网络攻击、虚假交易等,华为云有权收回相关权益、取消用户的活动参与资格,撤销违规交易,必要时追究违规用户的法律责任;所有参加本活动的用户,均视为认可并同意遵守《华为云用户协议》。
-
6月18日,华为云TechWave全球技术峰会(人工智能&数据)将在上海举办,更多云原生创新技术和丰富实践还将与大家见面,华为云FusionInsight MRS解决方案架构师还将带来“MRS云原生数据湖,推动离线分析走向实时”的主题演讲,从行业趋势、技术创新、业务实践等方面解读MRS云原生数据湖。在信息高速流动的数字经济时代,数据的时效越高,价值就越大。大数据平台将逐渐演进成数据流动和汇集的中枢,数据向大数据平台聚焦的速度会越来越快,同时大数据平台对外提供数据服务的时效也会越来越高。传统大数据平台缺少事务和增量更新的能力,协同分析需频繁搬迁数据,易产生数据冗余,且无法保障数据的一致性;传统大数据平台往往采用批量集中处理,端到端数据的时效性通常需要T+1到T+2,造成上层业务感知慢、实现逻辑复杂等问题,已经无法满足数字经济时代快速变更的业务诉求,尤其在实时营销、实时推荐等分析场景。政企客户亟需增强大数据平台供数能力,通过数据实时入湖实时供数,对上层应用提供敏捷高效支撑。华为云FusionInsight MRS云原生数据湖为政企客户提供湖仓一体、云原生的数据湖解决方案,构建一个架构可持续演进的离线、实时、逻辑三种数据湖,支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数据仓库、数据接入和治理等大数据应用场景,使政企客户高效用数、简化用数,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快。伴随政企数字化转型进入深水区,面对错综复杂的数据分析场景和数据激增带来的数据结构变化,华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时,帮助政企客户解决多场景的数据分析诉求,成为政企数字化转型中首选的数据底座呢?6月18日,让我们一起相约华为云TechWave全球技术峰会(人工智能&数据)。目前,华为云FusionInsight MRS云原生数据湖携手800+合作伙伴,已服务于60多个国和地区3000+客户,广泛应用于政务、金融、运营商、能源、医疗、制造、交通等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
-
灵活就业的措施有三大政策值得期待。一是开展平台灵活就业人员职业伤害保障试点。这里稍作展开具体的方式主要有:探索用工企业购买商业保险、保险公司适当让利、政府加大支持的机制。二是灵活就业人员参加城乡居民基本养老保险的兜底措施也如箭在弦。三是推动放开灵活就业人员在就业地参加社保的户籍限制。当务之急是,利益上,平台和灵活就业者之间能有个起码的平衡;体制上,让灵活就业人员能有个渠道,他们的事需要专门的责任主体去管。除了基础性的保障,必要的职业培训也是很重要一环——为他们将来的转型发展做好准备。——知名评论人石述思与2019年相比,今年企业招聘人数和求职人数同比均上涨,但招聘人数涨幅低于求职人数涨幅。2021届全国普通高校毕业生达909万人,再创历史新高。然而,今年新进入就业市场的年轻人远不止这个数目,还包括自考、函授等非全日制高校毕业生,初高中毕业生,以及仍未就业的2020届毕业生。智联招聘平台数据显示,3月,仍有41.6万2020届毕业生在求职,同时海归回国求职人数也大幅增长。智联招聘进行的2021应届毕业生调查显示,截至4月中旬,8000多名受访者只有56.9%选择找工作,较去年下降了18.9个百分点;12.8%选择慢就业,同比上升6.6个百分点。——智联招聘人力资源顾问王一新由于我国多地积极规划数字经济蓝图,5G与云计算、大数据、人工智能、工业互联网发展浪潮奔涌,企业竞相展开布局,由此带来新一代信息技术上下游硬核科技人才紧缺,成为各大企业争夺的目标。芯片领域的Si/GaN新材料研发专家、DRAM研发专家、IC工艺研发专家平均年薪可达80—150万元,跳槽薪酬涨幅高达50%;大数据领域,数据平台研发、数据应用开发和数据产品类人才炙手可热,部分资深工程师年薪已超150万元;云计算、物联网领域,平台架构、解决方案、智能运维高层次人才成缺口,部分岗位年薪超过200万元,跳槽薪酬涨幅接近40%。
-
天气,关乎地球上所有人的生产生活。古时候,人们看天吃饭,如今,我们是看天气预报,提前做好工作生活的准备,比如:预测台风、洪水,给出预警,做好应急方案;结合污染排放数据和大气流动预报空气质量;海洋养殖根据气候变化及时修改培养策略;……除此之外,国防、交通、保险、智慧城市等等领域,都依赖着气象数据。在这样一个关乎民生的行业里,人工智能、大数据、超算这些技术,可发挥的潜力也是无限的,华为云MVP周峥就是其中的技术践行者,他正带领着团队为国内气象行业带来一股温柔而不失力量的春风。气象市场红利:5年翻20倍2015年是气象领域的转折点,自此之后,垄断的时代宣告结束,气象服务逐渐向商业公司开放。有数据统计,气象市场在未来几年内将有20倍的成长空间,2025年将达到3000亿的市场规模。对比之前7年翻一番的数据,市场开放带来的红利显而易见,一大波新兴的创业公司涌入。2018年,周峥也毅然跨入了这波浪潮中。在创立九方科技之前,周峥在气象领域已经有了一定的技术积累。作为武汉大学&俄亥俄州立大学联合培养博士,他是清华大学地球系统科学系高级工程师,也担任过国家超级计算(无锡)中心部门主管、高级工程师。周峥擅长系统结构设计、核心算法设计等,参与过多项国家重大科研课题的研发工作,论文发表、软件著作专利,各种国家级奖项,不一而足。正是在国家超算无锡中心的研究工作,促成了他的气象大数据创业。周峥带领原部门“地球系统数值模拟部”近20位同事探寻超算产业化与商业气象服务的商业化之路。技术人才的强强联合,让这个从国家科研团队走出的创业公司,成功实现了连续三年的公司盈利。把预报做准确,实非易事作为公司创始人&CEO,周峥带领核心研发人员,基于“神威·太湖之光”超级计算机系统,结合超级计算与人工智能等技术,研制了国产自主的智能网格预报平台,在气象、海洋数值预报方面领域取得技术突破。以海洋数值预报为例,周峥介绍道,在海洋养殖方面,海水水流过急,海带就会冲断。如果温度过高,海参就会直接化成水了,如果温度突然太低,螃蟹就难以存活。于是,他们通过“三维海洋要素智能预报系统”,用科学的手段分析海产品养殖区域情况,不仅可预报海洋温度、盐度、海流这些信息,还可进行营养盐、海洋生物化学等要素的预报。“我们做的事情,就是把天气预报给报准。”看似这句话很简单,但也是最具挑战性的。周峥谈到,他们的定位是数据的生产者,而不是数据的搬运工。所以,周峥和团队耦合了大气、海洋、海浪、海冰、陆面等多个气象预报模式,汇集了卫星、雷达、站点等多类数据,并结合数值预报、人工智能、超级计算技术,形成从气象预报到气象信息应用的完整产业能力与技术壁垒。而且与多数气象公司不同的是,周峥和团队具备自研气象预报数值模式,以及直接加工源数据和应用的能力,这也是他们的杀手锏。他们把数据和AI算法相结合,利用强大的算力推出准确度、精细度更高的气象预报数据,据了解,他们可将大气、海洋预报的时间精度和空间精度进一步提升至分钟级更新和百米级网格水平。比如在大气污染监测方面,周峥和团队已经做到准确度近90%;在厄尔尼诺现象方面,可以提前6个月预测等等。周峥和华为云的合作,也让他们的气象预报能力更上一层台阶。比如,通过华为云高性能计算HPC集群打造大气污染预警系统。其中,HPC管理节点将计算任务通过SGE资源调度系统进行任务投递,集群内基于弹性云服务器搭建的计算节点承担主要计算任务,同时将所有处理结果存储在弹性文件服务,共享存储结果。据了解,华为云HPC解决方案针对HPC Workload进行优化,实现HPC资源按需租用,能够帮助用户降低成本,提升气象预报的效率和准确度,帮助气象业务快速向智能化、云化、和数字化转变。最后深耕气象行业多年,通过历年的技术攻克,周峥和团队也取得了一系列的荣誉与资质。在国家级、省市级的各类大赛中多次获得奖项,积累专利、软件著作等知识产权26项。他们也完成了10余项国家级科研项目研究课题,发表大量科研成果。并加入中国气象服务协会、国家海洋信息产业发展联盟、中国港口协会、华为解决方案伙伴战略合作计划。未来周峥也将面向G端和B端客户提供精细化的气象数据及综合解决方案,包括和华为云合作,基于自研数值模式和人工智能预报技术为行业客户提供更精细化、更针对性的产品和服务,覆盖智能气象预报、大气环保、航运导航、金融保险等等领域。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签