• [云计算周刊] 工信部:1-8月通信业运行态势总体良好云计算和大数据等新兴业务收入亮眼
    央广网北京9月19日消息(记者 万玉航)工业和信息化部运行监测协调局消息,1-8月份,通信业运行态势总体良好。电信业务收入稳步增长,电信业务总量快速增长;5G用户数快速扩大,网络建设和应用不断推进;固定宽带接入用户数稳步增加,蜂窝物联网、IPTV用户数较快增长,新兴业务对电信业务拉动作用持续显现。特别是新兴业务收入持续加快增长,云计算和大数据收入同比增速分别达98%和34.8%。2020-2021年1-8月份电信业务收入和电信业务总量累计增速(图源工信部网站)1-8月份,电信业务收入累计完成9919亿元,同比增长8.4%,增速同比提升5.3个百分点。按照上年不变价计算的电信业务总量为10932亿元,同比增长27.5%。分类来看:数据及互联网业务收入平稳增长。1-8月份,三家基础电信企业完成固定数据及互联网业务收入为1708亿元,同比增长11.3%,在电信业务收入中占比为17.2%,占比同比提升0.5个百分点,拉动电信业务收入增长1.9个百分点。完成移动数据及互联网业务收入4392亿元,同比增长4.3%,在电信业务收入中占比为44.3%,拉动电信业务收入增长2个百分点。语音业务持续下降。1-8月份,三家基础电信企业完成固定语音和移动语音业务收入156亿元和797亿元,同比分别下降6.8%和5.9%,合计在电信业务收入中占比9.6%,占比同比回落1.5个百分点。新兴业务收入持续加快增长。1-8月份,三家基础电信企业积极发展IPTV、互联网数据中心、大数据、云计算等新兴业务,共完成新兴业务收入1491亿元,同比增长28.1%,增速较1-7月份提高0.6个百分点,在电信业务收入中占比为15%,拉动电信业务收入增长3.6个百分点。其中云计算和大数据收入同比增速分别达98%和34.8%。2020-2021年1-8月份电信业务收入分类增长情况(图源工信部网站)从用户发展情况来看,移动电话用户规模稳中有增,5G用户规模快速扩大。截至8月末,三家基础电信企业的移动电话用户达16.26亿户,比上年末净增3205万户。其中,5G手机终端连接数达4.19亿户,比上年末净增2.2亿户。固定宽带接入用户规模稳步增长,千兆用户发展加快。截至8月末,三家基础电信企业的固定互联网宽带接入用户达5.19亿户,比上年末净增3510万户。其中,100Mbps及以上接入速率的固定互联网宽带接入用户达4.77亿户,占总用户数的92%,占比较上年末提升2.1个百分点;1000Mbps及以上接入速率的固定互联网宽带接入用户达1864万户,比上年末净增1224万户。蜂窝物联网用户增长较快,IPTV用户稳步增加。截至8月末,三家基础电信企业发展蜂窝物联网终端用户13.3亿户,比上年末净增1.9亿户,其中应用于智能制造、智慧交通、智慧公共事业的终端用户占比分别达17.6%、16.8%、22.4%,智慧公共事业终端用户同比增长24.6%,增势最为突出。IPTV(网络电视)总用户数达3.4亿户,比上年末净增2469万户。1-8月份,移动互联网累计流量达1420亿GB,同比增长36.7%。其中,通过手机上网的流量达到1359亿GB,同比增长35.5%,占移动互联网总流量的95.7%。8月份,当月户均移动互联网接入流量(DOU)达到13.73GB/户·月,同比增长22%,比上年底提高1.81GB/户·月。【来源:央广网】
  • [其他] DPR一种高效的开放域问答检索技术
    https://arxiv.org/pdf/2004.04906.pdfnlp-paper:https://github.com/DengBoCong/nlp-papernlp-dialogue:https://github.com/DengBoCong/nlp-dialoguetext-similarity:https://github.com/DengBoCong/text-similarity说明:阅读原文时进行相关思想、结构、优缺点,内容进行提炼和记录,原文和相关引用会标明出处,引用之处如有侵权,烦请告知删除。在开放域的问答系统中,我们需要从大量的文本数据中搜索匹配我们想要的答案(或者学习文档的“信息知识”用于生成答案),而对每个问题都进行全文的数据“学习”是不现实的,因此往往依赖于高效的文本检索来选择候选段落,进而缩小目标范围。做法往往是将模型分为两大块,首先有一个 Document Retriever,对给定的问题 question,从所有文档中检索,检索到文档后切分成段落,然后用一个称之为 Document Reader 的模块在段落中预测答案位置并给出分数,或者是进行模型的学习生成。而本文的重点就在于Retriever,如何在Retriever阶段提高检索的效率。传统的检索模型用的较多的有TF-IDF 或 BM25算法,它们通过高效匹配关键词将问题和context表示成一个稀疏的高维度空间向量,这些算法很高效,但是不足之处在于仅仅是在词的匹配上进行检索,并未考虑语义的相关性,有很大的局限性。所以文中从一个很直观的思路,即通过稠密且能够包含语义信息的空间向量进行表示,那么问题来了,我们怎么样在不进行额外的预训练的前提下,只是用question和passage(或answer)对来训练一个足够好的embedding model呢?论文提出了的方案非常简单,通过优化question和相关passage向量的最大化内积,目的是比较batch中所有的question和passage,这种看似简单的方法,在 top-20 文章检索准确率上却比 Lucene-BM25 系统高出 9%-19%。
  • [行业动态] HC2021揭秘华为云FusionInsight智能数据湖 8.1.0 版本新能力
    9月23日至25日,华为全联接2021以“深耕数字化”为主题,各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中,华为云FusionInsight技术专家陈祥,发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。进入智能数据时代,业界建设数据湖的十大共识       经过数十年的快速发展,大数据处理技术已日渐成熟,围绕数据湖衍生技术多如繁星,业界在多年的探索之中,也对未来数据湖形态有了十个重要共识,如充分利用云技术实现云原生的数据分析,支持混合云及多云部署,各种类型的数据、支持更多的数据用户类型,提供不同的数据引擎、不同的数据处理能力等,这些需求对大数据技术创新提出了诸多挑战。面对这些挑战,华为云FusionInsight发布智能数据湖最新版本8.1.0去应对新时代对大数据的这些技术诉求。华为云FusionInsight提供湖仓一体的解决方案,兼顾历史与未来华为云FusionInisght智能数据湖为企业客户提供完整的大数据云服务产品组合,有单集群最大支持5W节点的云原生数据湖MRS服务和全球最大的商用部署的云数据仓库DWS服务,MRS和DWS既可以灵活按需部署,也可以融合演进到湖仓一体的架构;同时面向不断增长的数据探索分析、新型的图分析、可信计算等诉求,提供了完全托管式的DLI数据湖探索服务,完全自研的高性能一体化的GES图计算服务、创新的可信智能计算服务TICS,并提供源自华为自身数字化转型经验沉淀的DGC数据湖治理中心服务,用于海量数据的数据治理、离线分析、实时分析、数仓集市、多模分析等场景,帮助客户构建一站式的大数据分析平台,释放企业数据价值。MRS云原生数据湖提供三湖一集市能力,让数据分析更敏捷MRS云原生数据湖作为FusionInsight主打的云服务,是一款Lakehouse架构的云原生数据湖服务,解决传统大数据平台零散式建设、供数链路长、人工搬迁慢等问题,一个架构实现离线、实时、逻辑三种数据湖:离线数据湖:提供交互式、BI、AI等多个计算引擎,基于云原生存储实现存算分离架构,使得云原生数据湖的架构更灵活,业务更敏捷。同时还支持单集群5万(通过集群联邦,支持10万+规模)节点的超大规模,支持集群滚动升级,保障关键业务升级不中断。实时数据湖:提供生成数据CDL实时捕获入湖、Hudi数据湖存储引擎、ClickHouse毫秒级OLAP分析等构建实时更新处理能力,使得供数时效从T+1到T+0。逻辑数据湖:HetuEngine提供跨湖、跨仓、跨云的协同分析,实现湖仓一体,减少80%数据搬迁,协同分析提效50倍。MRS云原生数据湖实现数据全链路实时分析,价值兑现从T+1走向T+0在华为云FusionInsight 8.1.0 新版本中,MRS云原生数据湖实现了数据全链路实时分析,让价值兑现从T+1走向T+0。传统方案从数据接入、数据入湖到数据入湖,不支持增量数据更新,数据处理采用离线批处理方式,数据分析则需提前制定各种CUBE,预聚合的方式费时费力,导致数据分析时效性T+1,无法满足新时代的业务诉求。为解决上述问题,MRS云原生数据湖通过创新的CDL组件支持直接读取Binlog日志实时入湖,结合Flink/Spark实现数据实时合并、实时加工,打通信息生产到分析平台的最后一公里;通过引入Hudi,支持数据更新、数据删除,还有ACID能力,保证数据实时入湖更新操作;通过引入ClickHouse,可以把数据拉到一个大宽表内去做分析,只需要对接后端的BI工具,就可以自助式的完成报表开发。同时,ClickHouse支持实时OLAP,可实现毫秒级实时分析,且ClickHouse不需要建Cube,只要对接BI工具就能轻松完成新业务的开发。MRS云原生数据湖通过CDL+Hudi+Clickhouse的新方案,实现全链路实时分析,快速构筑实时数据湖能力。IoTDB工业物联网时序数据库,云边端协同轻松构建时序数据集市MRS云原生数据湖提供一架构三湖能力的同时,还支持构建多模态数据集市,在新版本中引入了MRS IoTDB工业物联网时序数据库,实现云边端协同轻松构建时序数据集市。MRS IoTDB是由华为云FusionInsight团队与是清华大学共同开发,聚焦工业物联网领域的工业复杂时序数据的处理,如千万级超大规模测点处理、乱序处理、多序列对齐、序列分割、子序列匹配、旋转门压缩、降采样存储等专业时序需求,解决通用数据库在超大规模复杂时序场景的功能短板和性能瓶颈,高效管理海量工业物联网数据,形成跨越端、边、云的工业物联网大数据的利器,在海量时序数据处理场景发挥其“专、快、稳、省、易”能力。在实际应用落地中,一台IoTDB实例就能替代13台传统时序数据库,性能优势明显。灾备:两地三中心高可用,确保业务连续性,SLA 99.999%在增强数据湖平台全链路实时分析与工业物联网数据库能力的基础上,MRS云原生数据湖在数据可靠性上再次进行增强,提供了三个容灾方案:提供原有的数据备份能力,支持将关键数据备份到异地中,一旦出现集群故障导致数据丢失,则可以将备份数据恢复回来。新增了单集群跨AZ高可用方案:支持将一个集群部署在多个机房中,通过副本放置策略确保数据副本存放在不同的机房,通过YARN的任务调度机制的优化确保任务优先访问任务所在机房的数据副本,当一个机房出现故障后,任务会自动切换到其他机房的机器上,从而确保单AZ故障时数据不丢失,关键业务不中断。同时,还新增了异地主备容灾方案:也就是分别建设主、备两个MRS集群,主集群数据会周期或实时自动同步到备集群上。当主集群故障时,将业务倒换到备集群上,确保业务快速恢复。通过以上三种方案,MRS云原生数据湖可以实现从简单的数据备份到跨AZ高可用,到异地容灾的完整场景覆盖,业务可以根据自身业务特点以及需要应对的故障场景,灵活选择适合自己的方案。DWS:新一代全场景云数据仓库    华为云FusionInsight智能数据湖另一主打云服务为DWS云数据仓库,它是一款具备分析及混合负载能力的云数据仓库服务,具有高性能、高扩展、高可用等特点,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业的核心分析决策系统。它不仅仅是把数仓搬上云这么简单,而是真正面向未来的云原生架构的数仓服务。作为全球最大的金融数仓,DWS通过了信通院单集群2048节点的规模认证,当前已经商用的最大集群有480个节点。DWS通过一套内核一套架构同时支持标准数仓、实时数仓和云数仓,匹配了用户全场景需求。DGC:一站式数据开发与治理,让开发者轻松驾驭数据华为云FusionInsight智能数据湖不仅为政企客户提供湖仓一体的架构,还有DGC数据湖治理中心服务,提供一站式数据开发集成管理平台,提供统一的数据治理工具,加速数据资产沉淀。DGC的特性主要集中在平台能力和生态两个方面:在平台能力方面:DGC提供一站式数据开发集成管理平台,支持40多种异构数据源、全拖拽式开发、多维实时搜索、0代码API开发等能力;并提供基于华为10多年数据治理经验沉淀出的数据架构、标准规范、数据开发、数据质量等数据治理能力;在生态建设方面:DGC通过开放API,使能行业 ISV 快速集成开发;通过合作伙伴提供数据标准、模型、指标、接口等行业数据模型,帮助企业快速构筑数据治理能力。华为云FusionInsight深耕大数据10年+,持续创新引领大数据技术发展华为云FusionInsight持续投入10年+,坚持开放路线,在扎根社区的同时,也积极回馈社区,为行业新技术发展贡献力量;同时,华为云FusionInsight智能数据湖将持续贯彻“平台+生态”战略,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户,已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html  
  • [热门活动] 工商银行携手华为云FusionInsight共建大数据体系
    9月23日至25日,华为全联接2021以“深耕数字化”为主题,各行业领军人物分享最新成果与实践。在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中,中国工商银行(以下简称“工行”)大数据平台产品经理袁一,发表“工商银行携手华为云FusionInsight共建大数据体系”演讲。随着金融业的快速发展和大数据技术生态的不断完善,近年来工行与华为持续联合创新,通过引入FusionInsight智能数据湖,工行大数据技术从仅对大数据批量加工,已延展到大数据实时计算、联机查询、数据可视化、安全管控等金融应用场景,不断提升工行服务实体经济的能力,倾力打造服务于经济高质量发展的数字工行。目前工行已建成同业最大的单集群,已部署上线的FusionInsight MRS云原生数据湖和DWS云数据仓库集群规模达2000+节点,支撑了300+总行应用、分行及集团子公司的平台化大数据应用开发,日均承载批量计算作业数达20万+,强力支撑了行内、行外的金融数据服务。传统的大数据平台主要以支撑增值类业务为主,但随着大数据技术的发展,诸如像风险控制、损益预查询、监管报送、交互查询(如交易明细查询)等关键业务也开始接入到大数据平台:在风险控制场景,工行通过FusionInsight MRS构建实时数据湖的能力,结合工行专家规则的风险防控系统能力,实现毫秒级交易风险控制,让风控从事后处理,向事中控制快速转变,已为工行客户挽回资金损失数10亿元;在损益预查询场景,传统方案采用批量作业,不仅存在业务时效性差的问题,同时也需消耗大量的主机资源,为此工行基于FusionInsight MRS和DWS开展了架构转型,通过准实时数据复制技术,将主机上产生的数据,准实时地同步到大数据平台,使原先每天只能跑10轮的批量作业,提升到每天30轮,让之前每轮批量作业耗时30分钟耗时缩减了2倍,不仅大幅提升分析时效性,同时也减少了主机的资源开销;在监管报送场景,伴随工行业务的不断增长,数据的体量也越来越大,传统一体机架构的建设成本越来越高,报送时效性也越来越难以满足业务发展现状。在新一轮IT架构转型中,工行携手FusionInsight构建监管报送系统,实现从数据加工、脱敏、校验,到最终的报送环节,充分利用了大数据平台分布式数据处理的能力,使报送频度从季度提升到月度;在交互查询场景,工行通过MRS HetuEngine数据虚拟化引擎,使得耗时从小时级降至秒级,提效50倍,提升工行13000名分析师即时BI体验,面向全行推广。以上仅是工行联合FusionInsight团队在金融大数据技术创新及应用落地的冰山一角,未来双方还将从以下几个方面持续创新:大集群跨机房部署:随着金融机构业务量的极速增长,底层的大数据基础设施也越来越庞大,如何对物理分散的基础设施进行有效管理,成为各金融机构最为关注问题之一。工行将通过FusionInsight MRS联邦集群管理能力,将同一个数据中心内多个机房的集群进行联合管控,形成一个资源可统一调度的大集群,为用户提供服务。大数据云原生:工行将建设具备固定资源池和弹性资源池混合部署的大集群,通过高性能固定资源池,满足日常相对固定的资源需求;通过存算分离的弹性资源池,灵活扩缩容,轻松应对特殊时间节点上的资源需求高峰。高可用能力提升:随着越来越多的关键业务逐步接入到大数据平台,业务对平台的可靠性和服务连续性,提出了更高要求。为此工行在同城两个数据中心内,建设了主备双活集群,提升关键业务场景的可靠性和服务连续性。数据入湖时效性提升:传统的数据交换时效一般为T+1,即使通过CDC等技术实现流式数据入湖,但最快也只能达到15-30分钟才能完成一个批次,造成业务感知慢。随着大数据生态中诸如Hudi实时增量更新技术的成熟,有望将数据入湖时效控制在5分钟以内,进一步提升数据处理时效性。      工行将不断加强与FusionInsight团队的合作,通过云计算、数据湖、人工智能、IoT等创新技术,更好地利用数据生产要素,从社会的痛点、难点入手,做好金融大数据平台的建设工作,提升工行服务实体经济的能力。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html  
  • [云计算周刊] “亚洲最大”这里起步:大数据、云计算、人工智能齐上阵,打造智慧物流产业链
     戴着安全帽走在济南新旧动能转换起步区,目之所及都是工人忙碌的身影、正在运行的大型设备,耳边不断传来叮叮当当的敲击声。  “这边是一期工程,已经运行5年了。那边是正在建设的二期,是亚洲单体面积最大的自动化分拨中心!”中通山东结算中心项目负责人指着一栋白色的框架建筑,已经完成主体建设的它在一片工地中格外显眼。  物流有“智慧”180多个人的工作25人完成  “这栋建筑是二期的一号转运中心,总建筑面积达18.79万平方米。”  该负责人介绍,项目一共有四层,一、二层为分拣区域,三层为卸车平台,四层为云仓。运输车辆可以直接开往三层进行卸车,之后快递将通过螺旋滑道进到分拣区域,包裹由上而下经过各个环节后在一层装车、运往各地,分拣效率大大提高。  也许走在平地上看不出它的壮观,但在航拍镜头中,18.79万平方米的体量具象起来,庞大的建筑让人震撼。  “这个分拨中心会用上中通自主研发的全自动分拣系统,大数据、云计算、人工智能等技术都会服务于智慧物流发展。”项目负责人说,全自动分拣系统分为单层和双层,单层自动化分拣系统每小时可分拣快递2.3万件,双层自动化分拣系统每小时可分拣快递4.6万件,且分拣准确率高达99.99%,“按每天工作8小时计算,一天可分拣18万件以上。若按正常一人一个班操作1000件计算,需要180多个人,而使用自动化分拣流水线只需要25人。为了保障远期操作量需求,未来将在这里安装24套自动化分拣设备,全部投入使用后,预计峰值操作量将达到每天1000万件,为未来派送高峰预留足够的空间。”  在济南市政府公布的2021年市级重点建设项目名单中,中通山东结算中心项目榜上有名。项目建成投入使用后,将与园区多家物流企业一道,助力起步区快速形成智慧物流产业链条,带动上下游产业云集于此,进一步拉动起步区物流经济飞速发展。  办事、用电专人协调享受“保姆式”服务  中通山东结算中心项目并不只是这一栋分拨中心,还包含用于大件包裹分拣的二号运转中心,以及一栋能供1500人休息的倒班楼,总建筑面积超过23万平方米。  与项目相隔几十米,便是中通一期,2016年便已落成投产,正常情况下每小时可分拣3万件快递。“那时候就感觉到济南营商环境很好,因为快递行业普遍被认为占地大、利润低,济南是最欢迎我们、最照顾我们的。”该项目负责人说,中通快递山东总部落户崔寨后,电商业务飞速发展,包裹数量剧增,中通快递也成了当地的纳税大户,一期项目已不能满足日益增加的快递处理量。  2019年,中通决定追加7.1亿元二期投资,并将山东结算中心落地崔寨。如今,这里成为了济南新旧动能转换起步区的一部分,对企业而言机遇千载难逢,人人都说“赶上了”。  “我们享受到的服务也更好了!办理相关手续的时候,管委会投促部派出专人,一项项陪我们去办,不用自己查流程、整材料;拆迁过程也很快,而且是无声无息的,从立项到拿地非常顺利;建设过程中赶上疫情,不得不停工一段时间,相关部门也帮我们做疫情防控、协调工人,每周都会到工地来征询意见……”  该项目负责人说起这样一件“小事”。“我们在建设过程中最离不开的就是电,市政建设过程中遇到停电就只能干着急。管委会工作人员为了不误工期,多次协调各部门,保障建设用电。”他感慨:“在建项目这么多,他们还能照顾得这么细,真不容易!”  重点项目建设如火如荼“店小二”紧盯“全生命周期”  中通山东结算中心项目将在10月底实现部分投产,已经有部分自动化分拣设备安装完成。宛如巨龙般盘踞在货舱内的履带,很快就将载满快件。“投产后的第一个‘双11’,一期工程就能松口气了!”  环顾该项目四周,几家头部物流企业建设同样如火如荼。项目负责人说,虽然将来在招工方面会有竞争,但行业内各个层面的良性竞争同样有利于企业成长。  公开数据显示,起步区获批4个月以来,先后集中开工两批重点项目建设,涉及生态环境、安居保障、产业发展、公共服务、基础设施等领域。两批集中开工共计49个项目,总投资约443亿元。这样的成绩,激发着起步区工作人员的动力。  在济南新旧动能转换起步区管委会投资促进三室副主任孔杰的办公室里,有一块字迹密密麻麻的黑板,涉及6个重点项目推进的待办事项、十余项日常工作填满忙碌的一天。孔杰说,他们秉承全流程化、全生命周期的服务原则,从企业的招引谈判,到土地的拆迁供给、项目的建设运营,全程派遣专人跟踪服务,及时协调省市区多部门解决企业发展落地的困难。项目建设中、落成后,还会提供多维度、定制化的服务,不仅在企业经营、增加地方财政收入等经济维度进行帮扶,在企业人才引进、疫情防控等管理维度也要进行服务。  “投资促进部门就像穿珠子的线,串联起与企业落地、发展相关的各个部门形成合力。今后,我们将继续发挥‘店小二’精神,帮助企业解决建设、经营中的各种问题。”孔杰表示,管委会所有人跟企业一样,对起步区未来的发展前景信心满满,也将跟企业一起,为希望之城建设贡献力量。来源:舜网-济南日报
  • [云计算周刊] 北京5G基站达4.57万个,居全国第一 云计算和大数据业务增势突出
    原标题:北京5G基站达4.57万个,居全国第一 云计算和大数据业务增势突出 来源:青瞳视角北京市通信管理局16日在2021(第十八届)北京互联网大会上发布的数据显示,截至8月底,北京5G基站达4.57万个,每万人5G基站数约20个,平均上传速率达42Mbps,均居全国第一;5G终端用户1215.5万户,占移动电话用户近三成。记者在大会上了解到,北京已经实现了首都功能核心区、北京城市副中心、CBD、奥林匹克中心区等重点功能区的5G网络覆盖。数据中心、云计算、大数据等新兴业务成为固定增值业务主要增长点,其中云计算和大数据业务增势突出,增速达72.4%和28.3%。北京市通信管理局党组书记、局长苏少林说:“5G是推动数字经济高质量发展的重要支撑。目前及今后一段时间,5G发展处于导入期,面临着产业链不成熟、融合应用不深、经营模式不清晰、投资需求大等考验,需要保持定力,稳扎稳打,需要全社会共同参与。这不是一个行业的‘独角戏’,也不是关联行业的‘双簧戏’,而是全社会共同参与的‘大合唱’。”(新华财经记者 张超)
  • [云计算周刊] 大数据突围,Arm全面进军云计算
    邹挺  新冠肺炎疫情让很多线下工作都按下暂停键,蓬勃发展的“宅经济”孕育出了新的市场爆发点,让远程办公、在线教育和线上交互等成为行业热词。轻点鼠标、轻敲键盘的背后,是智能边缘设备、企业数字化服务、网络消费等云端应用产生的巨大算力需求。一路飙升的算力需求不仅让全球数据中心成为市场中的香饽饽,也让数据中心市场更快地驶入“量变+质变”赛道,不断吸引着云计算服务器芯片领域的猎手们发起进攻。大数据时代的号角已然奏响,算力开始成为新时代计算浪潮的核心,Arm正在加速开启云计算产业的发展之路。  Arm架构备受云厂商的青睐  随着全球生成的数据持续以指数级别增长,2020年开始成为服务器芯片市场发生颠覆的一年。在这一年,边缘计算的普及正在加速各项工作的高效协同,让通用及专用计算芯片迎来了更加广阔的市场。  同时,市场上也迎来新的选择,Arm架构先天的低功耗优势,加上该公司针对基础设施市场专门推出的Neoverse平台,其高性能、高度灵活性等特性,能最大程度地满足各企业的个性化需求,带来优异的性价比。因此,有越来越多的云厂商陆续加入阵容,让Arm在基础设施领域的业务扩展相当迅猛。  面对Arm近年在基础设施市场的杰出表现,Arm基础设施事业部全球高级总监邹挺向《中国电子报》记者表示,基于Arm架构的服务器已经越来越多地出现在各个主流公有云厂商提供的服务中,其中,通过使用Arm Neoverse平台来设计自己服务器的CPU,AWS是云中Arm的早期采用者。AWS通过其Graviton2的实例,为用户带来40%的性价比提升。  在中国市场,互联网等各类企业对标准化Arm服务器的需求也与日俱增。邹挺对记者说道:“由于Arm技术的优势在基础设施领域已获得认可,我们看到市场上陆续出现独立Arm服务器芯片提供商这类型的公司,他们针对聚焦的领域,专注地进行技术创新设计和优化,因此能很好地快速解决各类来自互联网企业的不同需求。而Arm Neoverse IP平台作为上游IP提供商,无论是针对标准化芯片产品,还是定制化芯片产品,我们相信都能带来富有竞争力的产品设计底座。”  在中国信创领域,人与人、人与物、物与物的互联互通逐渐成为常态,新应用、新技术、新架构与计算平台的智能创新已经成为关键要素。受大数据及低碳经济的驱动,市场对高效率、低成本、低能耗的绿色计算产品需求日趋强烈,因此对中国市场CPU而言,Arm架构兼顾“用户友好”与“环境友好”两大特性,在市场中受到广泛认可。  基于Arm架构的中国本土服务器芯片出货量正在持续增长,同时,基于Arm架构的处理器在数据中心领域也已经得到验证,并将在2021年持续发展。“因为Arm开放的平台,我们看到越来越多的中国客户在与Arm合作,通过定制或寻求独立Arm服务器芯片厂商的服务,找到最适合自己服务器的芯片解决方案。”邹挺表示,由于Arm架构具有高效率、低能耗、低成本等特点,就中国信创领域的CPU而言,Arm架构相比其他架构具备更强的性能,自身的生态也更加完善。  Neoverse平台加速下一代基础设施转型  当前,带宽正在不断提升,智算中心、大数据基础设施的建设对算力的需求产生了爆发性增长,不同应用和解决方案也对CPU、DPU和GPU等芯片的供应提出了更高要求。在这种趋势下,DPU这一新型可编程处理器开始成功抢占C位,正在取代CPU作为数据中心服务器的中央控制点,逐步建立以数据为中心的计算架构。  “以数据为中心“的计算架构比“以计算为中心”的传统架构具备更多关键功能。在DPU这个充满巨大市场商机的全新赛道,各个芯片巨头和云供应商都摩拳擦掌、跃跃欲试。“我们认为ASIC系统级芯片是普遍的最后DPU目标产品形态,从能耗和性能的要求上,Arm Neoverse平台是DPU中ASIC系统级芯片方案的最佳选择。除此之外,作为全球领先的IP供应商,Arm为满足企业多样化的‘云需求’,推出了多样化创新技术,让客户可以针对其需求,采用最合适的Neoverse平台。”邹挺对《中国电子报》记者说。  Arm Neoverse IP平台自2018年宣布推出后,承诺每年新推出的产品都将提升性能高达30%。邹挺对记者谈道,Neoverse解决方案正驱动着各个领域的创新。从超级计算机,到持续部署的全球最大型数据中心,再一路延展到边缘计算,Neoverse解决方案正在多个领域大显身手,推动基础设施开启转型加速。“现阶段,大型互联网公司、云计算、高性能计算、5G和边缘计算等多个重要细分市场均已采用Arm Neoverse解决方案,从云到边缘的基础设施正在加速发展。”邹挺说。  对于Arm而言,创新似乎永无止境。为了进一步加速基础设施转型、书写技术创新的新篇章,Arm今年进一步解密Neoverse V1平台和第二代N系列平台Neoverse N2的技术细节。  “Neoverse V1平台支持可伸缩矢量扩展(SVE),Neoverse N2平台提供可扩展的性能表现。”邹挺向记者表示,广泛应用于基础设施领域的Neoverse技术正在充分赋能新型服务器与系统级芯片设计,为软件与工具提供全面而丰富的支持,也让最终用户享受到大幅提升的性能与效率,在基础设施部署方面体验更多设计自由度与灵活性。  目前,Neoverse平台的技术路线图包括三个IP系列,分别是V系列、N系列和E系列。邹挺向记者详细说道,Neoverse V系列是运行要求苛刻的计算和内存密集型应用系统,能够提供最高的单核性能,适用于高性能计算(HPC)、通过云服务实现的HPC和为人工智能、机器学习加速的工作负载等场景;N系列能在每瓦性能和性价比之间取得最佳优化,达到平衡的CPU设计,用例包括横向扩展云、企业网络、智能网卡/DPU和自定义ASIC加速器、5G基础设施、功耗和尺寸受限的边缘计算设备;E系列能够通过最小的功耗来支持更高的数据吞吐量,用例包括网络数据层处理器、低功耗网关的5G部署。  CMN-700打造异构系统级芯片  在上一个计算时代,整个行业对部署基础设施似乎有着这样一种观点,即性能与功耗不可兼得。但是在新计算时代来临之际,这种想法其实是可以改变的,因为性能与能耗并不是“either”的艰难抉择,而是“both”的必然选项。  为下一代基础设施带来计算变革的Neoverse平台就提供了两者兼得的最佳解决方案,促使从云到边缘的广泛应用能够得以实现。邹挺向《中国电子报》记者详细地介绍了Neoverse V1平台和N2平台的优异性能表现。他表示,Neoverse V1平台是Arm新型计算系列的第一个平台,也是 Arm 设计的首款支持SVE的内核,可为高性能计算与机器学习提供50%的性能提升。Neoverse N2平台则是第一个基于 Armv9 架构的Neoverse平台,可为多样工作负载提供40%的性能提升。  构建基于Neoverse V1和 N2平台高性能系统级芯片的关键部件,其实是Arm同期发布的CMN-700。CMN-700是一种新的Mesh互连技术,它为异构系统级芯片的打造提供了极大助力,能够更好地实现“协同计算、彼此加速”目标。  从具体细节来看,前一代CMN-600为可扩展、高内核数、高性能的系统级芯片奠定了基础,CMN-700则“更上一层楼”,是在CMN-600的基础上继续发展的。基于CMN-600的成功基础,CMN-700在每个矢量上进一步提升了性能。从内核的数量、缓存的大小,到附加内存以及IO设备的数量和类型,CMN-700在这些矢量的性能提升方面均发挥了重要作用。  在各个应用场景中,CMN-700更多地扮演了赋能者的角色。具体来说,CMN-700赋能了多芯片、内存扩展和加速器下一代应用场景的加快实现。邹挺告诉记者,Arm对CCIX和CXL持续不断的投入使得更多的定制选项应运而生,不仅提升了性能,还优化了功能,进而使合作伙伴的解决方案具备总线和高核数的可扩展性特色。“这将为传统硅限制的突破提供新的机遇,并为紧密耦合的异构计算提供更大的灵活性。”邹挺说道。  值得一提的是,在突破硅基芯片物理极限的道路上,中国与Arm正在携手同行。邹挺表示,Arm公司将一如既往地全力支持中国市场,不遗余力地投入中国市场。在基础设施领域,以Neoverse平台为代表的各类产品会更好地满足中国市场需求,开发并提供一流的芯片产品。
  • [行业动态] “民生信用卡-华为大数据联合创新实验室”荣获亚洲银行家“中国最佳AI创新实验室”奖
    近日,《亚洲银行家》杂志揭晓 “2021年度金融科技创新奖项”,“民生信用卡-华为大数据联合创新实验室”荣获“中国最佳AI实验室”奖。《亚洲银行家》奖项是亚太地区最具影响力的金融奖项之一,经过全球知名银行家、顾问和学者全面深入评估后对外发布,具有很高权威性和知名度,是目前中国最严格的金融服务行业年度奖项,被誉为亚太地区金融界的“奥斯卡”奖。 “民生信用卡-华为大数据联合创新实验室”是由中国民生银行股份有限公司信用卡中心(下文简称“民生信用卡”)与华为技术有限公司在2019年11月携手建立,旨在发挥各自所长,持续聚焦大数据、5G、人工智能等领域的创新合作,充分利用华为云FusionInsight在大数据领域的技术积累,以及民生信用卡丰富的数据应用经验和业务场景,探索机器学习、深度学习等技术在信用卡场景的应用与落地,打造行业领先的智能数据解决方案。华为云采用一站式AI开发平台ModelArts、FusionInsight 智能数据湖解决方案与民生信用卡共同解决由于多样性数据、多样性系统、多样性业务所带来的数据接入难、融合分析难、消费难的挑战,助力民生信用卡在各个领域实现AI能力:风控领域:基于华为云一站式AI开发平台ModelArts提供的丰富AI算法,在信用卡反欺诈场景,基于社团发现算法识别可疑交易团体,提升智能风控能力;市场营销:基于机器学习算法构建客户价值模型,在客户星级管理体系构建场景,研发推荐算法,提升用卡活跃度,加速数字化运营;业务创新:基于NLP深度学习算法构建客户之声分析挖掘体系,实现对客户留言进行主题分类,为额度管理、分期业务、还款方式等业务提供了数据参考和优化方向,进一步提升客户体验及营收能力 ;运营效率:通过机器学习、NLP等技术创新性地研发出一系列内部管理相关的数据产品,如电销人员流失率预测模型、简历自动评估工具等,助力内部运营管理效率和质量提升,降低运营成本。民生信用卡不断适应时代变化,牢牢把握战略方向,坚持“数据驱动,科技创新”,开展体制机制全面数字化转型,基于“民生信用卡-华为”大数据联合创新实验室,民生信用卡研发了一系列具备创新性及行业领先性的数据决策算法产品,缩短算法产品迭代周期30%以上,从精准营销、智能风控、优化管理等多方面赋能业务数字化转型。未来,民生信用卡将与华为云深入合作,通过华为云一站式AI开发平台ModelArts、盘古大模型,以及FusionInsight提供的数据治理、云原生数据湖、云数据仓库等服务和产品,共同探索金融科技创新服务,加速信用卡业务数字化转型。更多精彩文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html  
  • [热门活动] 让科技建起森林“保护罩”,守护青山须得防患于“未燃”
    作为“地球之肺”,森林是地球生物圈最重要的生境之一,起着调节地球温湿,保护生物多样性等重任。天然森林的形成和发展需要漫长的演化,往往需要几十年甚至上百年的过程,但一场火灾,瞬时就会让其化为灰烬。森林火灾不但烧毁森林,还会伤害动物,降低森林的更新能力,引起土壤贫瘠、破坏涵养水源,让生态环境失去平衡。入秋之后,物燥风疾,又到了森林火灾的高发时期,一旦火源失去人为控制,在森林内自由蔓延和扩展,就易形成极具毁灭性的后果。那么在科技迅速进步的今天,在森林防火和灭火上,是否能提供新的解决办法?减少资源损失,守护绿色家园。华为云联合昆明龙慧科技有限公司,共同推出森林草原防火灭火指挥系统(已在华为云云市场上架),该系统是基于国产自研GIS平台——龙慧地球而进行研发的集成化森林防火信息化系统,旨在充分体现平战结合的要求,为用户提供全面的、优势集中的森林草原防火解决方案。根据不同的使用场景,产品类型分为森林防火指挥系统、护林员系统、扑火指挥系统,满足日常监测、火险预警及扑火指挥等的智能化需求。系统功能包括:1、工作台:用于值班人员对火情信息及值班情况进行及时处理,通过工作台,可以实现快速签到、交办和火情信息的上报、下发等操作。2、火情监测:火情监测模块用于处置已发生的火情。为用户提供卫星热点、视频监控、人工巡护等系统自动接警及电话报警、瞭望观测和飞机巡护等人工录入报警功能,确保用户对收到的火情进行及时下发、上报和反馈等操作。3、火险预警:通过火险预警可查看火险预报和火险监测站反馈的火险等级预报信息。通过不同的tab切换,还可查看各行政区划下当前的火险信息。4、日常办公:通过日常办公,用户可进行值班管理、火情上报、邮件管理、公文管理、人员物资管理等操作。用户还可通过手机APP进行通知公告、防火简报等的查阅以及值班管理、火情上报、邮件管理、护林员管理及加入实时火场与电脑端同步进行标绘等操作。5、护林员管理:护林员作为护林防火的重要力量,在防火灭火工作中发挥着不可替代的作用,护林员管理可对护林员进行网格化管理,还可通过实时、动态、定位跟踪,对护林轨迹进行实时记录,查看起来一目了然,帮助管理者掌握个人工作状态,以进行及时有效的管理。6、扑火指挥:扑火指挥通过全三维电子沙盘的形式直观展示火场态势,全面记录火灾过程,以帮助指挥员摆脱时间、地理等因素限制,全面掌握火场信息。专业便捷的火场标绘功能及会商、视频会议、集群调度等多种视讯功能可高效帮助作战部署及事后总结。同时还可结合定位功能实现扑火队伍(人员)查巡、信息互传、地理信息查询等操作,为科学指挥和调度提供有力支撑。7、基础数据:基础数据功能提供了辖区内所有基础数据和林业专题数据,包含道路交通、水系河流、瞭望塔台、消防队伍分布、林班小班等。用户可根据辖区内情况对相应数据进行自定义编辑,以保证数据的准确和及时更新。8、大数据分析:用户可通过护林员大数据、预警监测大数据、森林资源大数据等大数据分析功能,把各类数据通过整理分析,最终形成有价值的数据,为科学管理决策提供有力支撑。凭借着先进、易用、安全、高效等亮点,系统已在多个省市及地区林业系统布局,实现了工作流程的简化,并且对于火灾防控及灭火指挥等环节提供了有力支撑。守护绿色家园,科技为未来护航。文中提到的商品链接:森林防火智慧系统【华为云云市场,助您上云无忧】
  • [热门活动] 0元体验大数据,爆款产品击穿底价,包年低至5折
    828企业上云 大数据福利专场 0元体验大数据,爆款产品击穿底价,包年低至5折 消费送实物礼品,最高享华为Mate40 RS保时捷版 详情:https://activity.huaweicloud.com/bigdata.html
  • [7天实战营] 【礼品已发放】【打卡7天】7天大数据分析实战营打卡7天开发者名单公示
    各位开发者好,以下为最终统计的完成全部7天打卡开发者名单(也可下载附件查看)公示期:8月10日-8月12日抽奖说明:我们会在公示期结束后对所有完成7天打卡用户进行抽奖。奖品为文件收纳包,奖品数量上限为80份,中奖概率(≤100%)为“80/完成连续打卡7天任务的总人数”。获奖信息公布恭喜以上开发者,因完成人数小于奖品总数,所以100%中奖。请Day7中奖用户在8月30日前点击下方链接填写获奖信息,我们会在截至日期结束之后尽快给您邮礼品,如您逾期没有填写,视为主动放弃奖励,望周知。Day7获奖信息填写链接:https://devcloud.huaweicloud.com/expertmobile/qtn?id=dc2b45d621f7492a8aab5bfd906386ab&utm_source=bigdata7days7小助手二维码:
  • [7天实战营] 【礼品已发放】【打卡3天】7天大数据分析实战营打卡3天开发者名单公示
    各位开发者好,以下为最终统计的完成前三天打卡开发者名单(也可下载附件查看)公示期:8月10日-8月12日抽奖说明:我们会在公示期结束后对所有完成3天打卡用户进行抽奖。(必须完成前3天打卡)奖品为三合一数据线,奖品数量上限为100份,中奖概率(≤100%)为“100/完成连续打卡3天任务的总人数”。获奖信息公布恭喜以上开发者,因完成人数小于奖品总数,所以100%中奖。请Day3中奖用户在8月30日前点击下方链接填写获奖信息,我们会在截至日期结束之后尽快给您邮礼品,如您逾期没有填写,视为主动放弃奖励,望周知。Day3获奖信息填写链接:https://devcloud.huaweicloud.com/expertmobile/qtn?id=53f50f28f8ad4e7ba4bd337b8c8b697b&utm_source=bigdata7days3小助手二维码:
  • [7天实战营] 【码豆已发放】【打卡1天】7天大数据分析实战营打卡1天开发者名单公示
    各位开发者好,以下为最终统计的完成Day1打卡开发者名单(也可下载附件查看)公示期:8月10日-8月12日以下名单码豆已发放,每人500码豆,请各位开发者去会员中心查看。https://devcloud.huaweicloud.com/bonususer/home/converge完成Day1打卡名单(必须完成第1天打卡)奖励说明:我们会在公示期结束后对所有完成1天打卡用户进行奖励。(必须完成第1天打卡)奖品每人500码豆,发放上限20w码豆,前400人将会得到奖励。为了确保您顺利获得码豆,请先点击下方链接登录一次会员中心。https://devcloud.huaweicloud.com/bonususer/home/converge问题反馈说明:因本次活动部分开发者没有按照要求的格式打卡或者中途改过账号/昵称,所以有可能有遗漏,如有问题请开发者先不要激动,请联系群内小助手核实,超过公示期不再进行名单修改。望周知!!!小助手二维码:
  • [问题求助] 【ABC产品】【大屏】打包到生产报错included resource global_EchartTheme not exist
    【功能模块】【操作步骤&问题现象】1、在开发环境下载 华为广西大数据6_4这个包2、到生产导入下载的包,安装失败项目:广西大数据局 ; 租户:zhanghuaping  ; 包: 华为广西大数据6_4【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术干货] 【大厂内参】第9期:掌握IoT开发,从操作系统LiteOS内核源码学习开始
    【摘要】 为了让DBA们通宵加班找故障将成为过去式,减少运维工作量,我们针对华为云GaussDB(DWS)的运维整理了八大系列内容,帮您解决数仓和应用技术转型中遇到的实际问题,让DBA玩转数仓运维“不秃头”。  每一个奋斗在前线的DBA似乎运气都不太好,他们都经历过的诡异事件大概率是:逢年过节必出故障。眼看着要放假了,又接到故障通知,只好通宵加班找问题。没问题的时候可能大家都不会想到你,一出问题就先拿运维试问,于是每逢佳节便出现拜数据仓库的戏谑图片。  为了让DBA们加班找故障成为过去式,减少运维工作量,我们选取容灾、负载管理、数据上云等典型运维场景,围绕华为云GaussDB(DWS)多源数据融合分析、计算/存储资源规划、业务连续性的数仓高可用等核心技术,流式数据入库、集群管理、时区调整、扩容等运维技巧,帮助您解决实际业务运维场景中遇到的问题,让DBA玩转数仓运维“不秃头”。负载管理:让“笨”的数仓“聪明”起来  从四个核心技术为你解密,GaussDB(DWS)负载管理功能如何做好计算/存储资源的划分,让你的数仓“聪明”起来。  GaussDB(DWS)负载管理核心技术解密一:全景图及解决的场景  GaussDB(DWS)负载管理核心技术解密二:白话历史资源监视  GaussDB(DWS)负载管理核心技术解密三:工作负载管理测试分析  GaussDB(DWS)负载管理核心技术解密四:工作负载计划解密保障业务连续性,GaussDB(DWS)高可用有妙招  GaussDB(DWS)所有内部组件CN、DN、GTM、CM等采用多活或主备设计,通过集群管理进行故障检测和切换。在硬件层面,除了最基本的宕机、断网的直接故障外,GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景,做了大量的建模和针对性优化,能够实现故障的准确探测和自愈。并且还提供了双集群容灾能力,通过跨AZ、跨Region的物理复制,实现异构集群容灾。  GaussDB(DWS)高可用之数据复制  GaussDB(DWS)高可用之备机重建  GaussDB(DWS)高可用之CN&GTM组件高可用介绍  GaussDB(DWS)高可用之主备从HA技术  GaussDB(DWS)高可用之单点故障业务不中断  华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证全方位案例解读数仓数据融合  GaussDB(DWS)采用一套SQL引擎,支持Oracle、MySQL、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。  GaussDB(DWS)数据融合:提升企业掌握数据之力数据上云是趋势,DBA掌握云端运维是关键  数仓未来是云,越来越多企业面临数仓和应用技术转型,云端运维成数仓运维需要掌握的核心。DWS提供了简单易用的Web管理控制台,帮助您快速创建数据仓库集群,轻松执行数据仓库管理任务。  GaussDB(DWS)云端运维系列手敲代码实践展示GaussDB(DWS)流式数据入库的三种方式  随着金融风控,以及IoT场景对数据实时处理分析的诉求,DWS实时数仓时序数据单机入库性能达10w/s,流数据达60w/s,并能够线性扩展,并且GaussDB(DWS)流式数据可通过Python、C和Java三种接口,让入库全程无忧。  GaussDB(DWS)流式数据入库实践[数仓性能调优从掌握最基本命令开始,十八般武艺轻松搞定数仓性能调优]  数仓性能调优是数仓应用开发和迁移过程中的关键步骤,在整个项目实施过程中占据很大的份量。它没有明确的衡量标准和对错之分,考验的是资深一线技术人员的隐式技能。开发者可通过该系列文章了解数仓的基本原理,然后结合调优思路,对各个调优技巧进行深入的学习。  数仓性能调优必读:从系统级到SQL级,带你进阶为性能调优高手一手掌握GaussDB(DWS)集群运维  GaussDB(DWS)现网运行的PB级数据量以上的大集群已经有10+个,最大商用单集群规模达到240节点。在产品能力上,GaussDB(DWS)可扩展至2048节点,并且该规模在12月已通过信通院的权威评测。另外,还实现了逻辑集群特性,一套物理集群可针对不同业务划分多个逻辑集群,数据相互隔离,支持跨逻辑集群的计算资源调动。通过逻辑集群,可以进一步扩展集群的规模。该系列从基本概念到核心功能,带你了解集群管理、通信等方面的应用之道。  GaussDB(DWS)集群管理系列  GaussDB(DWS)集群通信系列  GaussDB(DWS)逻辑集群系列这份GaussDB(DWS)基础运维知识,你要收藏  从理论到升级案例,带你掌握GaussDB(DWS)升级、扩容面临的疑难问题。  GaussDB(DWS)升级问题定位指南  GaussDB(DWS)扩容问题定位指南  GaussDB(DWS)时区相关知识  数字化浪潮汹涌而来,在5G、云、AI加持下,数仓不断升级演进,激发千行百业的创新和数字化转型。企业DBA更应该从传统的“数据保管人和数仓守护者”角色进行转变。在数仓的易操作、便捷维护等基础上,DBA需要更多地理解业务,用数据回答来自业务方面的诉求,而不仅仅是维护数仓的健康稳定运行,这真的是DBA们的机遇所在。本合集为《大厂内参》008期,欢迎大家持续关注。大厂内参根据开发者普遍关注的热门技术领域,汇编实践精华内容。从业务场景选型,应用案例分析,到前瞻趋势预测。以专题的形式,深度解读华为云核心技术,分享一线工程师的实战经验。【第一期】敏捷&Devops:80+篇实践干货分享,深度解读敏捷&DevOps如何革新软件开发【第二期】数据库:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库【第三期】云服务器:选型解读+案例分享:云服务器“软硬技术”全公开【第四期】人工智能:海量实战经验教你零门槛进场AI开发,无成本负担玩转AI应用【第五期】云原生:读懂云原生2.0,看它如何重塑业务开发架构【第六期】云安全:Get防范云安全的必杀技,学会构建云上完整安全体系【第七期】物联网:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT
总条数:1416 到第
上滑加载中