• 边缘计算处理数据中心的明显优势
    边缘计算处理数据中心明显的优势有以下几点:1. 边缘计算可以实时或更快的进行数据处理和分析,让数据处理更靠近源,而不是外部数据中心或者云,可以缩短延迟时间。2.在成本预算上可以大大减轻经费预算。企业在本地设备上的数据管理解决方案所花费的成本大大低于云和数据中心网络。3.减少网络流量。随着物联网设备数量的增加,数据生成继续以创纪录的速度增长。结果,网络带宽变得更加有限,压倒了云,导致更大的数据瓶颈。4.提高应用程序效率。通过降低延迟级别,应用程序可以更高效、更快速地运行。5.个性化。通过边缘计算,可以持续学习,根据个人的需求调整模型,带来个性化互动体验。6.安全和隐私保护。网络边缘数据涉及个人隐私,传统的云计算模式需要将这些隐私数据上传至云计算中心,这将增加泄露用户隐私数据的风险。在边缘计算中,身份认证协议的研究应借鉴现有方案的优势之处,同时结合边缘计算中分布式、移动性等特点,加强统一认证、跨域认证和切换认证技术的研究,以保障用户在不同信任域和异构网络环境下的数据和隐私安全。
  • 毕马威丨5G边缘计算的价值机遇
    今年6月,毕马威发布了《5G边缘计算的价值机遇》报告,对5G边缘计算的市场价值与前景发展进行了全方位扫描,并为相关企业提出了指导性对策建议。5G技术的发展是2020年最令人憧憬的议题之一,在新冠肺炎疫情的重创下,企业实施数字化的紧迫性从未如此强烈。毕马威的调查显示,面对疫情导致的全球经济下滑,5G和边缘计算将有望在引领复苏中发挥关键作用。毕马威电信行业中国主管合伙人陈俭德表示:“相对于4G的云计算在单个集中的位置处理和存储数据,5G+边缘计算主要处理和存储位置更加靠近用户,以支持带宽设备和对时间敏感的数据。结合5G和边缘计算技术,可以显著改善带宽和延时,从而使承诺可实现的“沟通随时随地”变为现实。对连接能力及其它范畴能力的主动投入是企业创造更多价值的关键。”报告显示,到2025年,在“传统的”集中式数据中心或云存储以外处理的企业生成的数据的比例将从2018年的10%跃升至75%。毕马威与IDC的分析估计,在2023年,工业化制造、互联医疗保健、智能运输、环境监控、游戏五大行业在连接性、软件、硬件和服务领域的合并市场总值将超过5000亿美元。预计这五个行业将在未来数年取得显著增长,部分得益于5G和边缘计算结合所带来的大幅提升的连接性。以下为报告全文,供大家参考:
  • [行业动态] 华为云FusionInsight大数据技术普惠创新,释放千行百业数据价值
            8月31日,华为云举办TechWave大数据专题日,围绕“大数据技术普惠创新,释放千行百业数据价值!” 主题,从金融、运营商等行业在大数据创新的实践,顶级高校的大数据顶尖人才培养和科学研究,以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面,以产学研深度融合的方式展开分享和探讨。专题日上,还重磅发布实时数仓新品。大会的精彩内容,让我们一起来看下吧!大数据技术普惠创新,释放千行百业数据价值        上世纪90年代至今,人们经历了PC时代、互联网时代、移动互联网时代,当前正在迈入智能数据时代。随着技术的演进,数据也发生了巨大变化。数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高,同时,对数据融合分析要求越来越强烈。        华为云人工智能领域总裁贾永利表示,“为了应对企业应用大数据面临的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在采存算管用等数据全生命周期提供整体解决方案。“方案包含了MRS大数据、DWS数仓、DAYU数据运营等产品,并由华为云博士天团进行详细解读。        同时,为了响应政企客户在数据仓库方面对时效性的需求,专题日还重磅发布了DWS实时数仓新品,其具备快、易、简、省四大特点,具体如下:快:实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库,并可线性扩展。易:支持基于SQL完成复杂流式计算语义定义,简化开发。以Druid监控的一个场景为例,仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。简:实现了1 = N。在一个平台内,同时实现Flink/Spark Streaming(流数据处理)+Druid(流数据预聚合)+InfluxDB(时序数据处理),简化了开发和运维工作。省:时序数据经过实时数仓的自适应压缩算法,最高可达40:1的压缩比,将多维度行列存储优化,数据冷热温自动分区,极大地减少存储空间,节省用户成本。        华为云DWS实时数仓,适用于IoT和运维监控场景,已经在华为流程IT运维大数据平台上线使用。工商银行、广东移动分享大数据创新实践        大数据专题日中,工商银行、广东移动作为行业的领军者,分别分享了基于华为云FusionInsight的大数据创新实践。        工商银行软件开发中心总经理刘承岩表示:“在智能化阶段,我们引入了华为云FusionInsight、GaussDB等产品,搭建了自主可控的大数据云平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了我行企业级数据湖、数据仓库、集团信息库的一湖两库建设,数据智能服务由事后快速演进到事前、事中的阶段;在生态化阶段,我行进一步深化和华为云的合作,实现大数据云平台和华为云Stack云基础设施的融合,进一步提升大数据云平台的高可用和弹性灵活扩展能力,全面支撑金融数据湖的生态化建设,更好的服务于我行数字工行转型!”        同时,中国移动通信集团广东有限公司信息系统总经理谭丽丽表示:“为更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云FusionInsight构建智慧大数据平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用,全力推动5G+大数据,服务百姓、融入百业,更好地满足广大客户对美好数字生活的需要!”清华大学:产学研深度融合,培养大数据领军人才        清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民分享了他对大数据顶尖人才培养的看法。他认为,大数据作为一种新型战略资源,其运用将改变人们的传统认知,对大数据开展持续深入的研究,不仅将引发学科建设、科学研究等方面的深刻变革,还将极大的推动人才培养和教师队伍建设。未来,清华大学将持续不断的培养大数据领域的专门人才,在数字中国、数字经济、新基建等重大领域,让大数据人才“学以致其道,算以致其用”。同时,依托大数据研究中心,持续与华为等企业一起,创新合作机制。持续探索与兄弟院系、学校开展跨学科、跨领域的深度融合, 打造顶尖的大数据科学研究团队,突破大数据关键领域与技术,培养一批有水平,有远见,有担当的大数据领军人才,为社会繁荣发展做出贡献!华为云FusionInsight引领全球大数据技术发展        华为云FusionInsight解决方案首席架构师洪福成为我们解读了华为云FusionInsight整体架构解决方案。        华为云FusionInsight智能数据湖为政企客户提供了一站式大数据分析平台,其主要有以下四个特点:大集群:支持单集群2万节点。华为自研Superior超级调度器,可以调度2万+节点规模;单跨机房部署,解决空间不足;业务自动感知;支持滚动升级,业务运行0中断,用户体验无感知。湖仓一体:批处理和交互式查询融合, “0”数据搬移。基于HetuEngine组件实现交互式查询,数据“0”搬迁;资源基于YARN进行统一调度,资源利用率高 、成本更低;支持多租户,多部门业务任务并行处理。实时数据湖:数据T+0实时入库、消费、分析。数据增量更新入库:基于行级Delta文件,IO小,面向实时更新优化,T+0时效;支持ACID事务,确保数据一致性,多方并发读写数据;Carbon支持索引,精确点查比Parquet性能提升100倍,1PB数据精确点查30内响应。一个企业一个湖:集约高效、易管理。资源利用率高:湖内全量数据批、流、交互式多引擎融合,多租户权限隔离,统一资源调度,资源利用率提升至90%;分析效率高:数据在统一数据湖内,数据流转链路短,分析效率高;易管理、易维护:统一集群,一个版本;滚动升级,业务“0”中断。CarbonData释放海量数据价值 尽显数据湖之美        华为云大数据高级架构师郝行军博士为我们解读了华为自研的CarbonData数据存储引擎。        其面对复杂业务场景可实现全局一份数据到处使用,免去数据搬迁的困扰;面对海量数据的查询使用,针对性优化了查询加速,可实现PB级数据30秒内响应;在时间就是金钱的信息时代,时效性的突出优势被企业所看好,同时CarbonData支持大数据更新,可实现数据T+0实时入湖,优化了传统T+1、T+2的可见时延。    DWS新一代、全场景、云数据仓库    华为云DWS总经理叶涛分享了数据仓库的大、快、稳等特性。大: 分布式架构、高扩展,容纳海量数据和业务DWS从架构源头上采用了Share-Nothing无共享的分布式架构,单集群PB级以上的数据容量,最大可扩展至2048个节点。随着节点数增加,集群的性能和容量线性增长,线性加速比>0.9。快:聚合海量算力、最优效率,导入和分析快如闪电采用了全并行计算的架构。支持多个物理节点并行计算。同时,实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术,带来了高效的指令效率。稳:多层备份、多级保护,实现数据无忧、持续可用在GaussDB(DWS)的系统部署中,关键硬件都有冗余备份。 所有的软件组件都能实现实例多活或者Active-Standby的互备。同时,实现了全方位的软硬件故障检测,一旦出现了硬件和软件的故障,集群都可以快速的检测和响应,自动的故障切换,实现数据无忧,业务持续可用。DAYU一站式数据运营,管好数,用好数       华为云大数据产品总监杨兴华分享了一站式数据运营平台DAYU,协同伙伴,使能“从比特到信息”的价值发现,释放数据之美,助力企业管好数,用好数。        其核心特点如下:全域联邦数据资产管理:支持超过30+的数据源对接,形成数据融合协同,同时也不破坏原有的IT系统建设,支撑达到“立而不破”的效果。开放的架构体系:DAYU围绕数据使用,今年重构了整体架构,重心面向伙伴协同,打造开放体系,提供分层API接口供伙伴调用,包括基础的集成开发,元数据管理、安全管理,数据开放,以及高级的质量管理,数据模型,资产运营等,伙伴可以根据自身系统和业务特点按需集成;共享型行业资产模型:在资产运营管理框架基础上,采用模型驱动的理念实现资产的一键注入、导出、自动化管理,数据资产化效率实现3倍提升,支撑伙伴快速构筑行业数据资产生态。        此外,DAYU围绕数据目录,资产地图,数据血缘,打造了进阶式的数据资产管理体系。在数据安全方面,DAYU从最开始就围绕数据规划了完善的安全管理能力,包括权限管控、合规审计、敏感发现、隐私保护和风险管理,让用户放心用数。        DAYU推出一年多以来,其端到端全流程数据可视管理,一键式资产沉淀能力,加速了企业数字化转型的进程,受到行业伙伴和客户的欢迎。未来将继续围绕数据价值使能,坚持架构开放,持续丰富各层级的API,进一步普惠伙伴,助力沉淀行业数据资产。        目前,华为云FusionInsight智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业,已为全球60多个国家和地区的3000多家政企客户提供服务。未来,华为云FusionInsight将与800多家合作伙伴一起,携手客户创新应用实践,基于FusionInsight智能数据湖构建领先的数据基础平台,实现一企一湖,业务洞见更准,价值兑现更快。让政企用户更方便快捷高效地用好数据,加速数字化转型升级。        8月31日,华为云TechWave大数据专题日成功举办。让我们看金融、运营商等行业趋势,听顶级高校人才培养之道,学华为大数据领先技术,各路领军人物“华山论数”,精彩内容更能回看!大数据专题日地址:https://www.huaweicloud.com/about/techwave_bigdata.html    华为云大数据调查问卷:    有奖观影活动:
  • [技术干货] [云计算基础]DC和AZ
    DC是数据中心Data Center的简称。DC是物理数据中心,是物理位置上的概念。AZ是Availability Zone可用区的缩写。AZ是数据中心中有资源共同依赖的资源集合。比如某些主机共同使用了一套电源、一套交换机。当电源或交换机出现故障时,这部分资源全部不可用(unavailable)了,那么这部分资源集合起来被称为一个AZ。云提供者(I层提供者)必须正确配置AZ,不同的AZ不能用公用的数通、电源节点。否则租户上层应用规划部署在不同的AZ,本来期望能达到容灾效果,结果数据中心一套电源故障就导致租户所有业务不可用。在NFV的部署中,主推采用单DC单AZ。
  • [技术干货] [云计算基础]NUMA
    NUMA (Non-Uniform Memory Access,非一致内存访问)当前服务器架构中,一般都会有多个物理CPU,每个物理CPU都有对应的内存资源。这些分配给指定CPU的内存与CPU之间的通信是最快的。另外还可能有IO设备和这个CPU绑定。这些和CPU绑定的所有内存和IO资源,可以把其归为一个NUMA节点,也称为node。图1 比如1个刀片服务器有2个物理CPU,对应2个NUMANUMA的特点node之间可以通过互联模块进行连接和信息交互,因此每个CPU可以访问整个系统的内存。显然,访问本地内存的速度(下图中node  distances)将远远高于访问远地内存(跨numa节点)的速度,这也是非一致内存访问名称的由来。图2 查询host的numa信息即Numa有以下机制:内存访问机制:在NUMA服务器内部,任何一个CPU可以访问整个系统的内存,但远地访问的性能远远低于本地内存访问,因此在开发应用程序时应该尽量避免远地内存访问。节点互联机制:NUMA的节点互联机制是在同一个物理服务器内部实现的,当某个CPU需要进行远地内存访问时,它必须等待,这也是NUMA服务器无法实现CPU增加时性能线性扩展的主要原因。NUMA的应用创建VM时可以设置numa属性。图3 以下是vnfd的blueprints文件中对参数的解释文件cross_numa_zone:是否跨numa部署虚拟机。不跨numa节点时虚拟机的CPU所绑定的核以及使用的内存都必须在同一numa节点上,运行效率更高。部署在同一个numa内也称之为numa亲和。cross_io_numa_zone:是否跨io_numa部署虚拟机。即虚拟机只能创建在SRIOV网卡所属的IONUMA节点,而且CPU和内存资源都必须分布在同一个IONUMA节点上。何为IONUMA节点呢?简单的说,就是这个节点绑定了SRIOV网卡资源,那么在这个节点上创建的虚拟机就可以使用SRIOV直通网卡的资源,网络性能更加优越。图4 不跨NUMA,部署虚拟机numa虚拟机和非numa虚拟机不能共板部署。超线程亲和性为"any"的虚拟机,与设置为"internal"、"none"、"sync"和"lock"的虚拟机不能共板。增大了资源碎片的风险。在单个主机上尽量使用相同的配置去创建虚拟机。
  • [技术干货] [云计算基础]虚拟机+容器对NFV模型的影响
    在原有的NFV模型下新增Caas层,及与VNFM接口提供容器编排、部署和调度的能力支持容器CT增强能力:大页内存、共享内存、DPDK、CPU**、隔离等支持容器网络能力,SRIOV+DPDK,支持网络多平面支持虚拟机容器IPSAN存储能力
  • [技术干货] [云计算基础]微服务、容器
    什么是微服务?微服务是一种软件系统结构类型,复杂的应用程序由许多微小并且相互独立的服务组成:这些服务相互之间通过与语言无关的API通信;这些服务是微小的,高度松耦合,并且只关注在一个小的任务;便于系统构建的模块化方法;服务是自治并且完整的,控制所有组件,包括UI、中间件、存取和事务。微服务和容器的关系本质上微服务和容器没有什么直接关系微服务理念出现的比容器技术要早很多,其理念是在70年代提出的容器技术是2013年才提出的微服务是应用软件架构设计模式,推崇单一职责、服务自治,、轻量通信和接口明确等原则,基于此,容器可以比较好的配合使微服务易于开发和维护、按需伸缩:(1)按照微服务的理念,如果使用容器作为基础设施,能够实现快速部署,快速迭代;(2)在云计算浪潮中,容器作为替代VM的基础设施受到大家的关注度更高;(3)k8s作为几乎实际默认的容器化平台标准,其集成了配置中心和注册中心,相当于天然的帮微服务架构解决了自己开发配置中心和注册中心的问题。微服务架构的特点是开打系统的边界,接口公开化,接口服务化。在IT系统中产品的概念比较模糊, 比如阿里云中有大量的应用,只有服务存在和服务间功能相互依赖引用,这里与5G明确的产品边界特点上存在差异。在后续的产品设计中会发现该差异很影响系统的实现,从结果看5G的微服务和IT的微服务味道上有差异。
  • [技术干货] [云计算基础]虚拟交换机技术总览
    Ovs :Open Virtual Switch,一个开源的虚拟交换方案。KVM中集成了oVs。 应用在I层管理网络管理域节点EVS:Elastic Virtual Switch,弹性虚拟交换机,提供虚拟网络交换功能,可以实现VLAN, DHCP隔离、带宽限速及优先级设置的基本功能。是华为借助DPDK开发的基于用户态的虚拟交换方案。应用在业务域信令面网元(UNC,UDM,PCF)硬直通:将物理主机的PCle映射给虚拟机访问的虚拟化技术(当前主机上的网卡就是PCle设备)。即让虚拟机直接访问硬件的寄存器和消息队列,所以叫硬直通,或PCI Pass-through。硬直通可以将整个网卡映射给虚拟机,也可以将网卡虚拟出多个网卡给一个或多个虚拟机使用,后者即SR-IOV (SR-OV只有特定网卡才支持)SR-IOV是对PCle ( PCI Express)标准的一种延伸,它可以使一个PCle适配器(如网卡)通过一个共享的PCle物理接口同时起到多个独立器件(多个独立网卡)的作用。应用在业务域数据面网元(UDG)
  • [技术干货] [云计算基础]虚拟交换机技术OVS
    在OVS技术下,Hypervisor负责网络虚拟,虚拟出一个软件实现的交换机。VM的虚拟网卡vNIC以软件的方式“连接”到ovs, OVS再“连接”到物理网卡,实现数据的转发。Ovs主要有两个作用:传递虚拟机VM之间的流量;实现VM和外界网络的通信。
  • [技术干货] [云计算基础]NFV小闭环场景运维对接
    esight (VIM)是VIM逻辑部件中增强的OM服务,是NFV (单DC)的本地维护中心;负责NFVI层的统一运维,并将运维能力和数据开放给外部消费者;LCM (S-VNFM)可从esight获取的NFVI监控数据,范围为由VNFM所发放管理VNF相关的虚拟基础设施监控数据,并将这些数据转发给需要的外部实体;U2020 (EMS )直接和NFVI的esight (VIM)对接,获得对NFVI整体的监控能力;U2020 (EMS)是厂商域运维中心,提供管辖范围内VNF和NFVI的运维:从LCM (S-VNFM)处获取“VNF-NFVI虚拟资源”数据及其拓扑关系;也支持获取LCM自身的运维监控数据U2020从esight中获取对NFVI的整体监控数据。U2020提供厂商域的运维能力,包括从物理基础设施到VNF的垂直跨层关联分析定位能力。OSS系统通过和EMS对接可以实现对NFV (NFVI, VNF, VNFM和EMS )的监控,此对接为已有通道,只不过增加了对接的数据。
  • [技术干货] [云计算基础]NFV的日常监控方案
    单厂商域VNF维护的推荐小闭环,多厂家和分层运维场景则推荐大闭环电信云多DC的在NFV闭环的场景有三种方案:U2020对接多个ESIGHTU2020接Manageone OC;U2020对接IES。 SOFTCOM推荐的方案是ICT-A,原因1、Manageone OC是针对企业公有云和私有云场景,只有水平能力。2、对于多DC场景客户一般采用分层运维方式,一B不止华为VNF一家厂商,因此整体推荐引入ICT-A;多DC之间的网络SLA和定界定位是关键。这就是我们与SOFTCOM讨论出来的大闭环和小闭环方案,每个环中都有MAPA的能力, EMS形成厂商域的智能运维能力构建, IES形成跨厂商和以DC为中心的运维能力,与各厂商EMS之间形成分布式的运维能力;小闭环,解决了信息采集入口统一化的问题,我们把I层的数据集中由ESIGHT采集,并由它承担I层的网管,可分可合,正好符合当前NFV/NFC两个阶段的能力,NFV现在体庞还比较小,因此我们推荐EMS小闭环运维,小闭环主要是基于策略的闭环能力,可能存在部分智能,同时通过与IES合作形成数据分析平台,构建基于智能的能力。
  • [技术干货] [云计算基础]MANO的三层功能
    NFVO负责业务应用、虚拟化层和硬件层管理和编排;VNFM负责网元的生命周期管理,提供包括部署、查询、扩容、缩容、下线等自动化能力;VIM是I层管理系统,包含COTS硬件资源管理
  • [技术干货] [云计算基础]MANO的三层功能
    NFVO负责业务应用、虚拟化层和硬件层管理和编排;VNFM负责业务网元的生命周期管理,提供包括部署/查询/扩容/缩容/下线等自动化能力;VIM是I层管理系统,包含COTS硬件和资源管理。
  • [技术干货] [云计算基础]什么是Hypervsior
    Hypervisor是一种运行在物理服务器和操作系统之间的中间软件层,可允许多个操作系统和应用共享一套基础物理硬件。它可以协调访问服务器上的所有物理设备和虚拟机,也叫虚拟机监视器(Vrtual Machine Monitor:VMM)Hypervisor的基本功能:非中断地支持多工作负载迁移能力。当服务器启动并执行Hypervisor时,它会给每一台虚拟机分配适量的内存、CPU、网络和磁盘,并加载所有虚拟机的客户操作系统。什么是虚拟机:从虚拟化管理程序的角度看,虚拟机是一组离散的文件。VMM(虚拟机监视器)/HypervisorCPU: VMM负责VCPU在物理处理单元上的调度内存: VMM负责维护虚拟地址到物理地址的映射关系I/O网络、存储:VMM通过I/O虚拟化来复用有限的外设资源,通过截获Guest OS对I/O设备的访问请求,通过软件模拟真实的硬件
  • [技术干货] [云计算基础]NFVI
    NFVI 优选基于 OpenStack的云操作系统NFVI包括: 服务器、存储、交换机和Cloud osI层的范围:硬件、云OS、VIM华为解决方案中提供虚拟机的管理VIM的软件是 fusionsphereFusionSphere包括 KVM和OpenStackVNFM管理扩容 :Scale out 缩容:Scale in
总条数:1650 到第
上滑加载中