在多媒体技术应用领域，图像视频编解码居于基础地位，在任何图像和视频应用的存储和传输中，都要涉及图像视频的压缩和解压。在音视频数据不断爆炸式发展的今天，追求高质量低数据量（低成本）的编解码仍然是产业界的巨大需求。随着深度学习的兴起，近年来不断有基于学习的图像视频编解码工作被提出，尽管距离大规模商用尚有距离（据该领域从业人员称，深度学习的编解码效果尚可，但计算量较大），但几乎你能想到的IT和互联网巨头都投入重兵研发，也许该领域正处于突破性创新爆发的前夜。近日，知名移动通信和视频技术研发公司 InterDigital 开源了基于学习的压缩库 CompressAI，相信对于该领域的研究者会有一定帮助。在其论文 CompressAI: a PyTorch library and evaluation platform for end-to-end compression research 介绍了这一开源库。论文地址：https://arxiv.org/pdf/2011.03029.pdf

人们都说如今是“数字化升维，智能纪降临”！曾经有数据显示，到2025年全球智能终端将达到400亿，智能助理普及率将达到90%，智能将像空气一样随处可见，而AI作为一种创新的通用目的技术，将为我们带来巨大改变。应对此种趋势，华为发布AI战略与全栈全场景AI解决方案，其中不乏全球首个覆盖全场景人工智能的华为Ascend(昇腾)系列芯片以及基于华为Ascend（昇腾）系列芯片的产品和云服务等，力求从产业的未来、模型的训练、算力、安全、算法、自动化、应用、技术协同、平台以及人才获得等十个方面做出变化，以一套“组合拳”或者说“全栈思维”来表达对未来AI 产业发展的期望，不得不说这波操作很6。 不单单是在AI 领域，同样的全栈思维也体现在刚刚结束的、主题为“DevRun·选择不凡，华为云开发者沙龙2019”的技术沙龙杭州站活动中。本次沙龙华为云聚焦了多位技术大咖，分别从AI 、IoT、区块链、企业通信等几大业务领域的深度探索与实践操作入手，带来了关于“工具应用、解决方案服务再到赋能行业的实践”如此全栈式的技术分享，并与现场的开发者们展开了深入探讨，干货精彩。你是否遇到过跨区域开会难，协同开会缓慢等尴尬场景？破局企业云会议，加速赋能开发者，根植于通信传统领域，凭借音视频领域26年技术沉淀，平均每日满足全球18亿华为员工高达5.2万次的会议需求，华为云会议厚积薄发。无论是端云协同、软硬全覆盖；还是安全稳定、多项防护高指数；抑或是智能辅助，全面掌控so easy；共享协作，高清体验随时可达等，想到的都是优点，如今早已融入业务和生产系统，成为密不可分的一部分，帮助政府和企业客户实现快速沟通和高效联接。聚焦云会议音视频，在“基于华为云会议音视频技术，构建差异化行业应用”的分享中华为云会议产品经理时春雷，通过具体的实际案例讲解，阐述音视频黑科技的应用价值并介绍这些能力基于华为云会议的开放能力，例如登录鉴权、业务发放、会议管理等，实现快速集成，满足各行各业多种个性化需求场景，并充分介绍了其中的优势所在。节选 刘晶晶 程序人生

后疫情时代，视频云发展机遇与挑战并存疫情让几乎所有行业意识到视频服务的基础性与必要性，视频云“一夜爆红”，视频云服务加速被接纳，促使视频云的产品和能力快速更新。而到目前为止，视频被运用到各个行业，华为云视频云总监陆振宇认为，视频服务的发展总结起来有三大挑战。第一个挑战是“贵”：不仅是资源贵，音视频的开发人员也很贵；第二个挑战是“卡”：视频的“卡”，是一个代表词，可能还有黑屏、绿屏，以及各种体验问题；第3个挑战是“不够炫”，这也是一个美学概念，人们对美或对希望看到的视频内容的创新和演进的体验升级，有很高的诉求。如果仅靠单一的技术供应商，无法跟上这些诉求。 抽丝剥茧，视频云五彩斑斓的业务形态与相对稳态的底层逻辑面对行业三大挑战，华为云视频云服务，在试图找办法去解决。华为云在最开始就坚定拥抱了云原生。希望通过云原生的视频能力，使能客户和合作伙伴，解决视频业务从“On Cloud”走向“In Cloud”的问题，同时打破原有的视频生产、传输上的桎梏。基于云原生的方法和理念，华为云视频云试图找到结构性降低成本；系统性改善音视频业务体验，以及能够用好云的生态来做体验和创新的快速演进和迭代，希望由此来解决行业的三大痛点，最终重塑视频体验，激发行业创新。 千里之行始于足下，华为云视频云所覆盖的行业主要包括广电媒体、互联网视频、通信视频和行业视频。这四个行业业务形态各不相同：从内容制作上看，包括了广电媒体的专业内容制作、互联网视频的用户产生的内容、通信视频领域的交互式的实时音视频以及行业视频领域的基于机器视觉的视频输入；在分发环节，包括了广电媒体和互联网视频领域的自上而下的视频分发、通信视频领域的双向实时音视频分发和行业视频领域的自下而上的机器视觉视频信号传输，最终实现在不同行业的不同终端上播出。虽然业务形态各异，但因为都是基于音视频技术，因此在视频内容生产效率、分发成本上都有类似的诉求。 深挖源动力，视频产业上云的三大驱动力 以前，视频上云主要集中在分发领域，现在很多内容制作领域的合作伙伴，也在积极地探索内容生产制作上云。视频上云成为趋势的第一个原因，就是云ICT基础设施，能够帮助视频体验不断提升，从而推动视频产业的发展。在广电媒体领域，一部顶级综艺节目制作，有上百个机位，每个机位采用100M到200M码率，节目素材是几个PB级别；而头部电影的制作，同样也需要数个PB的素材存储能力，以及数千台服务器的渲染能力。在互联网视频领域，以直播为例，2020年上半年就消耗了几个PB的CDN流量，这也是互联网视频上云时间更早的原因；疫情极大加速了通信视频行业的发展，2020年在云上转发的实时音视频分发数有望超过1000亿分钟/月，产生约700EB/月的实时音视频流量；而行业视频领域也会迎来更大的发展，2021年将有500万摄像头接入到云上，每天将产生百EB级别的视频数据和上行流量。面向未来，随着4K、XR等业务的持续发展，视频类业务对算力、存储、带宽的消耗将呈指数级上升趋势，这些都是驱使视频业务上云的最直接原因。另外，几个视频行业痛点，也会进一步推动视频业务由On Cloud走向In Cloud。视频内容制作领域，目前全国有超过100万家视频内容制作公司，大部分公司体量不大，有好的内容创意，可以制作出与众不同的内容，但随着视频制作技术的发展，比如制作4K、8K的超高清内容，制作更加精细和真实的特效……这些公司会面临IT基础设施投入和建设的瓶颈。从内容生产流程来看，之前是线下完成内容制作后，成片渲染才会需要消耗IT基础设施；但现在视频制作过程，越来越趋向于在拍摄时进行虚拟内容的制作和渲染，驱使整个视频制作链条，对IT基础设施的消耗不仅提前而且贯穿始终。从分工来看，内容的云原生有利于内容的分布式生产制作，特别是长期持续的疫情之下，让跨国、跨区域的内容制作成为可能。视频上云将成为趋势，数据创建和存储的位置也会由端向云和边转移。预计到2025年，网络流量中90%将是音视频数据；而数据创建的位置中心+边缘将达到50%；而数据存储的位置中心+边缘将达到70%。视频的制作、处理、传输在云上将成为新常态。 勇立潮头，云原生的华为云视频云服务，重塑体验，激发创新华为云视频云服务基于华为的基础设施和基础服务，分为两层：最上面的是跨行业跨内容的生产、制作、分发全流程的各类视频云服务。另外，视频云服务依托于一张统一的媒体网络，这张媒体网络实现了5G的云网协同，确保视频内容快速传输上云；采用统一的网络架构，实现下行为主的直播、点播类业务、双向的实时音视频类业务、和上行为主的行业视频类业务，都能实现云资源的复用，从而实现成本的最优化；这张网络也提供了分布式的媒体处理框架，将视频AI等能力按需下沉到不同网络位置，保障处理的实时性。并且，整个媒体网络是统一架构，而不是一个个孤岛，能实现最高效的资源复用和最低的传输成本。 以体验为本，科技为源，锻造华为云视频云服务四大核心价值云原生的华为云视频云服务的核心价值概括起来有四点：生产效率提升：视频云服务和网络实现云网协同，无论在专线还是5G网络环境下均可实现视频的超级上行，满足视频内容快速上云的需求。同时视频云的基础设施进行针对性优化，实现线上、线下协同的内容生产制作，极大提升视频生产效率。网络高效分发：采用统一架构，无论下行为主的直播点播业务、双向的实时音视频业务和上行为主的行业视频类业务，均采用统一架构的网络，实现云基础设施的共享和复用，最优化视频传输的成本，保障体验的一致性。支持分布式的媒体处理，从实时视频AI开始，将视频AI能力按需下沉到边缘，实现实时AI处理能力，增强用户体验。业务持续创新：视频服务以原子+分子能力形态，灵活组合，随需调用，改变视频应用创新方式，帮助合作伙伴实现业务创新。覆盖视频生产、处理、分发、消费的视频能力，和视频AI的深度集成，实现云端视频的智能化生产、处理、分析。同时提供了面向未来的XR云服务能力。重塑视频体验：基于灵活的视频云服务组合，使能客户实现了各种视频业务的体验创新，并实现了商业应用。四大核心价值点，具体是如何实现的？ 视频在云上的生产制作首先面对的就是视频内容传输上云的问题，华为云通过两大关键技术解决视频上云问题。对于5G网络的视频内容上传，华为云基于云网协同，通过5G网络的全时隙调度、时隙配比的优化、空口保障等各种关键技术，实现单用户数百M和总体几个G的超级上行速率。其次对于基于物理专线的视频内容上传，华为云也提供了视频内容的超级上行能力，可以达到4GB的上行速度，打破视频传输上云的瓶颈。视频传输上云后，华为对对象存储和底层文件系统进行的优化，以适配专业媒体领域的视频制作。经实测，云转码的效率提升10倍、支持16轨的非线编并行处理、合片速度提升3倍并实现了7轨并发合成。这样整个内容制作过程的效率得到提升，极大缩短了内容制作的周期。其次，在内容制作方面，华为云提供了超高清制播云，帮助客户实现4K内容的高效生产。制播云包括了云导播、云媒资和云编辑三大核心能力，服务于大型活动制播、组合画面制播、事件新闻制播、网红个人直播等各种场景。视频拍摄现场可采用摄像机、手机、5G背包等不同的拍摄方式，通过专线+5G网络上传到云端，传输过程可采用H.264/H.265编码、RTMP/SRT传输、支持1080P/4K超高清视频内容，云导播支持视频切换、调音混音、图文包装等丰富的能力。直播信号通过云导播后，可以录制到云媒体中进行统一管理，并通过云编辑实现了更加丰富的剪辑、AI处理、特效、图文包装等能力。总之，在视频内容生产端，一方面华为云基础设施支持了视频内容的超级上行，并让现有的视频制作工具在云上运行时，比线下运行时效率提升了数倍；另一方面，华为云也提供了强大的制播云服务能力，让各类视频业务场景上云。关于实现网络高效分发，整个视频产业现状是不同的视频业务，都有一个媒体网络支撑，而这些媒体网络都是互相割裂的，呈烟囱式的孤岛状态，他们之间的资源无法充分复用，比如在线教育领域，背后依托的是RTC传输网络，互联网视频的直播、点播，依托的是CDN直播网络，行业视频依托的是连接几百万台摄像机在云上进行视频处理的网络，这几个网络之前都是互相割裂的。华为云视频云从提供视频服务之初，就希望整个连接千行百业的媒体网络是统一架构和资源可复用。这不仅是一个技术架构统一，也包括资源架构的统一。资源架构的统一意味着这个网络虽然服务于千行百业，但它用到的基础设施、网络资源都是可以在不同的行业进行复用的，实现高效传输和优化成本。其次，视频能力需要分布在媒体网络的不同位置。例如视频AI的能力，终端侧呈现的美颜和各种特效，目前都是在终端侧处理。受限于终端的能力，特效不够逼真；而如果将端侧特效上移到云端，虽然理论上特效的丰富性和逼真程度会大大增加，但会带来更多的时延问题，影响用户体验。华为RTC提供了实时媒体AI的能力，通过开放式的函数运行框架，让这些视频AI的能力灵活的按需部署到媒体网络的不同位置。这套架构中，华为元戎函数计算平台让算法以函数容器的方式进行传输，并通过华为云IEF边缘云服务在网络边缘为用户就近提供服务。这套架构也是开放式的，兼容了华为云EI平台提供的AI算法，也支持接入第三方的AI算法能力。通过这套架构，让媒体AI能力按需就近部署，既充分利用了云强大的基础设施，实现了更高效和逼真的视频AI，又就近部署到了靠近用户的网络边缘，兼顾了用户体验时延问题。另外，整个媒体网络是去中心化的，网络内视频的路由均取决于用户体验和传输成本，通过智能调度进行优化选择，具体而言有四点：第一，所有服务在边缘站点实现资源的共享，最大化复用带宽成本，实现所有业务成本最优。第二，所有网络数据均汇聚到大数据平台，智能调度通过分析这些实时数据选择最优路径，确保最短的路径转发，实现体验最优和时延最低。第三，长距离传输引入ADN，保障长距离传输时的体验。最后，视频AI等能力按需部署到不同网络位置，减少回源到中心处理的流量，降低传输成本。总之，华为媒体网络基于统一架构，通过智能调度动态计算最优路径，通过融合型边缘站点实现资源复用，保障视频体验的同时实现了最优的成本。关于业务持续创新，华为云视频云分了两层，一层是原子服务层，没有任何业务逻辑，就是我们的媒体服务能力。第二层是对外开放的分子服务层，这些分子服务能力都是跨行业使用的，一方面分子服务能力跨越了视频的生产、处理和分发的不同环节，另一方面分子服务能力支持不同行业的使用。不同行业在做业务创新时，可以灵活选用这些分子服务能力进进行组合，希望通过分子服务的组合，让行业持续创新。过去两年，华为云视频云服务，做了很多创新，如分子服务的灵活组合、云制播、超级上行、媒体处理、视频AI等能力。与合作伙伴一起探索在云上做4K视频的这个制作；通过5G背包加5G的上行，实现赛事云直播，我们把整个赛事的直播，直接通过5G的方式传输到云上，然后进行直播的分发，减少本地云导播成本的消耗；在在线教育领域，我们跟合作伙伴做了子母课堂，基于低时延的RTC直播服务，在千人课堂上也能分组，让大课堂用户享受小班课的体验，有效的提升了用户up值；现在也和一些机构探索，包括8K的VR视频，自由视角的直播服务，希望把视频云的服务组合，应用到演唱会、赛事直播等场景。我们也会探索，将自由视角、VR视频等能力，由专业级变成普惠级，运用到短视频或网红直播领域，让更多的行业和用户都能够享受到这些能力，实现产业升级。 未来可期，云原生的华为云视频云服务，助力千行百业创新升级华为云视频云坚持技术普惠理念，打造面向全行业共享的媒体服务，打造视频云业务的黑土地。我们也希望大家一起来推进技术的普及，携手降低技术门槛，提高性价比，建立共同的标准，规范化发展，让实时音视频成为5G时代的基础服务，使能千行百业创新，让行业拥有五彩斑斓的变化，畅享数字化技术带来的便利。

随着视频业务不断升级，用户对体验的要求越来越高，比如要互动性更强、玩法更多样，体验更酷炫等。另外，直播业务、RTC业务，内容同质化比较严重，内容创造、用户体验也都遇到了天花板，这些都需要一些技术去打破它。我们跟斗鱼长期碰撞，共同探索后，得到一个命题：通过媒体AI去做这个事情。刚才斗鱼肖总的视频里面也提到了很多直播特效，包括像美颜、美型、虚拟主播、背景替换等，同时我们面向在线教育的场景，也会有一些像课堂评测的能力，都是基于媒体AI去做的。构建媒体AI目前面临的三大痛点当前，媒体AI的构建有几大痛点：终端：类型多、算力弱。目前很多的媒体AI能力都是在终端实现的，虽然终端的算力在不断提升，但像一些高复杂度的特效是做不了的，比如虚拟人物。背景替换当前的效果也很一般，你能看出一个明显的轮廓，当然更不要说实现对标电影级特效的背景替换了。云端：实时互动弱、成本高。现在很多在云端去做的视频AI，一般都是偏向于离线的业务，它对互动体验的满足性相对比较低。在直播实时互动的时代，这是无法满足需求的。而且因为音视频数据在边缘和云端源站相互传输，引入较高的带宽成本。创新门槛高、生态封闭。现在AI的能力，各厂家都是独立开发，各玩各的，生态相对是比较封闭的。我们希望基于云原生，和伙伴一起构建一个边云协同的实时媒体AI的能力，去解决上述痛点，加速视频业务创新。 实时媒体AI的定义及核心价值我们给实时媒体AI做了一个定义，基于华为云原生的边缘、计算、容器、存储、网络等服务能力，构建丰富的实时媒体AI处理能力，同时联同伙伴打造生态开放的AI算法市场，加速视频业务创新，为客户提供差异化竞争力，为用户提供更优质的体验。先举个简单的例子，我们把当前直播和RTC里端侧做的一些特效，通过边缘云的方式来实现，加入更多更酷炫的特效，比如效果更好的背景替换，提升互动性的AR卡通、虚拟人物等等。当前，实时媒体AI还处在一个探索推进的状态中，我们希望其能实现如下4个核心价值：玩法更多。以后直播和RTC业务有更多的AI能力可以用，可以组合，来实现更多更酷炫的创新玩法；体验更优。有了这些创新玩法后，用户对实时互动的体验要求是比较高的，我们希望实现“延迟无感”的体验，与本地使用高端机是同样的体验效果。还有一点针对算法开发者来说的，可以基于云的平台，更快地发布、更快地开发，更快地去体验验证。成本更低。目前大部分媒体AI的能力是基于端侧实现的，因为一提到云侧，就会想到GPU、各种硬件平台的成本会比较高，但我们希望能把这块的成本降下来。这里包括两个部分，一是用华为云统一的软硬件资源，提高资源的复用率，降低每一路资源成本，二是基于云上统一平台，一键更新，无需适配多种终端，来降低算法开发和APP更新的成本。生态开放。我们希望构建一个开放的AI算法生态市场，避免各家闭门造车、各玩各的的状态，希望能通过AI算法的互通共享，来降低算法开发门槛。这些核心价值的实现，都是基于云原生，下面将从实时媒体AI的云原生架构、实时处理框架、算法开放几个方面详细介绍一下如何通过云原生实现核心价值的。实时媒体AI云原生架构首先介绍一下实时媒体AI基于云原生的架构。从下往上看，首先它是基于华为云的边缘节点，用华为云IEF边缘管理服务对整个的节点软硬件资源做一个纳管，进行调度。其次，框架基于华为云EI平台，提供ModelArts训练等多种能力，支持Tensorflow、PyTorch等主流深度学习框架。框架里还包含一个SWR（镜像仓库）的服务，这个服务既可以集成发布华为EI自研算法镜像，也可以集成第三方基于EI的算法镜像。还有一个关键点要介绍，我们提供一个高性能边缘函数计算能力，这个能力实际上是面向实时媒体AI业务做的一个函数级处理框架结构，它可以非常高性能地将所有的AI算法实时调度到边缘节点上，并对边缘函数进行编排。实时媒体AI平台，用于卸载终端上的媒体处理能力，减少媒体处理适配不同终端平台的开发量，并保证不同终端平台体验效果一致，面向不同解决方案提供归一化的媒体处理能力。我们通过这个架构，提供更多更优的媒体AI玩法，同时，它统一算法的创新发开平台，可以避免多终端适配。实时处理函数框架如前面所述，实时媒体AI的核心是实时，如何最大程度的降低端到端处理时延，让用户对延迟“无感”。实时媒体AI除了将实时处理能力下沉到边缘，就近提供处理、降低链路时延之外，还重点构建了实时处理函数框架，用来降低处理时延。该处理框架主要以下几个方面降低端到端处理时延：1）基于华为云昇腾、鲲鹏等硬件，对AI算法、视频编解码算法做加速处理；2）通过高速总线加速AI算法容器之间视频原始数据传输；3）通过函数资源池预热机制提前加载AI算法，降低启动时延等。 整个处理流程，我们是希望能做到100毫秒以内，加上网络的时延，能做到300毫秒以内。这样的话，对用户而言，延迟是无感知的。 云原生算法开放如前面所说，我们不仅仅是构建一个实时媒体AI服务能力，更希望的是构建面向多种业务场景的实时媒体AI算法生态，希望更多的伙伴参与进来，一起推动业务创新、用户体验提升。基于这个想法，我们构建了一个算法开放的流程，包括所有实时媒体AI算法的标准算法接口和集成流程，也包括算法生态市场的构建，我们都会陆续的推出。这样的话，不管是基于华为EI平台去构建的AI算法，还是考虑到数据的隐私性，基于自己的平台去构建的AI算法，都可以通过这个流程集成到我们实时媒体AI里面。 实时媒体AI应用案例—斗鱼基于华为云云原生RTC实时音视频服务以及实时媒体AI能力，斗鱼实现实时云端特效，将端侧难以实现的特效能力向云侧转移，为用户提供“延迟无感”的实时互动体验，促进业务创新，提升业务粘性。华为云领先的云原生技术，让斗鱼可以专注云侧创新，避免适配多种终端，快速验证创新效果，大幅提升研发效能。同时，还能避免SDK频繁更新带来的用户多次下载，提升用户使用体验。基于华为云和斗鱼的算法，双方还构筑了一个富有想象空间的算法生态。面向未来，双方将持续深化合作，基于AR/VR提供更多创新玩法，结合华为云算法商城为主播带来更多场景选择，追求更优用户体验。目前我们正在跟斗鱼一起做美颜、美型、滤镜、贴纸等实时云端特效，这些特效会集成在斗鱼的直播平台里面，后续虚拟形象、背景替换等特效也会陆续上线。 低时延云端美颜、背景替换DEMO第一个DEMO是当前跟斗鱼一起做的一个低时延云端美颜特效，里面包括美白，磨皮等一系列的处理。这个端到端的时延，目前我们在网络比较好的情况下，可以做到150毫秒。正如我们看到的两个对比视频，基本上是同步的，肉眼看不出差异性。另外的一个DEMO是背景替换的。是一个知识视频里面做的背景替换。后面还会把背景替换效果做得更好，能像电影级的，比如说把背景替换和美颜美型、虚拟形象等组合叠加，做出更好更炫的效果。 最后我对今天分享的实时媒体AI做个总结。我们希望实时媒体AI是作为加速视频业务创新的一个关键手段，能够提供更多的处理能力，更优的互动体验，更低的创新成本，当然也希望更多AI算法合作伙伴们的加入，一起来共同打造一个开放生态！

大家好，非常有幸能有这次分享机会。我是康永红，来自华为公司，在大数据和音视频业务领域有十多年研发经验，负责直播、视频会议、RTC、VR的QoC、QoE、QoS管理，主要聚焦在基于大数据解决音视频产品体验提升和成本优化的业务领域。我个人认为这也是整个音视频领域的一个难点。 2020年是不平凡的一年，客观来说它促进了我们音视频业务的爆发式增长。华为云基于大容量、低时延、全互联的媒体网络，通过全国的2000多个节点和几百T的宽带，和我们的客户一起服务了亿级在线用户。在这个过程中，通过大数据提升视频体验质量和成本优化显得尤为重要，同时我们也积累了一些经验，今天我将和大家分享云原生时代，华为云在音视频质量监控与优化方面的实践。本次分享主要分为四部分：第一部分是云原生时代如何快速构建音视频数据服务体系，第二部分是华为云直播和RTC音视频服务体验质量优化实践，第三部分会介绍华为在云原生时代是如何快速构建音视频服务全流程质量监控平台，最后将总结和展望音视频业务体验质量的思考和技术规划。 音视频体验发展趋势及背后技术支撑的挑战   从音视频体验的发展趋势来看分为直播、RTC和XR三代，可以归纳为两个特点：第一点是用户体验越来越真实，传输分辨率从720P到1080P、再到XR的4K、6K、8K、乃至更大；另一点是业务要求互动性越来越强，迟延方面从30s到XR不超过100ms，对延迟要求更低。 基于以上质量体验的发展趋势，我们需要有一个后台技术支撑。我们在使用大数据解决支撑的过程中也经历了三个阶段：首先是5年前用大数据平台解决技术问题，其次是在3年前用数据**解决效率问题，第三个阶段是最近两年我们综合1.0、2.0时代的特点，采用“**+可信数据服务”的数据服务**模式解决价值问题。我们认为数据服务**是解决业务差异性和市场不确定性的最佳框架。 在直播中我们经常会碰到卡顿、实时音视频通话延迟等情况，这些问题都会严重影响用户体验。解决这些问题的一般方法是构建音视频质量监控平台，采集数据，用大数据的方法解决监控质量问题。在这过程中，我们又会碰到一些新的问题，比如采集数据延迟很大、丢失很多、数据不准确，此外还包括大数据算力不够、交付时延比较长等等问题。这些体验和技术问题带给我们很多挑战——包括会在什么场景出现这些问题，无法精准确定是网络问题、设备问题还是环境问题，以及这些问题影响了哪些客户等等。  那我们要怎么解决这些问题呢？在端+边缘计算+云计算的云原生时代，技术上已经给了我们一些解决方法。最好的实践是基于“数据湖+数据服务”的云原生数据驱动能力，去解决业务差异性和市场不确定性。这套架构分为六层，我们通过这六层去解决后台系统的相对稳态及前端业务稳态之间的矛盾。架构落地的具体实践是基于云服务基础设施，首先我们构建了统一的音视频数据湖，同时构建从采集、生产到消费的数据价值链，通过这两者结合，支持所有同时在线的几大类服务接入，和面向内外部七类客户，以及包括运营、运维等客户数据服务的QoS、QoE、QoC等三大类七小类的场景诉求。当然仅仅基于这个架构开展体验质量优化工作是远远不够的，这只是技术上的解决方法。 音视频服务体验优化三步走：监控、诊断、提升从在业务角度出发，我们认为QoE体验是一个管理的问题，我们在业务上需要做一些设计，这块我们构建了音视频服务的体验体系，大致分为两个大的阶段和三个小的阶段。两个大阶段是先诊断、再提升，在诊断中分为监控和诊断两个小阶段。 具体展开来看，首先需要构建QoE、QoS的立体实时监控体系以及辅助AI的异常检测方法，做到实时发现问题。第二步在发现问题后用秒级诊断能力，快速诊断体验原因，这个原因可以具体到用户行为级。基于诊断结果，第三步就需要做体验提升，一般有两种方法：第一种是依靠人工经验做优化，另一种方法是智能调度，我们在面向不同行业、不同场景的情况下，基于智能调度策略在成本可控的情况下做到用户体验最优。 基于上述体验质量优化体系，接下来我将具体展开分享华为云在视频直播和RTC实时音视频方面的体验优化实践的案例。 音视频服务体验优化实践1——直播体验优化我们首先看一下华为云视频直播体验优化实践案例，我们在做到低时延、不卡顿、高清晰的同时，还实现了成本可控。总体分为三个阶段：第一阶段质量监控，第二阶段问题诊断，第三阶段体验提升。 视频直播的质量监控，我们首先构建了覆盖流质量、体验、规模、网络、成本、设备六个维度的立体质量监控体系，涵盖了QoE、QoS、QoC三十多个指标，其中包括帧率、码率等核心的QoS指标，秒开率、卡顿率等QoE体验指标和带宽、回源率等成本QoC相关的指标。  第二个阶段问题诊断——视频直播的秒级质量诊断，这是基于网络数据+端数据构建的直播流全链路监控体系。诊断流程贯穿了第一公里主播端监控推流帧率等QoS指标，到网络节点间帧率、码率等QoS质量指标监控，带宽回源率、成本指标，以及最后一公里观众端卡顿、秒开、黑屏等QoE指标。这样就实现端到端实时的秒级监控，如果发现异常情况可以及时反馈给顾客和调度系统，比如我们在第一公里发现帧率、码率出现异常，就通知客户在主播端进行策略调整，如果实在网络发现异常，就做一些节点用户数据调动或其他策略的优化，而当观众端出现体验异常时，智能调度系统会做调度策略的调整。以上整个全链路监控系统覆盖了12路直播全场景和全协议监控。  直播流全链路监控系统——从第一公里、到媒体网络、再到最后一公里，整个都是可视化的，这样可以提升问题诊断的效率。 第三步体验提升，视频直播体验提升大致分为两种方法。其一是通过运维同学的经验实施，另一种方法是基于智能调度系统——基于端、边、云数据协同做智能调度体验优化，这种方法利用了统一视频数据湖技术，实现端、边、云的QoS、QoE、QoC数据的协同，通过智能分析引擎生成流、客户、网络链路、节点、观众的实时画像，基于实时画像+调度策略由智能调度系统实施智能调度，在成本可控的情况下做到最佳体验。衡量指标主要选取两类指标，一类指标是成本指标，比如通过回源率来衡量成本是否下降；另一类指标为体验指标，通过卡顿率、秒开率等判断用户体验是否有提升。以上是视频直播在质量监控和体验提升的一些实践案例。 音视频服务体验优化实践1——RTC体验优化接下来分享实时音视频RTC的体验优化的实践案例。RTC属于第二代音视频业务，它和第一代直播在业务方面有很多差异，比较关注时延以及行为级的监控，基于这些差异性，我们也采用了三个不同优化体系。 第一点是质量监控，RTC质量监控体系建立了覆盖通话、网络、成本、设备等六个维度的立体质量监控体系，覆盖QoE、QoS、QoC三十多个指标。其中核心指标包括等码率、帧率、丢包率、抖动质量QoS指标和秒开率、时延、卡顿率、入房和选看成功率等用户体验QoE指标，以及带宽等成本QoC指标，与直播监控指标相比，特别是端到端的时延指标，这是基于前面提到的差异性着重关注的。 基于监控体系，第二个工作是问题诊断，我们首先建立了三类体验质量数据服务，第一类是监控指标数据服务，主要覆盖的是服务端、客户端、设备、QoE、QoS、QoC，这些数据放在统计库、时序库中使用。第二类是网络端所有控制面和媒体面的事件数据服务。第三类是终端事件数据服务，包括终端侧用户行为事件，例如加入房间、切换角色、操作麦克风或摄像头等事件，此外还包含了终端设备数据，例如CPU、内存、摄像头等。 基于这三类体验质量数据服务，RTC构建了三层问题诊断体系。 第一层构建是覆盖全链路、全维度的QoE/QoS实时监控体系，可以在分钟级完成体验诊断和快速恢复问题。  第二层监控体系是基于网络行为数据和端侧行为数据的一键式用户个例通话QoS调查能力，它可以帮助我们快速解决RTC业务单用户的体验问题和投诉。 第三层问题诊断能力是在第一层QoE/QoS全局指标监控和第二层QoS行为调查能力基础上的体验问题自动诊断高级能力，它通过监控三十多个指标产生二十多个异常事件，并通过学习模型，给出影响的六类体验场景。这样系统就可以快速自动化地判断出体验发生异常的原因，并且快速传递给客户。如何构建音视频服务全流程质量监控平台？上述介绍的是华为云RTC业务体验优化的实践案例，做体验质量优化工作是需要平台完成的，我们下面来分享华为是如何构建音视频服务全流程质量监控平台的。首先从数据采集、传输、计算到消费四个环节的亿级规模音视频质量监控大数据平台，包括支持端、边、云全数据采集和传输的数据网络，支持实时计算、离线计算和机器学习的多模数据处理系统，以及支持运维、运营、客户的数据消费服务体系。  在构建平台时，会遇到很多性能、质量、效率以及实时性的问题，如何构建一个大容量、低成本、高效率和可信数据质量的平台？我们采用了批流一体和存算分离的架构。批流一体解决的是开发效率的问题，我们同一个指标可能在批流一体中计算一次就可以对所有服务使用，不需要重复开发，同时我们有一站式数据开发平台可以解决开发效率的提升。成本问题上我们采用的是存算分离——存储和计算是分离的，存储采用的是对象存储，价格相对低廉，计算引擎采用的是前面介绍的批流一体的方式，这样可以做到成本最佳。质量方面是采用了“ODS-DWD-DWS-ADS”四层数据治理平台，保证所有数据可跟踪、可管理，确保任何指标数据都是实时、完整、准确的。 在有了大容量、低成本的平台后，我们还面临断网、设备故障等问题。我们在平台可用性上基于云服务实施，采用跨Region主备容灾和多AZ模式，整体SLA可达99.99%，来自端、边缘、云等全部六类数据不丢失，监控、调度等六类服务不降级。这样我们在整个环境下，任何环节出现异常，在质量和服务提升上都可以正常工作。 如何持续保证音视频体验质量三大利器？ 回顾本次分享，音视频体验发展有三个特点：第一，用户对体验的要求是真实感越来越强，直播、RTC等用户要求更高；第二，在用户体验上要求越来越互动；第三，面对各种网络、终端业务环境越来越复杂。 为了保证音视频体验质量，我们有3个利器：第一，针对不同业务场景，构建“先监控再诊断后提升”的体验质量体系；第二，基于“数据湖+数据服务”解决用户差异性和市场不确定性的问题；第三，在实施过程中要平衡成本和体验的关系。 对未来音视频业务体验我们有三点规划方向：一是持续基于端、边、云数据协同来驱动QoE、QoS、QoC优化；二是构建音视频内容质量的智能评估体系；三是建立第三代XR音视频体验质量规范，如沉浸感等。 以上是本次分享的全部内容，谢谢大家。

全民直播互动的时代，怎么快速完成高清视频节目制播？快来云宝小课堂，一图秒懂云制播！了解更多云原生音视频技术，戳链接报名参加12月30号 #华为云TechWave# #云原生2.0# 峰会，大咖&大奖等着你！报名请戳→https://form.dmartech.cn/form/prod/56935c7eceeafbd7/customization/cloud7220/cloud7720_719/cloud7720.html?id=719

小课堂有大干货，实时音视频？实时云特效？一图秒懂！了解更多云原生音视频技术，戳链接报名参加12月30号 #华为云TechWave# #云原生2.0# 峰会，大咖&大奖等着你！报名请戳→https://form.dmartech.cn/form/prod/56935c7eceeafbd7/customization/cloud7220/cloud7720_719/cloud7720.html?id=719

每一次突发事件都考验着各行业的智慧和能力，2020年，当“云上生活”，“永远在线”成为新常态，人的能力、企业的能力在危机环境遭遇巨大挑战，比如很多企业的业务系统、内部会议系统出现没办法进行远程的访问和使用的情况。疫情给中国所有的政府和企业好好地上了一堂课：数字化如此重要，已经成为战胜疫情、恢复经济的刚需。云、AI、5G不断为政企数字化转型注入新动能，政企行业在被动融入时迅速调整管理方式并发现新的可能性。华为公司副总裁、华为云业务总裁郑叶来之前分享了一组数据：春节之后中国远程办公人数超过3亿，而2019年的数据是500万。2020年第一季度，华为云云主机、CDN、实时音视频和云会议等服务也都在爆发式增长。在这特殊时期，华为云实时音视频（RTC）能力从幕后走向台前并被重新理解认知。看似刚入局的行业新兵，却有30年的音视频技术积累、1186项全球音视频专利，华为云端云协同不断降低行业门槛。从疫情期间湖北火神山医院使用基于华为云实时音视频服务构建的华为云会议系统，到最近使用华为云会议系统举行的东盟十国峰会和中非特别抗疫峰会，华为云的音视频技术和能力正深入各行各业，通过全场景、全实时、全互动的服务提升企业效率。入局RTC  拉高行业天花板以往音视频在娱乐媒体、网络直播中应用频繁。2020年伊始，会议+直播+互动已经深入到在线课堂、远程医疗、企业办公、营销、安防监控等各行各业，音视频成为目前最好的联接方式，实时音视频服务（Real-Time Communication，简称RTC）的使用场景创新从未停息。在实时音视频的技术，持续在演进和发展过程中，业内有一个共识：做RTC很容易做好难，业务流程和技术架构因应用的差异化都是彼此割裂的，诸如直播、连麦、会议、监控各有各的网络架构，同时“一网多用”始终没有成型，更不要说像VR/AR这样的新兴应用拓展。如今我们流行的娱乐直播，短视频，直播带货等场景使用CDN直播技术，当直播变成实时互动时，延迟问题会影响客户体验和业务升级。在华为云联接与协同业务总裁薛浩看来，RTC技术融入千行百业的不同场景必须跨过三大门槛，给客户全场景和全实时的音视频体验，让各行业在5G时代有更多的业务创新和更好的体验升级。一是音视频能力的积累。音视频不仅只有编码转码，需要有很多弱网环境，来自公网上的挑战和延迟需要服务商具备低码转高码，高码转低码等长时间的技术和场景积累。二是对于端的整合能力。薛浩认为，RTC其实是端和云的协同，所有的RTC服务首先完成端媒体流的采集，继而再加工进行转发。用户的使用端侧不仅五花八门，操作系统、芯片也各不相同，客户跨端应用比较频繁，服务商对于端持续的更迭和维护，是非常大的挑战。三是成本理解和网络资源， RTC本身是资源型的业务，对于计算资源和网络资源诉求极高，要共享网络和计算资源成本非常高，如何有效降低成本是所有服务商考虑的问题。通信行业起家，在运营商领域服务多年，华为积累了音视频能力，具备终端的覆盖和整合能力，SDK可适配更多终端，同时华为云CDN在全球已经有2500多个节点（国内2000多个），这些节点的网络和节点的算力、边缘的算力和能力可以充分共享，有效降低用户成本。 把RTC的技术带到各行各业，拉高行业的天花板，让用户用得起用得好，华为云发布实时音视频服务，将30多年以来技术沉淀的集中释放，给客户全场景和全实时的音视频体验。具体而言，华为云一方面要将软硬件的产品组合通过技术协同向行业端渗透，利用互联互通的特性更加深入业务层级，另一方面则是借助技术红利打造简洁高效可靠的人机交互体验，让沟通和协作不再受带宽、时延、丢包的困扰。做大市场 加速RTC技术迭代作为一种实时通信技术，RTC主要对音频/视频信号进行处理和传输，以前主要用在视频通信类业务上，现在众多视频有了新的场景需求，越来越多的客户开始需要音视频会议的能力。就拿在线会议来说，随着高并发大流量、多终端的发展，以前独立的会议架构慢慢重构，疫情期间的发展，双向互动要求提高，要满足直播互动场景，必须要对接CDN和RTN两个网络，通过合流、旁路直播的方式来满足场景需要，多个环节，层层分发，时延至少需要3s以上。 华为云新一代RTC，可以实现一套网络支撑全场景业务，通过上下行流量融合处理，实现多业务互联互通，灵活流转。一张网融合，可以让客户的资源效率提升30%，运维效率提升50%与即时通讯时代的音视频不同，现在的音视频服务需要直播、互动、交互等可以灵活组合切换，华为不断提升行业天花板，加速RTC技术迭代，将中心式、树状结构、层层分发的模式，改变为网状结构，去中心化，基于边缘节点部署，就近接入，通过实时监控和智能调度，端到端选择最佳路由，可以实现实时观看（时延<1s）、实时互动(时延<200毫秒、实时操作（时延<50毫秒），充分满足业务需要。在薛浩看来，未来AI技术在音视频媒体网络中将会持续大规模应用，持续推动行业发展，与此同时，VR和AR的技术会基于RTC实时的媒体网络，快速发展起来，未来有很多可能，但是每一种可能都需要大规模技术、长期的投入。华为已经做好准备把行业的技术门槛降低，面向未来，持续进行核心技术的投入和布局，华为云实时音视频服务可以提供包括智能感知编码、SVC分层可伸缩编码等多项技术，提升编解码效率，以及较强的网络适应性技术，加速RTC技术迭代，让RTC成为华为云的基础业务，把音视频会议的能力推向行业化，目前，基于实时音视频服务构建的华为云会议，在技术、体验和业务形态上得到全面升级，已服务于50多家国家级/省市级政府单位的智慧政务、疫情防控和指挥调度，支持了5000+学校的在线教育和全球超过1万家医疗机构，并创新了云签约（支撑了2000亿签约金额）、云招聘（同人民日报提供了50万工作岗位）等新业态场景。协作创新 让客户、伙伴实现价值增值“向上捅破天，向下扎到根”是华为内部的名言，具体到RTC服务领域，薛浩这样总结：向上捅破天“就是要把行业的天花板抬升，扩大整个行业空间，“向下扎到根”就是要用算法、专利等核心技术支撑行业的天花板抬升。在薛浩看来，在RTC技术的演进和发展过程中，华为云扮演的角色是服务提供商，华为并不去服务全行业，而是将基础能力做到极致，不断降低技术门槛，让音视频产品更加好用，成本更低，质量更好，使得音视频能力变成华为云上黑土地，合作伙伴可以站在华为的肩膀上，获得来自技术和市场方面的直接助力，支持合作伙伴在行业场景中创新发展。

2020年这场肆虐全球的新冠疫情让很多企业刷新了自己对数字化的认识。正如 “大潮褪去，才知道谁在裸泳”，疫情来势汹汹之时，企业数字化水平高下立分。有的企业之前一直自豪于斥重资打造高科技会议室，但在员工纷纷居家隔离时才发现，会议室再高科技炫酷，人到不了现场也枉然，内部会议系统根本不支持外部远程接入。还有的企业自诩数字化转型十分成功，但是各种业务系统无法在外部登录使用，协同办公陷入停滞状态，所谓的数字化也只是“办公室里的数字化”罢了。与此同时，随着在线教育、远程医疗、视频会议的火爆，在企业纷纷自省未来数字化建设方向的当下，由于视频业务可以打破时空局限，提升办公效率，在疫情期间异军突起，也成为越来越多企业增加投入的重点方向之一。遗憾的是，成本高昂、延迟卡顿导致用户体验差、网络不稳定、安全存隐患这些因素影响了视频服务成长的速度。8月5日，在华为云TechWave音视频专题日上，华为云联接与协同业务总裁薛浩携华为云精心打造的实时音视频服务（Real-Time Communication）重装亮相。延续着华为公司一直以来的“技术流做派”，华为云的实时音视频服务不仅凭借技术手段一一击破发展桎梏，而且还将音视频的服务水准再提升到一个新高度。与常规较劲，华为云要做不一样的实时音视频服务华为云做实时音视频服务其实并不太令人意外。想想看，华为有海量的手机用户，PC平板产品，还有针对企业的专业智慧屏，在终端侧其实已经有了很大优势。而在网络传输环节，通信起家的华为多年的ICT技术底蕴更不必多说，据说已经拥有1186件音视频算法专利。到了系统环节，华为本身就在做操作系统和芯片，对于移动端的功耗和网络抖动，华为更是有很多专利和算法。但事实上，华为在做实时音视频服务时，面临的挑战还真不小，最大的原因就是华为要做的不是普通水准的音视频服务，而是要做突破性能极限，用技术让性能开发到极致的音视频服务。举个例子，在视频业界，画面延时3秒是再普通不过的事了，做得好的服务商可以将延时卡顿降低到200毫秒，而华为云一上来就和业界“常规”较劲，50毫秒的延时能不能做到？同样都是360P的流，华为云能不能体现出1080P的画质和效果？到了弱网环境，传统服务商提供的画面可能就卡顿了，华为云能不能流畅地将画面播出来？华为云联接与协同业务总裁薛浩透露，延迟和大流量并发是华为实时音视频服务面临的最大挑战。对于实时音视频服务而言，网络架构应该是一个去中心化的自适应网状结构，因为去中心化，所以边缘侧要更多更强。华为云在全球拥有2500多个CDN节点，这些节点的网络资源和算力资源都可以被看作是华为云在边缘的算力，也极大地降低了成本。最终华为云构建一个虚拟的网络中心和虚拟的边缘，业务开始转发时，这个云端节点就是中心，接收视频流时，这个节点就是边缘。灵活的网络架构再结合华为云在容器、IaaS、边缘算法、端侧SDK的能力，不仅保障了实时音视频服务可以拥有更低延迟，更低成本这些关键能力，还可以实现网络质量的灵活调度。例如，对于免费用户，华为云可以提供低成本的音视频服务，对于VIP用户，华为云就可以提供高质量的音视频服务，用户自由选择。全新互动实时音视频体验薛浩总结到，华为云打造的是基于视频流融合，统一的一张网，支持所有的场景业务。据了解，华为云实时音视频服务不仅可以实现播放观看、连麦互动、实时交互等业务场景天然互通，无缝流转，而且面对千人互动，亿级并发这样的高并发场景也毫不压力。那么凝聚了华为众多领域黑科技的华为云实时音视频究竟给用户带来什么样的体验呢？概括说，这是一次全新的互动实时音视频体验，2020年在社交娱乐、在线教育、云会议行业的用户，已经率先感受到了它的魅力。以在线教育场景为例，传统的教育场景就是老师通过视频授课，讲的内容有没有被学生理解，学生在讲课过程中有没有哪些疑问都无从得知。但是通过华为云实时音视频服务，在线教育机构可以实现视频教学过程中的双向互动，学生可以立刻“哪里不会点哪里”，老师也可以及时根据学生们的反馈调整教学重点。更重要的是，华为云让这样的双向端到端互动，时延远远小于200毫秒，实时操作的指令响应时长甚至小于30毫秒。对于用户们最为看重的视频质量，华为云音视频服务也足够令人惊喜。4K/8K超高清画面，不管是在运动的汽车、高铁，还是在隧道、地下室依然流畅不卡顿，不花屏。尤其值得一提的是，在弱网环境下，华为云实时音视频支持在50%视频抗丢包，80%音频抗丢包情况下，依然可以保持流畅的视频和通话。如果仅仅做到这一步，那怎么能叫做“追求极致”呢？华为云实时音视频服务还融入了AI媒体处理能力，可以实现美颜、降噪、背景虚化/替换，实时语音翻译和字幕，带来的绝对是让消费者们都忍不住尖叫的完美体验。更别提业界最高等级的安全能力，提供多重安全认证，5G+专线双平面高规格保障，全程媒体流加密技术，带来安全可靠的音视频服务。不忘初心，以开放心态推动行业进步当传统的CDN架构渐渐演变成主打边缘的去中心化网络架构，实时音视频服务的发展仍只是刚刚起步。对于华为云而言，目前解决的是在接入侧的问题，但端到端属性的音视频服务是一个长长的链条，5G只是解决了两端的接入，中间的骨干网络还需要重新适配，这是一个需要持续发展持续演进的过程，需要全行业的努力。薛浩强调，因为华为一直坚持“自己做的降落伞自己先跳”，所以在实时音视频服务不断成熟完善的过程中，华为云已经尝到了技术红利。如今华为云希望能够将自己积累的技术能力反馈给行业，用更低的成本，更低的技术门槛和更高的用户体验来推动行业进步。这个初心就使得华为选择提供开放的音视频服务，因为解决行业的问题仅仅依靠华为云自己的力量是不够的，要将音视频产业做大才是当务之急。华为云希望有更多行业的ISV、头部客户来使用华为云的能力，提升音视频业务的品质，从而赢得商业成功。

华为云会议研发小兵摘 要：270 个日夜，就是为了让沟通协作更高效。华为视频会议凭借高质量的产品与服务、合作共赢的良好生态，已连续六年蝉联中国市场份额第一。基于此功绩，华为云经过持续的研发投入，发扬华为视频会议的音视频技术，基于华为原生的公有云架构，隆重推送华为云会议，为客户提供更加智能的“全场景端云协同视频会议”解决方案，重新定义全场景智慧办公。华为云会议的故事：一路走过的270 个日夜与10ms 延迟9 个月以前，市场上频频吐槽云会议的音视频抗网损差，数据共享延迟大，清晰度也很差。要想解决这些问题，背后的技术其实非常复杂，工作量也很大，所以一直是各品牌云会议系统持续攻克的难题。为了攻关这些问题，华为云组建了媒体攻关团队，几个人窝在小会议室持续9 个月，每天白天调试，晚上看效果，然后重新讨论优化方向，第二天继续调。那段时间我们每个人目标都很明确，那就是要做到业界最好，大家的全部心思都在云会议上，每天基本都在想着如何一点点改进。当时，华为云会议攻关数据会议延迟已经从3s 优化到了延迟百毫秒级别，我们发现进一步优化达到业界最佳越来越难。经过反复的测试，我们终于找到了减少10ms 延迟的方案，但代价是需要修改整个客户端和服务端的架构，这个代价真的太大了，这涉及多个模块的适配，会增加3 倍的工作量，可当时我们已经找不到其他的优化方案了。但如果不改，10ms 的确会带来很大的体验差异。我们反复讨论后，最终下定决心，改！就是在这一个个10ms 的优化后，我们做到了数据清晰度优、延迟只有200ms，实现了第一阶段的目标。客户来公司看我们的优化成果，当听到客户对产品的认可时，我知道我们的决定没有错。 ▲研发人员测试华为云会议效果"我觉得还可以再优化一点”当业界主流的云会议厂商依然使用着占用CPU 较高的软编解码的时候，华为云会议已经通过专用的硬编解码，完成了视频编解码的性能优化，相对于大部分的云会议，华为云会议已经很高清很流畅了，但我总觉得，我们的云会议可以再优化一点。CPU 占用率是长期存在而又难以攻克的老问题了，因为涉及多个模块交互，每个模块展开都觉得不高，但整体看占用就很高了。如果单个优化点对CPU 降低不是很明显，多个优化点汇总在一起一定会有作用。我们梳理出所有可以优化的点，甚至包括一些较大的架构优化的东西，打破原来“它已经稳定了，优化效果不明显就别动了”这种思想，就算架构整改对性能提升只有1% 的作用，我们也会下决心去做。最后我们优化了30 几个点，全部优化后汇集在一起，最终有了最后30% 的性能提升。这次攻关也让我们总结思考以后要多问问自己“优化一点，是否可以再优化一点”，只有这样产品才会越来越好。 ▲重新讨论华为云会议的优化方向每月上新两三个技术点每一个技术点的突破，都能带来进一步的客户体验提升。华为云会议有一套自动化流水线，这保障了基本功能的稳定，但是很多竞争力技术点的研发周期是比较长的，于是我们进行集中攻关，保证了人员聚焦，效率较之前提升了很多，每个人专注在一个技术点上预研，产品化，然后通过集体测试，快速收敛问题。为了让客户更快的地使用到我们的产品，通宵开发、睡公司其实也是常有的事情，身边很多工程师都是这样的，大家都很踏实，都只是希望自己做的东西能尽快让客户使用并得到认可。我们希望可以发挥自己的一份力，将来可以很骄傲的地说：“华为云会议是我们做的。”现阶段的华为云会议我们的努力付出得到了丰厚的回报，在众多玩家之中，华为云会议以简单实用、稳定流畅、专业可靠的用户口碑脱颖而出，成为国家级高规格会议的首选平台。2020 年中国国际服贸会、中国- 东盟数字经济合作年开幕式、中非团结抗疫特别峰会等多场高规格的跨国会议，我们凭借优质稳定的云会议服务获得主办方朋友们的好评。疫情期间，华为云会议已服务于50 多家国家级/ 省市级政府单位的智慧政务、疫情防控和指挥调度，支持了5000+ 学校的在线教育和全球超过1 万家医疗机构，并创新了云签约、云展会（支撑了2000亿签约金额）等新业态场景。同时我们基于华为云RTC（实时音视频）服务进一步升级了用户体验，实现了会议和直播体验融合，可以万人互动。在RTC 技术的加持下，我们率先实现了1080p 高清视频，4K 超高清数据共享，并且是业界首家支持移动端720p 的云会议玩家；RTC 服务也在背后为云会议提供了很多黑科技，比如视频降噪、背景提亮、背景虚化、虚拟背景、人物美颜等，都让视频会议更清晰，不断给用户带来惊喜。50% 视频抗丢包，80% 音频抗丢包，超强的网络适应性，让会议在网络环境不佳时也能清晰稳定。今年我们将AI 技术融入会议，实时翻译让跨语言沟通不再是障碍、自动纪要让用户不再花大量时间去整理会议纪要、电子名牌让与会嘉宾信息一目了然、自动签到让会议考勤十分省心，这些AI 技术让大家聚焦核心时间在会议沟通上，让会议沟通更高效。华为云会议的未来发展未来，我们将会通过5G、云、AI 等技术加持，基于华为云RTC 服务持续做好最核心的音视频能力，提供极致的音视频体验；并使用AR、VR 技术，让会议突破地理、时间、虚实世界的界限，为客户提供体验更好、更逼真的会议互动体验。华为将在这个领域持续耕耘，并将会议能力通过API&SDK 方式开放给千行百业和合作伙伴，不断提升政府、教育、医疗、金融等行业的音视频解决方案的竞争力，营造良好的生态环境，引领行业前行。

蒋明|索贝泛媒体事业部副总今天很荣幸和大家分享一下我们公司对互动直播业务的一些理解和实践，索贝公司是一家专注于广电行业的音视频解决方案提供商。在我们服务的众多电视台客户中，我们看到他们以前的互动直播主要是电话通话，只有外场视频单向回传，或者完全没有视频连接，原因是电视画质好，传输要求高，时延比较大，一般都在两秒以上，达不到实时视频互动连接的要求。但是，今年的疫情对电视节目的制作产生了非常大的影响。所有的嘉宾甚至可能主持人都无法到达现场录制节目，电视台由此产生了大量的实时音视频互动直播需求。基于实时音视频服务RTC，索贝打造了多个互动直播产品，形成了面向新闻综艺教育等全场景互动直播解决方案，广泛服务于包括中央广播电视总台、湖南卫视、北京电视台、四川卫视在内的各级电视台，比如在中央广播电视总台。CGTN智库的节目中，针对全球蔓延的新冠疫情，节目组邀请了来自中国马来西亚阿尔及利亚挪威等国家相关人士共同就如何科学有效抗击疫情进行了直播连线探讨。再比如湖南、上海、浙江等综艺大台，因为无法进行线下的录制，存量现象级综艺节目告急，索贝的云综艺录制方案推出，应用在天天云时间，当打之年，云端喜剧之王等多个综艺节目中，已云连线、云分享、云答题，云美食、云工艺和云合唱等新媒体形式，打造多样化的三无综艺：无导演、无摄像、无演播厅。我们在与这些客户的沟通中发现，如果只是仅仅提供实时音视频服务的话，只是解决了实时互动的问题，相当于一个视频会议，画面单调，无法加载图文字幕，没有办法实现转场、多视窗、音效等多种节目效果，无法达到电视节目的要求，索贝的互动直播解决方案是以RTC为基础，叠加了图文字幕、转场、多视窗、抠像等包装能力，保证视频画面的精致和专业度，我们称之为在线包装互动直播。索贝互动直播，是端加云的结合。在采集端侧提供移动端PC端互动工具，也需要将专业摄像机的音视频信号同步推到RTC网络中，实现各个终端的共享，面向新媒体端，可通过云导播、云渲染服务，将各路视频流再次加工，以RTMP的方式分发给网站APP，各个直播平台，面向电视端，通过广电局专业的导播设备，实现和传统演播室大屏切换台播出设备的耦合，完成电视端的播出。索贝为互动直播提供从互动活动管理、直播切换到分发互动，端到端的解决方案，我们有专业的支持，苹果安卓手机的直播APP，有支持跨操作系统的web版本，PC直播工具，有面向新媒体的web云导播，还有面向广电专业机构的直播大屏监看、直播导控一体机，同时在云端还支持直播视频的录制，加工以及回看视频的发布。比较有特点的是导播方面，我们支持横屏、竖屏直播，以及全帧率4K直播，我们拥有20多种切换过滤特技，此外我们还支持本地音视频素材的播放，可设置延迟播出，拥有音频调音台进行调音，视频还可设置节目单方式播出，在流包装方面，我们支持对多路直播流进行合流包装，使用虚拟背景，以及在画面中植入互动动画。同时我们支持对直播流进行字幕包装，软件内置了20多种字幕模板，选择后，可直接使用，如果不需要使用模板，也可直接对字母进行简单编辑和快速修改。或者为字幕添加入屏出屏的特技。对于互动直播的发展，我们有几个观点：第一，我们认为对于在线包装，互动直播除了在电视领域外，在互联网视频直播中也会有非常大的应用前景，越来越多的互联网主播们对于直播的包装效果提出了更高的要求。第二，随着5G和RTC技术的发展，在线包装的系统会逐渐云化，云上系统将会慢慢替代线下硬件系统，客户将不再需要一次性投资，购买大量硬件，只是按需灵活的采购云服务，降低了进入门槛。第三，AI与互动直播结合，可以有非常多的应用场景，比如自动转场、AI面具、语音识别等。最后感谢华为云的支持，帮助我们在很短的时间内构建了以上解决方案，感谢华为云提供的这次分享机会，索贝愿和华为云携手打造更快更安全更稳定的互动直播系统。

如今智慧医疗引人关注，尤其伴随着5G 时代的到来，远程医疗实现了跨越式发展，推动远程技术和医学应用融合不断走向成熟。远程技术和医学应用的深度结合究竟会带来哪些变化？能为医疗行业解决什么实质性的问题？海南省妇女儿童医学中心是海南省首家三级甲等妇幼保健院，是全省妇女儿童医疗保健业务的指导中心，平时经常需多院区跨部门沟通交流。为了强化工作协同调度，提高跨院沟通效率，推进互联网+ 时代医联体建设，海南省妇女儿童医学中心启动了视频会议系统项目，此项目由华为云会议负责承建。在会议系统筹备时，海南省妇女儿童医学中心在众多云会议厂家中选择了华为。华为也第一时间成立方案组，快速响应，快速制定了会议接入方案，确保各院区顺利接入稳定运行。高清视频会议，助力多院区及合作医院远程交流海南省妇女儿童医学中心下设的保健院和儿童医院两个院区经常要开会做会诊，原视频设备效果并不理想，有的时候进行学术交流，讨论到关键时刻经常会卡顿没有声音，很影响进度，而且还不能进行资料共享，非常不方便。华为云会议超强的网络适应性，让视频会议在网络环境不佳时也能清晰稳定；啸叫自动检测闭音/ 回声和杂音消除，提供更清晰透亮的音频体验；还可以随时随地通过自己的PC 或者移动设备，借助普通的互联网或者手机共享的网络，召集各院区的学术专家加入高清视频会议进行现场问题讨论；医生经常需要共享查看患者的影像资料，这对材料共享的清晰度要求非常高，华为云会议4K 超清共享数据能力，可以在会议中高清共享各种病例资料等内容，极大提高病患诊断进度。 海南省妇女儿童医学中心**主任李超说：“我院借助华为云会议服务，直接通过院区现有的基础互联网，就可以让多个院区及合作医院地之间进行高清视频通信。随着各医院间沟通频率增加，院区内部降低了人工成本，提升了远程会诊效率。”告别高昂专线租用成本，一键入会方便高效海南省妇女儿童医学中心最开始使用的传统入驻式会议系统，每次会议都需要IT 人员提前一天测试并派专人保障，会议操控非常复杂，普通与会者花费大量的时间在学习使用上，效率低下，而且每年还需要花费高昂的专线费用，会议成本极高。使用华为云会议，会议无需IT 人员专门保障，操作简单，做到人人会用，通过互联网接入即可实现高质量视频会议，每年节省的专线费用还可以进行院区建设。 云视频团建，更多温暖的人文关怀，缓解医护人员的工作压力医生一个细小的疏忽就可能给患者带来不可挽回的伤害，所以医护人员长期处于精神紧张的工作环境下，压力是非常大的，海南省妇女儿童医学中心为缓解医护人员的工作压力，经常组织云视频团建，不仅可以帮助医护工作人员维持积极向上的情绪，也能跨地区传递温暖。在智慧医疗场景中，华为云会议的超低时延交互体验、高清音画等特点，让院前急救、互联网诊疗、远程手术等医疗场景有了更多的可能性，通过华为云会议连线上级医院或专家进行会诊多学科专家在多地通过视频会议会诊，会诊时可以共享病患影像资料；手术示教时，连线示教中心，通过手术推车上的高清视频会议观摩人员在示教中心通过大屏观看病房操作或手术过程等等。华为云会议已成为智慧医疗新模式数字化转型升级背后强大的驱动力，不仅如此，华为云会议针对数字政府、智慧教育、数字金融、交通/ 制造/ 建筑等各行业提供音视频会议解决方案，华为也期待与更多企业合作，在数字化经济发展中贡献自己的力量。 

 因为疫情，一时间让“云上视频沟通”变成了刚需。人们的聚集活动受到阻碍，无法像以前一样，随意地跨省市、跨地区、跨国家地进行各类商业活动。但是，如果不进行这些商业活动，国家经济、企业生存都会带来不利影响。这时，就体现出一个远程的视频沟通平台的重要性了，于是云上签约、云上招商、云上招聘、云上经济洽谈会等，以往这些线下的活动也都被挪到了云上，让这种跨地域间的沟通、商业活动得以正常的开展。 受到疫情影响，2020 年中国- 东盟数字经济合作年开幕式需要通过网络视频形式举行，此次会议涉及印度尼西亚、马来西亚、新加坡以及中国等十一个国家，各国领导人都会参与到此次会议中，会议规格很高，因此对远程会议的质量和稳定性要求非常高。作为中国- 东盟数字经济合作年的中方牵头单位，工业和信息化部在会议筹备时，经过对多家供应商的云会议系统做了多方慎重地考量，最终坚定地选择了华为作为唯一的方案提供商。华为云会议 高规格会议需跨越哪些障碍？其实组织这样的一场高规格的视频会议，远比我们想像当中复杂得多。这种会议往往对视频会议系统的音视频能力要求更高。首先，视频画面需要尽可能的高清；其次，需要专业人员设计组网方案，以保障视频会议的稳定流畅，当涉及多个国家参与，还需要和当地相关部门沟通协调；会中还需要对各种突发事件进行紧急处理等等。那么，究竟是什么原因让这些重要会议的主办方在众多云会议厂家中选择了华为呢？专业会议保障组，从“0”到“1”帮你完成当接到中国- 东盟数字经济合作年开幕式的任务时，华为在第一时间响应，成立保障组，并快速对此次东盟十国会议做出组网方案，关于涉及多国家参会的视频会议网络问题，华为云会议保障组会和当地相关部门沟通协调，保障网络良好。也就是说，“所有你能想到的和你想不到的”会前琐碎事情，华为云会议的保障组都会帮你搞定。会前、会中防止一切隐患于未然华为作为众多大型会议的技术支持单位，有着丰富的重大会议保障经验。华为云会议不会只准备一个组网方案，还会准备多种备选方案，避免会议出现问题或者出现问题后预备应对措施。同时，构建主备双平面进行保障，确保在主平面发生故障的情况下，可以立即切换到备用平面进行会议，做到无缝衔接。经过一个多月的努力，保障了本次会议的顺利召开。20+年技术积累，造就专业级视频会议能最直观感受到视频会议高质量与否的因素就是视频画面的清晰度和稳定性了。本次云上会议通过华为TE 系列终端以及华为CloudLinkBOX 的接入，在节省50% 带宽的基础上，可以提供1080p 的高清视频。H.265 4K 视频编解码处理技术，可以获得4 倍于1080p 的分辨率，在更大的屏幕上呈现更精细的图像。从而使得通过远程协作的方式完成精密设计、远程医疗等成为可能。H.265结合华为专利活动视频增强技术（VME），在传统的1080p 带宽下即可获得4K 的视频效果和体验。同时，业界领先的OPUS 音频编解码技术，让华为云会议拥有比其他产品更超强大的网络适应性，实现端到端时延<200ms，让数据共享、远程控制实时流畅。会议结束后，华为云会议高清的视频画面、强大的网络适应性、稳定的音视频质量得到了东盟各国代表的认可。国际化高规格会议安全保障小型视频会议一般主要追求性价比，像这种高规格会议就属于安全敏感型了，如果在会议中出现恶意画面中断会议，或者在视频会议被全程被窃听的话，是非常危险的。华为云会议遵循于华为公司安全可信合规的要求，防暴力破解，拦截网络入侵，防窃听，从云端防护、管道传输安全、端侧接入等方面都构筑了全方位的安全可靠能力，保障会议的安全性。通过本次线上活动，不仅推动中国与东盟在数字经济领域的合作行稳致远，而且还向世界展示中国通讯技术的强大实力与企业风采。华为云会议在音视频领域有超过20 年的技术积累，是基于华为公有云构架的多方视频会议服务平台，提供PC、移动、智能协同大屏、大中小型会议室全系列会议硬终端，可以满足未来会议的多场景接入需求。截至目前，华为云会议在2020 年就已经支持此类高规格会议500 多场，不仅如此，华为云会议也针对远程医疗、数字政府、智慧教育、金融行业等各行业提供了多种高质量音视频会议解决方案，华为也期待与更多企业合作，帮助各行各业实现高效沟通协作。

视频会议领域 全球专利申请1900+ 件，520+ 获得授权 海外专利申请800+ 件，390+ 获得授权软硬结合，业界首家实现移动端720P云会议移动端云会议编解码对于CPU占用率过高是长期存在而又难以攻克的行业难题。因为视频编解码涉及多个模块交互，虽然每个模块展开都觉得不高，但整体来看就会发现CPU已经不堪重负。业界主流的云会议厂商在移动平台依然使用着占用CPU较高的软编解码的时候，华为云会议已经通过专用的芯片硬编解码，完成了视频编解码的性能优化，华为也成为业界首家达到移动端视频会议720P清晰度的企业。而在未来，华为云会议还将会推出能够适配华为手机，在移动端达到1080P清晰度解码，让手机也能像专业视频会议终端一样，享受高清视频会议。超清稳定流畅，音视频编解码技术业界领先华为云会议采用业界领先的OPUS音频编解码技术，可以适应超低带宽，实现80%超强抗丢包，即使在极限网络环境下仍然能听清语义，保持会议沟通的延续。华为云会议还提供啸叫自动检测功能，可以在发生啸叫的瞬间检测到啸叫，并自动将发生啸叫的终端静音，减少会场中刺耳啸叫带来的不良体验。另外对于回声和杂音消除的能力，可以通过专业的音频处理技术，在会议周边环境嘈杂，或者使用电脑自带音频设备拾音带来较大环境噪声时，让传输的音频更干净，提供更清晰透亮的音频体验。