1、生成文件结果图2、代码实现图（C#语言）在使用华为IPC SDK 进行保存实况数据( IVS_PU_SaveRealData)生成视频文件时的问题，文件夹中生成的是一堆无法播放的mp4 文件如：1、生成文件结果图图。实现代码如上：2、代码实现图。现在我想请教 应该如何设置将实况数据保存生成到一个视频文件（mp4）中并且能播放? 

【问题来源】【必填】北京【问题简要】【必填】您好，我们在申请会场资源，启动会场录音时，申请会场资源失败，想定位一下失败原因；目前trace日志报错截图如下，麻烦分析一下，需要查看什么日志或其他文件请告知。【问题类别】【必填】【AICC IVR】【AICC解决方案版本】【必填】【AICC可选择版本：AICC 8.13.0 CC-CMS】【期望解决时间】【选填】尽快【问题现象描述】【必填】在申请会场资源，启动会场录音时，申请会场资源失败，请帮忙定位一下失败原因；【截图信息】

 下面是 方法void onEvtLoginFailed(int userId, TsdkServiceAccountType serviceAccountType, TsdkLoginFailedInfo loginFailedInfo);中TsdkLoginFailedInfo的信息。TsdkLoginFailedInfo{reasonCode=50331748, reasonDescription='[TSDK_E_CALL_ERR_REASON_CODE_PAYMENTREQUIRED]:Indicates 402 payment required', lockInterval=0, residualRetryTimes=0}出现的场景是有多个账号，在华为的HW CouldLink登录了一个，我的二开软件登录另一个账号就报这个错误

A river of misty water shines in the clear haze, and people on both sides of the river connect the painted eaves to protect the lotus cluster from a period of light in autumn

视洞U30家用摄像头原来注册的手机号不用了，如何解绑旧手机号（旧手机号无法使用）？

直播介绍嘉宾简介徐毅 华为云DTSE技术布道师程泽 华为云DTSE技术布道师覃元元 华为云PaaS DTSE技术布道师许炳尘 华为云PaaS DTSE技术布道师董鑫武 华为云PaaS DTSE技术布道师金云飞 华为云媒体 DTSE技术布道师刘坤鹏 华为云EI DTSE技术布道师杜奇 华为云EI DTSE技术布道师直播简介《DTSE Tech Talk》直播2022年度收官盛典火热来袭，华为云大咖专家团云上齐聚，畅谈华为云黑科技，共话2023年度内容新方向，助力开发者云上成长！参与直播互动，更有华为Freelace Pro无线耳机等好礼享不停~直播链接cid:link_1直播时间2022年12月28日 15:00-17:30直播福利活动时间：即日起——2022年12月28日活动介绍：在本论坛帖提出对《DTSE Tech Talk》直播的建议或明年期望讲解的课程主题，评论热度TOP5（评论点赞量≥10起评）送华为定制T恤。参与更多活动赢华为Freelace Pro无线耳机、几米智能床头灯等好礼！请戳》》【注意事项】1、为保证您顺利领取活动奖品，请您在活动公示奖项后1个工作日内提前填写问卷反馈奖品收货信息，如您没有填写，视为自动放弃奖励。2、活动奖项公示时间截止2022年12月29日，如未填写视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出，如遇节假日或疫情原因即往后延期，请您耐心等待。3、活动期间同类子活动每个ID（同一姓名/电话/收货地址）只能获奖一次，若重复则中奖资格顺延至下一位合格开发者，仅一次顺延。4、如活动奖品出现没有库存的情况，华为云工作人员将会替换等价值的奖品，获奖者不同意此规则视为放弃奖品。5、其他事宜请参考【华为云社区常规活动规则】。

 文章内容：如何在YOLOX官网代码中修改–置信度预测损失  环境：pytorch1.8  损失函数修改内容：  （1）置信度预测损失更换：二元交叉熵损失替换为FocalLoss或者VariFocalLoss  （2）定位损失更换：IOU损失替换为GIOU、CIOU、EIOU以及a-IOU系列  提示：使用之前可以先了解YOLOX及上述损失函数原理  参考链接：  YOLOX官网链接：https://github.com/Megvii-BaseDetection/YOLOX  YOLOX原理解析（Bubbliiiing大佬版）：https://blog.csdn.net/weixin_44791964/article/details/120476949  FocalLoss损失解析：https://cyqhn.blog.csdn.net/article/details/87343004  VariFocalLoss损失解析：https://blog.csdn.net/weixin_42096202/article/details/108567189  GIOU、CIOU、EIOU等：https://blog.csdn.net/neil3611244/article/details/113794197  a-IOU：https://blog.csdn.net/wjytbest/article/details/121513560  使用方法：直接替换即可  代码修改过程：  1、置信度预测损失更换之FocalLoss（不需要创建新的py文件）  使用：直接在YOLOX-main/yolox/models/yolo_head.py的YOLOXHead类中创建focal_loss方法  （1）首先找到置信度预测损失计算位置loss_obj，并进行替换（位置在386-405行左右）  # loss_iou:定位损失；loss_obj：置信度预测损失；loss_cls：预测损失         loss_iou = (             self.iou_loss(bbox_preds.view(-1, 4)[fg_masks], reg_targets)         ).sum() / num_fg         #loss_obj = (           #    self.bcewithlog_loss(obj_preds.view(-1, 1), obj_targets)         #).sum() / num_fg         loss_obj = (             self.focal_loss(obj_preds.sigmoid().view(-1, 1), obj_targets)         ).sum() / num_fg         loss_cls = (             self.bcewithlog_loss(                 cls_preds.view(-1, self.num_classes)[fg_masks], cls_targets             )         ).sum() / num_fg （2）创建focal_loss方法，放到def get_l1_target（…）之前即可，代码如下：  def focal_loss(self, pred, gt):         pos_inds = gt.eq(1).float()         neg_inds = gt.eq(0).float()         pos_loss = torch.log(pred+1e-5) * torch.pow(1 - pred, 2) * pos_inds * 0.75         neg_loss = torch.log(1 - pred+1e-5) * torch.pow(pred, 2) * neg_inds * 0.25         loss = -(pos_loss + neg_loss)         return loss 2、置信度预测损失更换之VariFocalLoss（代码较多，所以额外创建新的py文件）  步骤一：YOLOX-main/yolox/models文件夹下创建varifocalloss.py文件，内容如下：  import torch.nn as nn import torch.nn.functional as F   def reduce_loss(loss, reduction):     """Reduce loss as specified.     Args:         loss (Tensor): Elementwise loss tensor.         reduction (str): Options are "none", "mean" and "sum".     Return:         Tensor: Reduced loss tensor.     """     reduction_enum = F._Reduction.get_enum(reduction)     # none: 0, elementwise_mean:1, sum: 2     if reduction_enum == 0:         return loss     elif reduction_enum == 1:         return loss.mean()     elif reduction_enum == 2:         return loss.sum()          def weight_reduce_loss(loss, weight=None, reduction='mean', avg_factor=None):     """Apply element-wise weight and reduce loss.     Args:         loss (Tensor): Element-wise loss.         weight (Tensor): Element-wise weights.         reduction (str): Same as built-in losses of PyTorch.         avg_factor (float): Avarage factor when computing the mean of losses.     Returns:         Tensor: Processed loss values.     """     # if weight is specified, apply element-wise weight     if weight is not None:         loss = loss * weight      # if avg_factor is not specified, just reduce the loss     if avg_factor is None:         loss = reduce_loss(loss, reduction)     else:         # if reduction is mean, then average the loss by avg_factor         if reduction == 'mean':             loss = loss.sum() / avg_factor         # if reduction is 'none', then do nothing, otherwise raise an error         elif reduction != 'none':             raise ValueError('avg_factor can not be used with reduction="sum"')     return loss  def varifocal_loss(pred,                    target,                    weight=None,                    alpha=0.75,                    gamma=2.0,                    iou_weighted=True,                    reduction='mean',                    avg_factor=None):     """`Varifocal Loss `_     Args:         pred (torch.Tensor): The prediction with shape (N, C), C is the             number of classes         target (torch.Tensor): The learning target of the iou-aware             classification score with shape (N, C), C is the number of classes.         weight (torch.Tensor, optional): The weight of loss for each             prediction. Defaults to None.         alpha (float, optional): A balance factor for the negative part of             Varifocal Loss, which is different from the alpha of Focal Loss.             Defaults to 0.75.         gamma (float, optional): The gamma for calculating the modulating             factor. Defaults to 2.0.         iou_weighted (bool, optional): Whether to weight the loss of the             positive example with the iou target. Defaults to True.         reduction (str, optional): The method used to reduce the loss into             a scalar. Defaults to 'mean'. Options are "none", "mean" and             "sum".         avg_factor (int, optional): Average factor that is used to average             the loss. Defaults to None.     """     # pred and target should be of the same size     assert pred.size() == target.size()     pred_sigmoid = pred.sigmoid()     target = target.type_as(pred)     if iou_weighted:         focal_weight = target * (target > 0.0).float() + \             alpha * (pred_sigmoid - target).abs().pow(gamma) * \             (target <= 0.0).float()     else:         focal_weight = (target > 0.0).float() + \             alpha * (pred_sigmoid - target).abs().pow(gamma) * \             (target <= 0.0).float()     loss = F.binary_cross_entropy_with_logits(         pred, target, reduction='none') * focal_weight     loss = weight_reduce_loss(loss, weight, reduction, avg_factor)     return loss     class VarifocalLoss(nn.Module):       def __init__(self,                  use_sigmoid=True,                  alpha=0.75,                  gamma=2.0,                  iou_weighted=True,                  reduction='mean',                  loss_weight=1.0):         """`Varifocal Loss `_         Args:             use_sigmoid (bool, optional): Whether the prediction is                 used for sigmoid or softmax. Defaults to True.             alpha (float, optional): A balance factor for the negative part of                 Varifocal Loss, which is different from the alpha of Focal                 Loss. Defaults to 0.75.             gamma (float, optional): The gamma for calculating the modulating                 factor. Defaults to 2.0.             iou_weighted (bool, optional): Whether to weight the loss of the                 positive examples with the iou target. Defaults to True.             reduction (str, optional): The method used to reduce the loss into                 a scalar. Defaults to 'mean'. Options are "none", "mean" and                 "sum".             loss_weight (float, optional): Weight of loss. Defaults to 1.0.         """         super(VarifocalLoss, self).__init__()         assert use_sigmoid is True, \             'Only sigmoid varifocal loss supported now.'         assert alpha >= 0.0         self.use_sigmoid = use_sigmoid         self.alpha = alpha         self.gamma = gamma         self.iou_weighted = iou_weighted         self.reduction = reduction         self.loss_weight = loss_weight       def forward(self,                 pred,                 target,                 weight=None,                 avg_factor=None,                 reduction_override=None):         """Forward function.         Args:             pred (torch.Tensor): The prediction.             target (torch.Tensor): The learning target of the prediction.             weight (torch.Tensor, optional): The weight of loss for each                 prediction. Defaults to None.             avg_factor (int, optional): Average factor that is used to average                 the loss. Defaults to None.             reduction_override (str, optional): The reduction method used to                 override the original reduction method of the loss.                 Options are "none", "mean" and "sum".         Returns:             torch.Tensor: The calculated loss         """         assert reduction_override in (None, 'none', 'mean', 'sum')         reduction = (             reduction_override if reduction_override else self.reduction)         if self.use_sigmoid:             loss_cls = self.loss_weight * varifocal_loss(                 pred,                 target,                 weight,                 alpha=self.alpha,                 gamma=self.gamma,                 iou_weighted=self.iou_weighted,                 reduction=reduction,                 avg_factor=avg_factor)         else:             raise NotImplementedError         return loss_cls 步骤二：在YOLOX-main/yolox/models/yolo_head.py中调用VarifocalLoss  （1）导入  from .varifocalloss import VarifocalLoss （2）在init中实例化  self.varifocal = VarifocalLoss(reduction='none') （3）替换原有的置信度预测损失loss_obj  # loss_iou:定位损失；loss_obj：置信度预测损失；loss_cls：预测损失         loss_iou = (             self.iou_loss(bbox_preds.view(-1, 4)[fg_masks], reg_targets)         ).sum() / num_fg         #loss_obj = (           #    self.bcewithlog_loss(obj_preds.view(-1, 1), obj_targets)         #).sum() / num_fg         loss_obj = (self.varifocal(obj_preds.view(-1, 1), obj_targets)         ).sum() / num_fg         loss_cls = (             self.bcewithlog_loss(                 cls_preds.view(-1, self.num_classes)[fg_masks], cls_targets)         ).sum() / num_fg 效果：根据个人数据集而定。FocalLoss与VariFocalLoss在我的数据集上均能提升，模型越大效果越明显。（但是在yolox-tiny上FocalLoss效果AP50会低于原来）  以上代码链接： 链接：https://pan.baidu.com/s/1ee1sQ9Eulz_mUdHTOnBe7w 提取码：8v8r ———————————————— 版权声明：本文为CSDN博主「你的陈某某」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/weixin_45679938/article/details/122343945 

华为云实时音视频应用开发大赛正在如火如荼的进行！受大赛影响，更多开发者关注起了音视频行业和华为云SparkRTC产品。音视频行业发展前景如何？华为云的SparkRTC能为企业带来哪些好处？还有参加华为云实时音视频应用开发大赛可以享有哪些权益？…… 专业的问题要请专业的人来回答！本届大赛的首次直播，我们重磅邀请到了华为云SparkRTC产品研发负责人前来做客，看SparkRTC背后的男人能否为你指点迷津…… 华为云实时音视频应用开发大赛 首场直播>>>SparkRTC特性及应用改革<<< 直播时间：2022年3月15日 19:00嘉宾介绍：巴拉巴拉 SparkRTC研发负责人华为云研发老鸟，资深码农，在代码架构设计优化、架构解耦和微服务等方向都有很深的经验积累，目前主要负责华为云实时音视频产品的研发统筹工作。内容简介： SparkRTC产品核心竞争力介绍SparkRTC中长期演进规划大赛整体规则及权益介绍 报名方式：↓↓扫描下图海报二维码↓↓预约本场直播！

后疫情时代，视频云发展机遇与挑战并存疫情让几乎所有行业意识到视频服务的基础性与必要性，视频云“一夜爆红”，视频云服务加速被接纳，促使视频云的产品和能力快速更新。而到目前为止，视频被运用到各个行业，华为云视频云总监陆振宇认为，视频服务的发展总结起来有三大挑战。第一个挑战是“贵”：不仅是资源贵，音视频的开发人员也很贵；第二个挑战是“卡”：视频的“卡”，是一个代表词，可能还有黑屏、绿屏，以及各种体验问题；第3个挑战是“不够炫”，这也是一个美学概念，人们对美或对希望看到的视频内容的创新和演进的体验升级，有很高的诉求。如果仅靠单一的技术供应商，无法跟上这些诉求。 抽丝剥茧，视频云五彩斑斓的业务形态与相对稳态的底层逻辑面对行业三大挑战，华为云视频云服务，在试图找办法去解决。华为云在最开始就坚定拥抱了云原生。希望通过云原生的视频能力，使能客户和合作伙伴，解决视频业务从“On Cloud”走向“In Cloud”的问题，同时打破原有的视频生产、传输上的桎梏。基于云原生的方法和理念，华为云视频云试图找到结构性降低成本；系统性改善音视频业务体验，以及能够用好云的生态来做体验和创新的快速演进和迭代，希望由此来解决行业的三大痛点，最终重塑视频体验，激发行业创新。 千里之行始于足下，华为云视频云所覆盖的行业主要包括广电媒体、互联网视频、通信视频和行业视频。这四个行业业务形态各不相同：从内容制作上看，包括了广电媒体的专业内容制作、互联网视频的用户产生的内容、通信视频领域的交互式的实时音视频以及行业视频领域的基于机器视觉的视频输入；在分发环节，包括了广电媒体和互联网视频领域的自上而下的视频分发、通信视频领域的双向实时音视频分发和行业视频领域的自下而上的机器视觉视频信号传输，最终实现在不同行业的不同终端上播出。虽然业务形态各异，但因为都是基于音视频技术，因此在视频内容生产效率、分发成本上都有类似的诉求。 深挖源动力，视频产业上云的三大驱动力 以前，视频上云主要集中在分发领域，现在很多内容制作领域的合作伙伴，也在积极地探索内容生产制作上云。视频上云成为趋势的第一个原因，就是云ICT基础设施，能够帮助视频体验不断提升，从而推动视频产业的发展。在广电媒体领域，一部顶级综艺节目制作，有上百个机位，每个机位采用100M到200M码率，节目素材是几个PB级别；而头部电影的制作，同样也需要数个PB的素材存储能力，以及数千台服务器的渲染能力。在互联网视频领域，以直播为例，2020年上半年就消耗了几个PB的CDN流量，这也是互联网视频上云时间更早的原因；疫情极大加速了通信视频行业的发展，2020年在云上转发的实时音视频分发数有望超过1000亿分钟/月，产生约700EB/月的实时音视频流量；而行业视频领域也会迎来更大的发展，2021年将有500万摄像头接入到云上，每天将产生百EB级别的视频数据和上行流量。面向未来，随着4K、XR等业务的持续发展，视频类业务对算力、存储、带宽的消耗将呈指数级上升趋势，这些都是驱使视频业务上云的最直接原因。另外，几个视频行业痛点，也会进一步推动视频业务由On Cloud走向In Cloud。视频内容制作领域，目前全国有超过100万家视频内容制作公司，大部分公司体量不大，有好的内容创意，可以制作出与众不同的内容，但随着视频制作技术的发展，比如制作4K、8K的超高清内容，制作更加精细和真实的特效……这些公司会面临IT基础设施投入和建设的瓶颈。从内容生产流程来看，之前是线下完成内容制作后，成片渲染才会需要消耗IT基础设施；但现在视频制作过程，越来越趋向于在拍摄时进行虚拟内容的制作和渲染，驱使整个视频制作链条，对IT基础设施的消耗不仅提前而且贯穿始终。从分工来看，内容的云原生有利于内容的分布式生产制作，特别是长期持续的疫情之下，让跨国、跨区域的内容制作成为可能。视频上云将成为趋势，数据创建和存储的位置也会由端向云和边转移。预计到2025年，网络流量中90%将是音视频数据；而数据创建的位置中心+边缘将达到50%；而数据存储的位置中心+边缘将达到70%。视频的制作、处理、传输在云上将成为新常态。 勇立潮头，云原生的华为云视频云服务，重塑体验，激发创新华为云视频云服务基于华为的基础设施和基础服务，分为两层：最上面的是跨行业跨内容的生产、制作、分发全流程的各类视频云服务。另外，视频云服务依托于一张统一的媒体网络，这张媒体网络实现了5G的云网协同，确保视频内容快速传输上云；采用统一的网络架构，实现下行为主的直播、点播类业务、双向的实时音视频类业务、和上行为主的行业视频类业务，都能实现云资源的复用，从而实现成本的最优化；这张网络也提供了分布式的媒体处理框架，将视频AI等能力按需下沉到不同网络位置，保障处理的实时性。并且，整个媒体网络是统一架构，而不是一个个孤岛，能实现最高效的资源复用和最低的传输成本。 以体验为本，科技为源，锻造华为云视频云服务四大核心价值云原生的华为云视频云服务的核心价值概括起来有四点：生产效率提升：视频云服务和网络实现云网协同，无论在专线还是5G网络环境下均可实现视频的超级上行，满足视频内容快速上云的需求。同时视频云的基础设施进行针对性优化，实现线上、线下协同的内容生产制作，极大提升视频生产效率。网络高效分发：采用统一架构，无论下行为主的直播点播业务、双向的实时音视频业务和上行为主的行业视频类业务，均采用统一架构的网络，实现云基础设施的共享和复用，最优化视频传输的成本，保障体验的一致性。支持分布式的媒体处理，从实时视频AI开始，将视频AI能力按需下沉到边缘，实现实时AI处理能力，增强用户体验。业务持续创新：视频服务以原子+分子能力形态，灵活组合，随需调用，改变视频应用创新方式，帮助合作伙伴实现业务创新。覆盖视频生产、处理、分发、消费的视频能力，和视频AI的深度集成，实现云端视频的智能化生产、处理、分析。同时提供了面向未来的XR云服务能力。重塑视频体验：基于灵活的视频云服务组合，使能客户实现了各种视频业务的体验创新，并实现了商业应用。四大核心价值点，具体是如何实现的？ 视频在云上的生产制作首先面对的就是视频内容传输上云的问题，华为云通过两大关键技术解决视频上云问题。对于5G网络的视频内容上传，华为云基于云网协同，通过5G网络的全时隙调度、时隙配比的优化、空口保障等各种关键技术，实现单用户数百M和总体几个G的超级上行速率。其次对于基于物理专线的视频内容上传，华为云也提供了视频内容的超级上行能力，可以达到4GB的上行速度，打破视频传输上云的瓶颈。视频传输上云后，华为对对象存储和底层文件系统进行的优化，以适配专业媒体领域的视频制作。经实测，云转码的效率提升10倍、支持16轨的非线编并行处理、合片速度提升3倍并实现了7轨并发合成。这样整个内容制作过程的效率得到提升，极大缩短了内容制作的周期。其次，在内容制作方面，华为云提供了超高清制播云，帮助客户实现4K内容的高效生产。制播云包括了云导播、云媒资和云编辑三大核心能力，服务于大型活动制播、组合画面制播、事件新闻制播、网红个人直播等各种场景。视频拍摄现场可采用摄像机、手机、5G背包等不同的拍摄方式，通过专线+5G网络上传到云端，传输过程可采用H.264/H.265编码、RTMP/SRT传输、支持1080P/4K超高清视频内容，云导播支持视频切换、调音混音、图文包装等丰富的能力。直播信号通过云导播后，可以录制到云媒体中进行统一管理，并通过云编辑实现了更加丰富的剪辑、AI处理、特效、图文包装等能力。总之，在视频内容生产端，一方面华为云基础设施支持了视频内容的超级上行，并让现有的视频制作工具在云上运行时，比线下运行时效率提升了数倍；另一方面，华为云也提供了强大的制播云服务能力，让各类视频业务场景上云。关于实现网络高效分发，整个视频产业现状是不同的视频业务，都有一个媒体网络支撑，而这些媒体网络都是互相割裂的，呈烟囱式的孤岛状态，他们之间的资源无法充分复用，比如在线教育领域，背后依托的是RTC传输网络，互联网视频的直播、点播，依托的是CDN直播网络，行业视频依托的是连接几百万台摄像机在云上进行视频处理的网络，这几个网络之前都是互相割裂的。华为云视频云从提供视频服务之初，就希望整个连接千行百业的媒体网络是统一架构和资源可复用。这不仅是一个技术架构统一，也包括资源架构的统一。资源架构的统一意味着这个网络虽然服务于千行百业，但它用到的基础设施、网络资源都是可以在不同的行业进行复用的，实现高效传输和优化成本。其次，视频能力需要分布在媒体网络的不同位置。例如视频AI的能力，终端侧呈现的美颜和各种特效，目前都是在终端侧处理。受限于终端的能力，特效不够逼真；而如果将端侧特效上移到云端，虽然理论上特效的丰富性和逼真程度会大大增加，但会带来更多的时延问题，影响用户体验。华为RTC提供了实时媒体AI的能力，通过开放式的函数运行框架，让这些视频AI的能力灵活的按需部署到媒体网络的不同位置。这套架构中，华为元戎函数计算平台让算法以函数容器的方式进行传输，并通过华为云IEF边缘云服务在网络边缘为用户就近提供服务。这套架构也是开放式的，兼容了华为云EI平台提供的AI算法，也支持接入第三方的AI算法能力。通过这套架构，让媒体AI能力按需就近部署，既充分利用了云强大的基础设施，实现了更高效和逼真的视频AI，又就近部署到了靠近用户的网络边缘，兼顾了用户体验时延问题。另外，整个媒体网络是去中心化的，网络内视频的路由均取决于用户体验和传输成本，通过智能调度进行优化选择，具体而言有四点：第一，所有服务在边缘站点实现资源的共享，最大化复用带宽成本，实现所有业务成本最优。第二，所有网络数据均汇聚到大数据平台，智能调度通过分析这些实时数据选择最优路径，确保最短的路径转发，实现体验最优和时延最低。第三，长距离传输引入ADN，保障长距离传输时的体验。最后，视频AI等能力按需部署到不同网络位置，减少回源到中心处理的流量，降低传输成本。总之，华为媒体网络基于统一架构，通过智能调度动态计算最优路径，通过融合型边缘站点实现资源复用，保障视频体验的同时实现了最优的成本。关于业务持续创新，华为云视频云分了两层，一层是原子服务层，没有任何业务逻辑，就是我们的媒体服务能力。第二层是对外开放的分子服务层，这些分子服务能力都是跨行业使用的，一方面分子服务能力跨越了视频的生产、处理和分发的不同环节，另一方面分子服务能力支持不同行业的使用。不同行业在做业务创新时，可以灵活选用这些分子服务能力进进行组合，希望通过分子服务的组合，让行业持续创新。过去两年，华为云视频云服务，做了很多创新，如分子服务的灵活组合、云制播、超级上行、媒体处理、视频AI等能力。与合作伙伴一起探索在云上做4K视频的这个制作；通过5G背包加5G的上行，实现赛事云直播，我们把整个赛事的直播，直接通过5G的方式传输到云上，然后进行直播的分发，减少本地云导播成本的消耗；在在线教育领域，我们跟合作伙伴做了子母课堂，基于低时延的RTC直播服务，在千人课堂上也能分组，让大课堂用户享受小班课的体验，有效的提升了用户up值；现在也和一些机构探索，包括8K的VR视频，自由视角的直播服务，希望把视频云的服务组合，应用到演唱会、赛事直播等场景。我们也会探索，将自由视角、VR视频等能力，由专业级变成普惠级，运用到短视频或网红直播领域，让更多的行业和用户都能够享受到这些能力，实现产业升级。 未来可期，云原生的华为云视频云服务，助力千行百业创新升级华为云视频云坚持技术普惠理念，打造面向全行业共享的媒体服务，打造视频云业务的黑土地。我们也希望大家一起来推进技术的普及，携手降低技术门槛，提高性价比，建立共同的标准，规范化发展，让实时音视频成为5G时代的基础服务，使能千行百业创新，让行业拥有五彩斑斓的变化，畅享数字化技术带来的便利。

随着视频业务不断升级，用户对体验的要求越来越高，比如要互动性更强、玩法更多样，体验更酷炫等。另外，直播业务、RTC业务，内容同质化比较严重，内容创造、用户体验也都遇到了天花板，这些都需要一些技术去打破它。我们跟斗鱼长期碰撞，共同探索后，得到一个命题：通过媒体AI去做这个事情。刚才斗鱼肖总的视频里面也提到了很多直播特效，包括像美颜、美型、虚拟主播、背景替换等，同时我们面向在线教育的场景，也会有一些像课堂评测的能力，都是基于媒体AI去做的。构建媒体AI目前面临的三大痛点当前，媒体AI的构建有几大痛点：终端：类型多、算力弱。目前很多的媒体AI能力都是在终端实现的，虽然终端的算力在不断提升，但像一些高复杂度的特效是做不了的，比如虚拟人物。背景替换当前的效果也很一般，你能看出一个明显的轮廓，当然更不要说实现对标电影级特效的背景替换了。云端：实时互动弱、成本高。现在很多在云端去做的视频AI，一般都是偏向于离线的业务，它对互动体验的满足性相对比较低。在直播实时互动的时代，这是无法满足需求的。而且因为音视频数据在边缘和云端源站相互传输，引入较高的带宽成本。创新门槛高、生态封闭。现在AI的能力，各厂家都是独立开发，各玩各的，生态相对是比较封闭的。我们希望基于云原生，和伙伴一起构建一个边云协同的实时媒体AI的能力，去解决上述痛点，加速视频业务创新。 实时媒体AI的定义及核心价值我们给实时媒体AI做了一个定义，基于华为云原生的边缘、计算、容器、存储、网络等服务能力，构建丰富的实时媒体AI处理能力，同时联同伙伴打造生态开放的AI算法市场，加速视频业务创新，为客户提供差异化竞争力，为用户提供更优质的体验。先举个简单的例子，我们把当前直播和RTC里端侧做的一些特效，通过边缘云的方式来实现，加入更多更酷炫的特效，比如效果更好的背景替换，提升互动性的AR卡通、虚拟人物等等。当前，实时媒体AI还处在一个探索推进的状态中，我们希望其能实现如下4个核心价值：玩法更多。以后直播和RTC业务有更多的AI能力可以用，可以组合，来实现更多更酷炫的创新玩法；体验更优。有了这些创新玩法后，用户对实时互动的体验要求是比较高的，我们希望实现“延迟无感”的体验，与本地使用高端机是同样的体验效果。还有一点针对算法开发者来说的，可以基于云的平台，更快地发布、更快地开发，更快地去体验验证。成本更低。目前大部分媒体AI的能力是基于端侧实现的，因为一提到云侧，就会想到GPU、各种硬件平台的成本会比较高，但我们希望能把这块的成本降下来。这里包括两个部分，一是用华为云统一的软硬件资源，提高资源的复用率，降低每一路资源成本，二是基于云上统一平台，一键更新，无需适配多种终端，来降低算法开发和APP更新的成本。生态开放。我们希望构建一个开放的AI算法生态市场，避免各家闭门造车、各玩各的的状态，希望能通过AI算法的互通共享，来降低算法开发门槛。这些核心价值的实现，都是基于云原生，下面将从实时媒体AI的云原生架构、实时处理框架、算法开放几个方面详细介绍一下如何通过云原生实现核心价值的。实时媒体AI云原生架构首先介绍一下实时媒体AI基于云原生的架构。从下往上看，首先它是基于华为云的边缘节点，用华为云IEF边缘管理服务对整个的节点软硬件资源做一个纳管，进行调度。其次，框架基于华为云EI平台，提供ModelArts训练等多种能力，支持Tensorflow、PyTorch等主流深度学习框架。框架里还包含一个SWR（镜像仓库）的服务，这个服务既可以集成发布华为EI自研算法镜像，也可以集成第三方基于EI的算法镜像。还有一个关键点要介绍，我们提供一个高性能边缘函数计算能力，这个能力实际上是面向实时媒体AI业务做的一个函数级处理框架结构，它可以非常高性能地将所有的AI算法实时调度到边缘节点上，并对边缘函数进行编排。实时媒体AI平台，用于卸载终端上的媒体处理能力，减少媒体处理适配不同终端平台的开发量，并保证不同终端平台体验效果一致，面向不同解决方案提供归一化的媒体处理能力。我们通过这个架构，提供更多更优的媒体AI玩法，同时，它统一算法的创新发开平台，可以避免多终端适配。实时处理函数框架如前面所述，实时媒体AI的核心是实时，如何最大程度的降低端到端处理时延，让用户对延迟“无感”。实时媒体AI除了将实时处理能力下沉到边缘，就近提供处理、降低链路时延之外，还重点构建了实时处理函数框架，用来降低处理时延。该处理框架主要以下几个方面降低端到端处理时延：1）基于华为云昇腾、鲲鹏等硬件，对AI算法、视频编解码算法做加速处理；2）通过高速总线加速AI算法容器之间视频原始数据传输；3）通过函数资源池预热机制提前加载AI算法，降低启动时延等。 整个处理流程，我们是希望能做到100毫秒以内，加上网络的时延，能做到300毫秒以内。这样的话，对用户而言，延迟是无感知的。 云原生算法开放如前面所说，我们不仅仅是构建一个实时媒体AI服务能力，更希望的是构建面向多种业务场景的实时媒体AI算法生态，希望更多的伙伴参与进来，一起推动业务创新、用户体验提升。基于这个想法，我们构建了一个算法开放的流程，包括所有实时媒体AI算法的标准算法接口和集成流程，也包括算法生态市场的构建，我们都会陆续的推出。这样的话，不管是基于华为EI平台去构建的AI算法，还是考虑到数据的隐私性，基于自己的平台去构建的AI算法，都可以通过这个流程集成到我们实时媒体AI里面。 实时媒体AI应用案例—斗鱼基于华为云云原生RTC实时音视频服务以及实时媒体AI能力，斗鱼实现实时云端特效，将端侧难以实现的特效能力向云侧转移，为用户提供“延迟无感”的实时互动体验，促进业务创新，提升业务粘性。华为云领先的云原生技术，让斗鱼可以专注云侧创新，避免适配多种终端，快速验证创新效果，大幅提升研发效能。同时，还能避免SDK频繁更新带来的用户多次下载，提升用户使用体验。基于华为云和斗鱼的算法，双方还构筑了一个富有想象空间的算法生态。面向未来，双方将持续深化合作，基于AR/VR提供更多创新玩法，结合华为云算法商城为主播带来更多场景选择，追求更优用户体验。目前我们正在跟斗鱼一起做美颜、美型、滤镜、贴纸等实时云端特效，这些特效会集成在斗鱼的直播平台里面，后续虚拟形象、背景替换等特效也会陆续上线。 低时延云端美颜、背景替换DEMO第一个DEMO是当前跟斗鱼一起做的一个低时延云端美颜特效，里面包括美白，磨皮等一系列的处理。这个端到端的时延，目前我们在网络比较好的情况下，可以做到150毫秒。正如我们看到的两个对比视频，基本上是同步的，肉眼看不出差异性。另外的一个DEMO是背景替换的。是一个知识视频里面做的背景替换。后面还会把背景替换效果做得更好，能像电影级的，比如说把背景替换和美颜美型、虚拟形象等组合叠加，做出更好更炫的效果。 最后我对今天分享的实时媒体AI做个总结。我们希望实时媒体AI是作为加速视频业务创新的一个关键手段，能够提供更多的处理能力，更优的互动体验，更低的创新成本，当然也希望更多AI算法合作伙伴们的加入，一起来共同打造一个开放生态！

大家好，非常有幸能有这次分享机会。我是康永红，来自华为公司，在大数据和音视频业务领域有十多年研发经验，负责直播、视频会议、RTC、VR的QoC、QoE、QoS管理，主要聚焦在基于大数据解决音视频产品体验提升和成本优化的业务领域。我个人认为这也是整个音视频领域的一个难点。 2020年是不平凡的一年，客观来说它促进了我们音视频业务的爆发式增长。华为云基于大容量、低时延、全互联的媒体网络，通过全国的2000多个节点和几百T的宽带，和我们的客户一起服务了亿级在线用户。在这个过程中，通过大数据提升视频体验质量和成本优化显得尤为重要，同时我们也积累了一些经验，今天我将和大家分享云原生时代，华为云在音视频质量监控与优化方面的实践。本次分享主要分为四部分：第一部分是云原生时代如何快速构建音视频数据服务体系，第二部分是华为云直播和RTC音视频服务体验质量优化实践，第三部分会介绍华为在云原生时代是如何快速构建音视频服务全流程质量监控平台，最后将总结和展望音视频业务体验质量的思考和技术规划。 音视频体验发展趋势及背后技术支撑的挑战   从音视频体验的发展趋势来看分为直播、RTC和XR三代，可以归纳为两个特点：第一点是用户体验越来越真实，传输分辨率从720P到1080P、再到XR的4K、6K、8K、乃至更大；另一点是业务要求互动性越来越强，迟延方面从30s到XR不超过100ms，对延迟要求更低。 基于以上质量体验的发展趋势，我们需要有一个后台技术支撑。我们在使用大数据解决支撑的过程中也经历了三个阶段：首先是5年前用大数据平台解决技术问题，其次是在3年前用数据**解决效率问题，第三个阶段是最近两年我们综合1.0、2.0时代的特点，采用“**+可信数据服务”的数据服务**模式解决价值问题。我们认为数据服务**是解决业务差异性和市场不确定性的最佳框架。 在直播中我们经常会碰到卡顿、实时音视频通话延迟等情况，这些问题都会严重影响用户体验。解决这些问题的一般方法是构建音视频质量监控平台，采集数据，用大数据的方法解决监控质量问题。在这过程中，我们又会碰到一些新的问题，比如采集数据延迟很大、丢失很多、数据不准确，此外还包括大数据算力不够、交付时延比较长等等问题。这些体验和技术问题带给我们很多挑战——包括会在什么场景出现这些问题，无法精准确定是网络问题、设备问题还是环境问题，以及这些问题影响了哪些客户等等。  那我们要怎么解决这些问题呢？在端+边缘计算+云计算的云原生时代，技术上已经给了我们一些解决方法。最好的实践是基于“数据湖+数据服务”的云原生数据驱动能力，去解决业务差异性和市场不确定性。这套架构分为六层，我们通过这六层去解决后台系统的相对稳态及前端业务稳态之间的矛盾。架构落地的具体实践是基于云服务基础设施，首先我们构建了统一的音视频数据湖，同时构建从采集、生产到消费的数据价值链，通过这两者结合，支持所有同时在线的几大类服务接入，和面向内外部七类客户，以及包括运营、运维等客户数据服务的QoS、QoE、QoC等三大类七小类的场景诉求。当然仅仅基于这个架构开展体验质量优化工作是远远不够的，这只是技术上的解决方法。 音视频服务体验优化三步走：监控、诊断、提升从在业务角度出发，我们认为QoE体验是一个管理的问题，我们在业务上需要做一些设计，这块我们构建了音视频服务的体验体系，大致分为两个大的阶段和三个小的阶段。两个大阶段是先诊断、再提升，在诊断中分为监控和诊断两个小阶段。 具体展开来看，首先需要构建QoE、QoS的立体实时监控体系以及辅助AI的异常检测方法，做到实时发现问题。第二步在发现问题后用秒级诊断能力，快速诊断体验原因，这个原因可以具体到用户行为级。基于诊断结果，第三步就需要做体验提升，一般有两种方法：第一种是依靠人工经验做优化，另一种方法是智能调度，我们在面向不同行业、不同场景的情况下，基于智能调度策略在成本可控的情况下做到用户体验最优。 基于上述体验质量优化体系，接下来我将具体展开分享华为云在视频直播和RTC实时音视频方面的体验优化实践的案例。 音视频服务体验优化实践1——直播体验优化我们首先看一下华为云视频直播体验优化实践案例，我们在做到低时延、不卡顿、高清晰的同时，还实现了成本可控。总体分为三个阶段：第一阶段质量监控，第二阶段问题诊断，第三阶段体验提升。 视频直播的质量监控，我们首先构建了覆盖流质量、体验、规模、网络、成本、设备六个维度的立体质量监控体系，涵盖了QoE、QoS、QoC三十多个指标，其中包括帧率、码率等核心的QoS指标，秒开率、卡顿率等QoE体验指标和带宽、回源率等成本QoC相关的指标。  第二个阶段问题诊断——视频直播的秒级质量诊断，这是基于网络数据+端数据构建的直播流全链路监控体系。诊断流程贯穿了第一公里主播端监控推流帧率等QoS指标，到网络节点间帧率、码率等QoS质量指标监控，带宽回源率、成本指标，以及最后一公里观众端卡顿、秒开、黑屏等QoE指标。这样就实现端到端实时的秒级监控，如果发现异常情况可以及时反馈给顾客和调度系统，比如我们在第一公里发现帧率、码率出现异常，就通知客户在主播端进行策略调整，如果实在网络发现异常，就做一些节点用户数据调动或其他策略的优化，而当观众端出现体验异常时，智能调度系统会做调度策略的调整。以上整个全链路监控系统覆盖了12路直播全场景和全协议监控。  直播流全链路监控系统——从第一公里、到媒体网络、再到最后一公里，整个都是可视化的，这样可以提升问题诊断的效率。 第三步体验提升，视频直播体验提升大致分为两种方法。其一是通过运维同学的经验实施，另一种方法是基于智能调度系统——基于端、边、云数据协同做智能调度体验优化，这种方法利用了统一视频数据湖技术，实现端、边、云的QoS、QoE、QoC数据的协同，通过智能分析引擎生成流、客户、网络链路、节点、观众的实时画像，基于实时画像+调度策略由智能调度系统实施智能调度，在成本可控的情况下做到最佳体验。衡量指标主要选取两类指标，一类指标是成本指标，比如通过回源率来衡量成本是否下降；另一类指标为体验指标，通过卡顿率、秒开率等判断用户体验是否有提升。以上是视频直播在质量监控和体验提升的一些实践案例。 音视频服务体验优化实践1——RTC体验优化接下来分享实时音视频RTC的体验优化的实践案例。RTC属于第二代音视频业务，它和第一代直播在业务方面有很多差异，比较关注时延以及行为级的监控，基于这些差异性，我们也采用了三个不同优化体系。 第一点是质量监控，RTC质量监控体系建立了覆盖通话、网络、成本、设备等六个维度的立体质量监控体系，覆盖QoE、QoS、QoC三十多个指标。其中核心指标包括等码率、帧率、丢包率、抖动质量QoS指标和秒开率、时延、卡顿率、入房和选看成功率等用户体验QoE指标，以及带宽等成本QoC指标，与直播监控指标相比，特别是端到端的时延指标，这是基于前面提到的差异性着重关注的。 基于监控体系，第二个工作是问题诊断，我们首先建立了三类体验质量数据服务，第一类是监控指标数据服务，主要覆盖的是服务端、客户端、设备、QoE、QoS、QoC，这些数据放在统计库、时序库中使用。第二类是网络端所有控制面和媒体面的事件数据服务。第三类是终端事件数据服务，包括终端侧用户行为事件，例如加入房间、切换角色、操作麦克风或摄像头等事件，此外还包含了终端设备数据，例如CPU、内存、摄像头等。 基于这三类体验质量数据服务，RTC构建了三层问题诊断体系。 第一层构建是覆盖全链路、全维度的QoE/QoS实时监控体系，可以在分钟级完成体验诊断和快速恢复问题。  第二层监控体系是基于网络行为数据和端侧行为数据的一键式用户个例通话QoS调查能力，它可以帮助我们快速解决RTC业务单用户的体验问题和投诉。 第三层问题诊断能力是在第一层QoE/QoS全局指标监控和第二层QoS行为调查能力基础上的体验问题自动诊断高级能力，它通过监控三十多个指标产生二十多个异常事件，并通过学习模型，给出影响的六类体验场景。这样系统就可以快速自动化地判断出体验发生异常的原因，并且快速传递给客户。如何构建音视频服务全流程质量监控平台？上述介绍的是华为云RTC业务体验优化的实践案例，做体验质量优化工作是需要平台完成的，我们下面来分享华为是如何构建音视频服务全流程质量监控平台的。首先从数据采集、传输、计算到消费四个环节的亿级规模音视频质量监控大数据平台，包括支持端、边、云全数据采集和传输的数据网络，支持实时计算、离线计算和机器学习的多模数据处理系统，以及支持运维、运营、客户的数据消费服务体系。  在构建平台时，会遇到很多性能、质量、效率以及实时性的问题，如何构建一个大容量、低成本、高效率和可信数据质量的平台？我们采用了批流一体和存算分离的架构。批流一体解决的是开发效率的问题，我们同一个指标可能在批流一体中计算一次就可以对所有服务使用，不需要重复开发，同时我们有一站式数据开发平台可以解决开发效率的提升。成本问题上我们采用的是存算分离——存储和计算是分离的，存储采用的是对象存储，价格相对低廉，计算引擎采用的是前面介绍的批流一体的方式，这样可以做到成本最佳。质量方面是采用了“ODS-DWD-DWS-ADS”四层数据治理平台，保证所有数据可跟踪、可管理，确保任何指标数据都是实时、完整、准确的。 在有了大容量、低成本的平台后，我们还面临断网、设备故障等问题。我们在平台可用性上基于云服务实施，采用跨Region主备容灾和多AZ模式，整体SLA可达99.99%，来自端、边缘、云等全部六类数据不丢失，监控、调度等六类服务不降级。这样我们在整个环境下，任何环节出现异常，在质量和服务提升上都可以正常工作。 如何持续保证音视频体验质量三大利器？ 回顾本次分享，音视频体验发展有三个特点：第一，用户对体验的要求是真实感越来越强，直播、RTC等用户要求更高；第二，在用户体验上要求越来越互动；第三，面对各种网络、终端业务环境越来越复杂。 为了保证音视频体验质量，我们有3个利器：第一，针对不同业务场景，构建“先监控再诊断后提升”的体验质量体系；第二，基于“数据湖+数据服务”解决用户差异性和市场不确定性的问题；第三，在实施过程中要平衡成本和体验的关系。 对未来音视频业务体验我们有三点规划方向：一是持续基于端、边、云数据协同来驱动QoE、QoS、QoC优化；二是构建音视频内容质量的智能评估体系；三是建立第三代XR音视频体验质量规范，如沉浸感等。 以上是本次分享的全部内容，谢谢大家。

全民直播互动的时代，怎么快速完成高清视频节目制播？快来云宝小课堂，一图秒懂云制播！了解更多云原生音视频技术，戳链接报名参加12月30号 #华为云TechWave# #云原生2.0# 峰会，大咖&大奖等着你！报名请戳→https://form.dmartech.cn/form/prod/56935c7eceeafbd7/customization/cloud7220/cloud7720_719/cloud7720.html?id=719

小课堂有大干货，实时音视频？实时云特效？一图秒懂！了解更多云原生音视频技术，戳链接报名参加12月30号 #华为云TechWave# #云原生2.0# 峰会，大咖&大奖等着你！报名请戳→https://form.dmartech.cn/form/prod/56935c7eceeafbd7/customization/cloud7220/cloud7720_719/cloud7720.html?id=719

每一次突发事件都考验着各行业的智慧和能力，2020年，当“云上生活”，“永远在线”成为新常态，人的能力、企业的能力在危机环境遭遇巨大挑战，比如很多企业的业务系统、内部会议系统出现没办法进行远程的访问和使用的情况。疫情给中国所有的政府和企业好好地上了一堂课：数字化如此重要，已经成为战胜疫情、恢复经济的刚需。云、AI、5G不断为政企数字化转型注入新动能，政企行业在被动融入时迅速调整管理方式并发现新的可能性。华为公司副总裁、华为云业务总裁郑叶来之前分享了一组数据：春节之后中国远程办公人数超过3亿，而2019年的数据是500万。2020年第一季度，华为云云主机、CDN、实时音视频和云会议等服务也都在爆发式增长。在这特殊时期，华为云实时音视频（RTC）能力从幕后走向台前并被重新理解认知。看似刚入局的行业新兵，却有30年的音视频技术积累、1186项全球音视频专利，华为云端云协同不断降低行业门槛。从疫情期间湖北火神山医院使用基于华为云实时音视频服务构建的华为云会议系统，到最近使用华为云会议系统举行的东盟十国峰会和中非特别抗疫峰会，华为云的音视频技术和能力正深入各行各业，通过全场景、全实时、全互动的服务提升企业效率。入局RTC  拉高行业天花板以往音视频在娱乐媒体、网络直播中应用频繁。2020年伊始，会议+直播+互动已经深入到在线课堂、远程医疗、企业办公、营销、安防监控等各行各业，音视频成为目前最好的联接方式，实时音视频服务（Real-Time Communication，简称RTC）的使用场景创新从未停息。在实时音视频的技术，持续在演进和发展过程中，业内有一个共识：做RTC很容易做好难，业务流程和技术架构因应用的差异化都是彼此割裂的，诸如直播、连麦、会议、监控各有各的网络架构，同时“一网多用”始终没有成型，更不要说像VR/AR这样的新兴应用拓展。如今我们流行的娱乐直播，短视频，直播带货等场景使用CDN直播技术，当直播变成实时互动时，延迟问题会影响客户体验和业务升级。在华为云联接与协同业务总裁薛浩看来，RTC技术融入千行百业的不同场景必须跨过三大门槛，给客户全场景和全实时的音视频体验，让各行业在5G时代有更多的业务创新和更好的体验升级。一是音视频能力的积累。音视频不仅只有编码转码，需要有很多弱网环境，来自公网上的挑战和延迟需要服务商具备低码转高码，高码转低码等长时间的技术和场景积累。二是对于端的整合能力。薛浩认为，RTC其实是端和云的协同，所有的RTC服务首先完成端媒体流的采集，继而再加工进行转发。用户的使用端侧不仅五花八门，操作系统、芯片也各不相同，客户跨端应用比较频繁，服务商对于端持续的更迭和维护，是非常大的挑战。三是成本理解和网络资源， RTC本身是资源型的业务，对于计算资源和网络资源诉求极高，要共享网络和计算资源成本非常高，如何有效降低成本是所有服务商考虑的问题。通信行业起家，在运营商领域服务多年，华为积累了音视频能力，具备终端的覆盖和整合能力，SDK可适配更多终端，同时华为云CDN在全球已经有2500多个节点（国内2000多个），这些节点的网络和节点的算力、边缘的算力和能力可以充分共享，有效降低用户成本。 把RTC的技术带到各行各业，拉高行业的天花板，让用户用得起用得好，华为云发布实时音视频服务，将30多年以来技术沉淀的集中释放，给客户全场景和全实时的音视频体验。具体而言，华为云一方面要将软硬件的产品组合通过技术协同向行业端渗透，利用互联互通的特性更加深入业务层级，另一方面则是借助技术红利打造简洁高效可靠的人机交互体验，让沟通和协作不再受带宽、时延、丢包的困扰。做大市场 加速RTC技术迭代作为一种实时通信技术，RTC主要对音频/视频信号进行处理和传输，以前主要用在视频通信类业务上，现在众多视频有了新的场景需求，越来越多的客户开始需要音视频会议的能力。就拿在线会议来说，随着高并发大流量、多终端的发展，以前独立的会议架构慢慢重构，疫情期间的发展，双向互动要求提高，要满足直播互动场景，必须要对接CDN和RTN两个网络，通过合流、旁路直播的方式来满足场景需要，多个环节，层层分发，时延至少需要3s以上。 华为云新一代RTC，可以实现一套网络支撑全场景业务，通过上下行流量融合处理，实现多业务互联互通，灵活流转。一张网融合，可以让客户的资源效率提升30%，运维效率提升50%与即时通讯时代的音视频不同，现在的音视频服务需要直播、互动、交互等可以灵活组合切换，华为不断提升行业天花板，加速RTC技术迭代，将中心式、树状结构、层层分发的模式，改变为网状结构，去中心化，基于边缘节点部署，就近接入，通过实时监控和智能调度，端到端选择最佳路由，可以实现实时观看（时延<1s）、实时互动(时延<200毫秒、实时操作（时延<50毫秒），充分满足业务需要。在薛浩看来，未来AI技术在音视频媒体网络中将会持续大规模应用，持续推动行业发展，与此同时，VR和AR的技术会基于RTC实时的媒体网络，快速发展起来，未来有很多可能，但是每一种可能都需要大规模技术、长期的投入。华为已经做好准备把行业的技术门槛降低，面向未来，持续进行核心技术的投入和布局，华为云实时音视频服务可以提供包括智能感知编码、SVC分层可伸缩编码等多项技术，提升编解码效率，以及较强的网络适应性技术，加速RTC技术迭代，让RTC成为华为云的基础业务，把音视频会议的能力推向行业化，目前，基于实时音视频服务构建的华为云会议，在技术、体验和业务形态上得到全面升级，已服务于50多家国家级/省市级政府单位的智慧政务、疫情防控和指挥调度，支持了5000+学校的在线教育和全球超过1万家医疗机构，并创新了云签约（支撑了2000亿签约金额）、云招聘（同人民日报提供了50万工作岗位）等新业态场景。协作创新 让客户、伙伴实现价值增值“向上捅破天，向下扎到根”是华为内部的名言，具体到RTC服务领域，薛浩这样总结：向上捅破天“就是要把行业的天花板抬升，扩大整个行业空间，“向下扎到根”就是要用算法、专利等核心技术支撑行业的天花板抬升。在薛浩看来，在RTC技术的演进和发展过程中，华为云扮演的角色是服务提供商，华为并不去服务全行业，而是将基础能力做到极致，不断降低技术门槛，让音视频产品更加好用，成本更低，质量更好，使得音视频能力变成华为云上黑土地，合作伙伴可以站在华为的肩膀上，获得来自技术和市场方面的直接助力，支持合作伙伴在行业场景中创新发展。

2020年这场肆虐全球的新冠疫情让很多企业刷新了自己对数字化的认识。正如 “大潮褪去，才知道谁在裸泳”，疫情来势汹汹之时，企业数字化水平高下立分。有的企业之前一直自豪于斥重资打造高科技会议室，但在员工纷纷居家隔离时才发现，会议室再高科技炫酷，人到不了现场也枉然，内部会议系统根本不支持外部远程接入。还有的企业自诩数字化转型十分成功，但是各种业务系统无法在外部登录使用，协同办公陷入停滞状态，所谓的数字化也只是“办公室里的数字化”罢了。与此同时，随着在线教育、远程医疗、视频会议的火爆，在企业纷纷自省未来数字化建设方向的当下，由于视频业务可以打破时空局限，提升办公效率，在疫情期间异军突起，也成为越来越多企业增加投入的重点方向之一。遗憾的是，成本高昂、延迟卡顿导致用户体验差、网络不稳定、安全存隐患这些因素影响了视频服务成长的速度。8月5日，在华为云TechWave音视频专题日上，华为云联接与协同业务总裁薛浩携华为云精心打造的实时音视频服务（Real-Time Communication）重装亮相。延续着华为公司一直以来的“技术流做派”，华为云的实时音视频服务不仅凭借技术手段一一击破发展桎梏，而且还将音视频的服务水准再提升到一个新高度。与常规较劲，华为云要做不一样的实时音视频服务华为云做实时音视频服务其实并不太令人意外。想想看，华为有海量的手机用户，PC平板产品，还有针对企业的专业智慧屏，在终端侧其实已经有了很大优势。而在网络传输环节，通信起家的华为多年的ICT技术底蕴更不必多说，据说已经拥有1186件音视频算法专利。到了系统环节，华为本身就在做操作系统和芯片，对于移动端的功耗和网络抖动，华为更是有很多专利和算法。但事实上，华为在做实时音视频服务时，面临的挑战还真不小，最大的原因就是华为要做的不是普通水准的音视频服务，而是要做突破性能极限，用技术让性能开发到极致的音视频服务。举个例子，在视频业界，画面延时3秒是再普通不过的事了，做得好的服务商可以将延时卡顿降低到200毫秒，而华为云一上来就和业界“常规”较劲，50毫秒的延时能不能做到？同样都是360P的流，华为云能不能体现出1080P的画质和效果？到了弱网环境，传统服务商提供的画面可能就卡顿了，华为云能不能流畅地将画面播出来？华为云联接与协同业务总裁薛浩透露，延迟和大流量并发是华为实时音视频服务面临的最大挑战。对于实时音视频服务而言，网络架构应该是一个去中心化的自适应网状结构，因为去中心化，所以边缘侧要更多更强。华为云在全球拥有2500多个CDN节点，这些节点的网络资源和算力资源都可以被看作是华为云在边缘的算力，也极大地降低了成本。最终华为云构建一个虚拟的网络中心和虚拟的边缘，业务开始转发时，这个云端节点就是中心，接收视频流时，这个节点就是边缘。灵活的网络架构再结合华为云在容器、IaaS、边缘算法、端侧SDK的能力，不仅保障了实时音视频服务可以拥有更低延迟，更低成本这些关键能力，还可以实现网络质量的灵活调度。例如，对于免费用户，华为云可以提供低成本的音视频服务，对于VIP用户，华为云就可以提供高质量的音视频服务，用户自由选择。全新互动实时音视频体验薛浩总结到，华为云打造的是基于视频流融合，统一的一张网，支持所有的场景业务。据了解，华为云实时音视频服务不仅可以实现播放观看、连麦互动、实时交互等业务场景天然互通，无缝流转，而且面对千人互动，亿级并发这样的高并发场景也毫不压力。那么凝聚了华为众多领域黑科技的华为云实时音视频究竟给用户带来什么样的体验呢？概括说，这是一次全新的互动实时音视频体验，2020年在社交娱乐、在线教育、云会议行业的用户，已经率先感受到了它的魅力。以在线教育场景为例，传统的教育场景就是老师通过视频授课，讲的内容有没有被学生理解，学生在讲课过程中有没有哪些疑问都无从得知。但是通过华为云实时音视频服务，在线教育机构可以实现视频教学过程中的双向互动，学生可以立刻“哪里不会点哪里”，老师也可以及时根据学生们的反馈调整教学重点。更重要的是，华为云让这样的双向端到端互动，时延远远小于200毫秒，实时操作的指令响应时长甚至小于30毫秒。对于用户们最为看重的视频质量，华为云音视频服务也足够令人惊喜。4K/8K超高清画面，不管是在运动的汽车、高铁，还是在隧道、地下室依然流畅不卡顿，不花屏。尤其值得一提的是，在弱网环境下，华为云实时音视频支持在50%视频抗丢包，80%音频抗丢包情况下，依然可以保持流畅的视频和通话。如果仅仅做到这一步，那怎么能叫做“追求极致”呢？华为云实时音视频服务还融入了AI媒体处理能力，可以实现美颜、降噪、背景虚化/替换，实时语音翻译和字幕，带来的绝对是让消费者们都忍不住尖叫的完美体验。更别提业界最高等级的安全能力，提供多重安全认证，5G+专线双平面高规格保障，全程媒体流加密技术，带来安全可靠的音视频服务。不忘初心，以开放心态推动行业进步当传统的CDN架构渐渐演变成主打边缘的去中心化网络架构，实时音视频服务的发展仍只是刚刚起步。对于华为云而言，目前解决的是在接入侧的问题，但端到端属性的音视频服务是一个长长的链条，5G只是解决了两端的接入，中间的骨干网络还需要重新适配，这是一个需要持续发展持续演进的过程，需要全行业的努力。薛浩强调，因为华为一直坚持“自己做的降落伞自己先跳”，所以在实时音视频服务不断成熟完善的过程中，华为云已经尝到了技术红利。如今华为云希望能够将自己积累的技术能力反馈给行业，用更低的成本，更低的技术门槛和更高的用户体验来推动行业进步。这个初心就使得华为选择提供开放的音视频服务，因为解决行业的问题仅仅依靠华为云自己的力量是不够的，要将音视频产业做大才是当务之急。华为云希望有更多行业的ISV、头部客户来使用华为云的能力，提升音视频业务的品质，从而赢得商业成功。