• [公告] 影音体验新未来 华为发布VR音视频生态平台
    2020年9月11日,在华为开发者大会生态创新分论坛上,华为VR音视频生态产品总监辛鑫正式发布了华为VR音视频生态平台。华为VR音视频生态产品总监辛鑫华为VR音视频生态平台提供了技术平台和内容制作方案,包括前端播放能力、视频点播VOD服务、音乐开发工具及VR内容的制作与发行等,可以为开发者提供从制作到发行的端到端一站式生态服务。依托华为完整的端到端VR技术解决方案,让开发者以最低的成本高质量、规模化的量产优质VR音乐内容,满足用户消费与体验极致音乐的需求。华为VR音视频生态平台全流程高质量低成本是生态突破口华为自制的3D VR拍摄系统能够实现最真实的3D效果,通过电影级的视频成像单元给用户提供最好的色彩,实现13K*9K的超清分辨率,获得超高画面品质。同时结合华为自主研发的3D 空间音效,华为VR音视频能支持超过16路声道,还原真实声音,带来3D视觉画面和空间音效深度结合的沉浸式视听体验。用户可以通过手机、VR头显随时随地以一种全新的方式来享受音乐,看到最真实的影像,听到最真实的声音,犹如身临其境。而依托VR音视频内容制作软件,即便是非专业的制作团队也可以非常轻松的上手,可以快速的制作高水准的VR音视频产品。而制作成本,仅仅是传统技术的十分之一。还原现场感是体验的极致目标VR音乐可以最真实、最保真的还原艺人最佳现场和最佳状态。我们以前说黑胶唱片是一个时光刻录机,那么VR音乐是真正的时光机,甚至是一个时空穿梭机。随时随地带上VR头盔,那个时间、那个地点的那个人就在你面前表演。试想如果我们能把前一代伟大的歌手比如皇后乐队、迈克尔.杰克逊的表演以VR音乐的方式永久的保留下来会有多么重大的意义。同样,有了VR音乐,后世再来看我们现在的这些流行歌手也有同样的意义。VR音视频解决方案除了应用于演唱会,与音乐MV、唱K、音乐节等配合也能碰撞出不一样的炫目火花;有了VR音乐,人们听音乐、看MV的感觉将不再是旁观者,而是如同真正置身其中;有了VR音乐,人们的唱K体验,也有如置身于华丽的舞台之上,拥有自己专属的演唱会。用户使用一副普通的立体声耳机,就可以获得很强的方向感、沉浸感和临场感,享受无与伦比的音视频VR K歌体验。合作共赢,共创未来当前,VR音乐仍是版权的蓝海,而华为VR音乐已经获得了众多艺人的认可和支持,成为了全球范围内领先的VR内容体验平台。在未来,我们将携手众多艺人,推出更多的优质内容,丰富用户体验,欢迎更多合作伙伴加入我们,共同探索更美好的明天!   来源:https://www.sohu.com/a/417944431_100082659
  • [技术干货] 【云小课】云视频第6课 想要拉取第三方直播流?新技能-直播拉流回源上线
    【摘要】 在视频直播服务中创建的播放域名,默认拉取的是华为源站的直播内容,若需要通过华为云播放非华为源站的直播内容,可以按照实际需求在直播控制台中配置回源拉流地址,将自有源站中的直播内容拉取到华为云直播中心进行加速分发。近几年来视频直播应用蓬勃发展,特别是在今年的疫情防控阶段,宅经济也日渐成熟,直播模式在各行各业快速开花,无论什么年龄、背景、性别和区域等,我们每一个人都在不同场景下被普及了什么是移动视频直播,这已然成为一股席卷全民的新力量。在视频直播业务中,典型的流程是客户侧应用在推流客户端将采集的直播流通过上行加速主动推送到华为云直播中心,直播中心可以对直播流进行处理,然后通过下行加速到达播放端。而另外一种常见流程是客户侧直接提供直播流源,华为云直播中心通过客户的直播源地址进行直播流拉取,并进行直播和控制。本期小课就给大伙讲讲华为云视频直播服务新功能:直播推流回源。   开启拉流回源功能后,该播放域名的不支持通过域名关联匹配其他推流域名进行拉流,且拉取的直播流无法使用转码、录制、截图等功能。前期准备具备已备案的域名用于拉流播放,并将播放域名添加到华为云直播服务,具体请参见添加域名。已在播放域名的DNS服务商处完成CNAME解析配置,具体请参见配置CNAME。配置拉流回源              步骤 1     登录视频直播控制台,在左侧导航树中选择“域名管理”,进入域名管理页面。              步骤 2      在需要配置直播拉流回源的播放域名行右侧单击“管理”。              步骤 3      在左侧导航树中选择“模板配置 > 拉流回源配置”。在拉流回源列表中可以看到默认为回源华为源站的配置。                                                 步骤 4   单击该页面的“修改”,进入拉流回源配置页面,配置第三方拉流回源地址。         当前支持两种第三方回源方式:域名方式和IP方式。          域名方式回源:支持最多配置10个源站域名。                                         IP方式回源:支持最多配置10个源站IP地址和1个源站域名,若配置了回源域名,则回源时HTTP-FLV HOST头填写该回源域名,RTMP tcurl字段也填写该回源域名,否则,将当前IP地址作为HOST。                           回源协议:华为云直播中心向第三方源站拉流的协议,暂只支持RTMP和HTTP协议。        回源参数:回源客户源站时,在URL中携带的参数,示例:若参数设置为:key:vhost、value:www.example.huawei.com,key:cdn_type、value:huawei,则回源拉取直播流的URL格式为:{{.scheme}}://{{.reqDomain}}:80/{{.reqApp}}/{{.reqStream}}?vhost=www.example.huawei.com&cdn_type=huawei&{{.reqArgs}}          若配置多个回源域名或回源IP地址,当回源失败时,将按照配置顺序进行轮循。              步骤 5      单击“确定”,完成拉流回源配置。后续操作拉流回源配置后,若第三方源站已有直播流,您可以使用在华为云视频直播配置的播放地址进行直播播放。示例:若在华为云配置的播放域名为live-play.example.com,则播放地址为如下:RTMP格式:rtmp://播放域名/AppName/StreamNameFLV格式:http://播放域名/AppName/StreamName.flv其中AppName默认为“live”,StreamName可以自行定义,不支持中文字符。
  • [技术干货] 【云小课】云视频第5课 关于视频点播的使用,您应该要了解的24件事
    【摘要】 视频点播(Video on Demand,简称VOD)为客户提供视频上传、自动化转码处理、媒资管理、分发加速的一站式视频点播媒体服务。视频点播(Video on Demand,VOD)是集视频上传、自动化转码处理、媒体资源管理、分发加速、视频播放于一体的一站式媒体服务。随着视频点播服务的音视频处理功能越来越丰富,小伙伴在使用过程中,碰到的小疑惑也越来越多。结合智能问题、帮助中心反馈、工单等反馈,小课今天总结了一些使用视频点播过程中小伙伴经常咨询的疑问。若您需要了解的问题不在此归类中,您也可以通过华为云客服咨询。Q:视频点播服务(VOD)与对象存储服务(OBS)是什么关系?A:VOD与OBS之间的关系如下所示:VOD是集上传、存储、转码、处理、分发加速、播放等于一体的一站式媒体服务。而OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。VOD中主要存储的是音视频文件及音视频处理后的字幕、截图等文件。而OBS可以存储多种类型的文件,音视频文件、图片、文本等,它的功能类似于云盘。VOD的媒资存储是基于OBS桶的,但是该OBS桶对用户是不可见的,且不占用户的OBS空间,也无需用户额外开通OBS服务。OBS可以联合CDN,将存储在OBS桶中的文件进行分发加速。而VOD默认预置CDN加速域名,存储在VOD中的媒资文件可自动完成分发加速,不需要额外配置。此外,VOD还可以具备转码、音频提取、视频编辑、视频审核等能力。相比OBS服务,VOD更能满足在线点播视频的业务诉求。Q:使用点播服务是否需要准备域名?A:不是必须的。开通点播服务后,点播服务会默认分配一个加速域名,该域名启动预计需要10分钟。您也可以使用自有的域名来对上传的媒资进行分发。相关配置请参见配置域名。Q:视频点播是否有提供免费体验包?A:华为云账号完成实名认证后即可获得体验资格,每个账号限领一次,不限新老用户,你可以在线申请体验包,体验包规格如下所示:Q:购买了套餐包,为什么还会产生余额扣费?A:VOD的计费项可以分为媒资管理费用、媒资处理费用和加速分发费用,具体如下所示:媒资管理费用:包含存储空间费和源站下行流量费。媒资处理费用:包含音视频转码费、音视频转封装费、视频截图费、音频提取费。加速分发费用:支持按下行流量或下行带宽计费。   VOD提供了流量套餐包、转码套餐包和存储套餐包三种套餐包,可以分别抵扣加速分发费用中的下行流量费,媒资处理费用中的音视频转码费,以及媒资管理中的存储空间费。而其它计费项暂无提供套餐包,因此,只要您使用了这些相关功能,即会产生余额扣费。Q:MPC的转码套餐包是否可以用于VOD,CDN服务的流量包是否可以用于VOD?A:不可以,所有的套餐包都仅限于本服务内使用,不支持跨云服务使用。Q:购买了套餐包,如何查看其使用情况?A:您可以通过如下哪两种方式查看套餐包的使用情况:在视频点播控制台的概览页可以查看套餐包的已使用量及有效期。在控制台的右上角选择“资源 > 我的套餐”,进入费用中心,不仅可以查看套餐包的已使用量,还可以导出套餐包的使用明细。Q:已购买了OBS资源,通过OBS托管方式使用点播服务,是否还需要购买点播资源?A:通过OBS托管方式使用点播服务可能会在点播服务中产生如下相关费用:存储费用:OBS桶设置托管后,源文件仍然存储在OBS桶中,相关的存储费用由OBS收取费用。但若您在设置托管时,“输出存储位置”选择“点播桶”,则表示音视频处理后生成的相关媒资文件存储在点播服务,在这种情况下,点播服务将会根据存储空间收取相关费用。下行流量或带宽费用:若您通过点播服务进行了音视频文件的加速分发,即使用点播服务的媒资播放地址进行播放,则将会产生相关的下流流量或带宽费用 ,在控制台预览播放也会产生这块费用。音视频处理费用:若您在点播服务中使用转码、截图、转封装、音频提取等功能对被托管的音视频进行处理,则将会对产生对应的转码、截图等费用,具体收费项请参见价格详情。综上所述,通过OBS托管方式使用点播服务仍需要购买点播服务的相关资源。建议您购买相关套餐包,价格更实惠。Q:视频点播有哪些上传方式?A:视频点播有如下几种上传方式:控制台上传        -   本地上传:支持将存储在本地磁盘的音视频文件上传到点播服务。        -   URL拉取:支持基于音视频源文件URL,离线拉取上传到点播服务。        -   音视频托管:支持将存储在OBS桶中的音视频托管给点播服务。服务端上传:提供了服务端JAVA SDK及Demo,支持快速集成开发。客户端上传:提供了Javascript SDK、iOS SDK、Android SDK及视频云APP Demo,支持快速开发客户端上传应用。Q:视频点播支持上传哪些格式的媒资文件?A:支持上传如下格式和编码的音视频文件:视频格式:MP4,TS,MOV,MXF,MPG,FLV,WMV,AVI,M4V,F4V,MPEG,3GP,ASF,MKV。音频格式:MP3,OGG,WAV,WMA,APE,FLAC,AAAC,AC3,MMF,AMR,M4A,M4R,WV,MP2。视频编码标准:H.263、H.264、 H.265、MPEG-2、MPEG-4、MJPEG、Proress422。音频编码标准:AAC、 AC3、EAC3、HE-AAC、MP2、MP3、PCM(s161e,s16be, s241e,s24be,dvd)、WMA。Q:为什么在控制台上传大量音视频文件时失败?A:本地上传过程中请勿刷新页面、清理浏览器缓存或关闭浏览器。华为云的安全设置支持会话超时策略,上传大量音视频文件时,当超过设置的时长未操作界面时,会话会失效,需要重新登录。当通过视频点播控制台一次上传大量音视频文件时,由于上传时间比较久,若在上传过程中未操作界面,则会自动退出登录,从而导致音视频上传失败。Q:为什么上传后,视频时长显示为0?A:可能有如下原因导致视频时长显示为0:上传的媒资文件解析未完成,点播服务需要解析上传的视频后,才能返回视频时长,所以建议您在上传视频5分钟后再进行视频时长的获取。视频源文件存在问题,导致解析时获取时长失败。Q:使用OBS托管功能是否还占用点播服务的存储空间?A:使用OBS托管功能,音视频源文件仍然存储在OBS桶中,只是允许点播服务访问处理OBS桶中的音视频。若您在配置托管功能时,“输出存储位置”选择了“点播桶”,则通过点播服务处理被托管的音视频文件产生的相关媒资文件将存储在点播服务中,从而占用点播服务的存储空间。Q:音视频转码支持哪些输入输出格式?A:支持的输入输出音视频格式和编码如下所示:支持的输入音视频格式:MP4、TS、MOV、FLV、MPG、MXF、WMV、ADTS、AVI、MKV、MPEG等。支持的输入音视频编码:H.264、 H.265、 MPEG-2、MPEG-4、MJPEG、WMV1/2/3、Proress422等。支持的输出音视频格式:DASH、HLS、MP4、MP3、ADTS支持的输出音视频编码:H.264、H.265Q:为什么删除媒资失败?A:可能因为被删除的媒资正处于转码、审核、截图等音视频处理流程中,视频点播不支持删除正在处理中的媒资。Q:水印设置是全局的吗?是否可以在上传时选择某一个水印?A:水印为全局设置,若水印模板有设置为默认,则转码时,默认水印将会一并压制入视频内。若您需要选择某一个水印,可以在自定义转码模板时,选择具体的某一个水印,而不是保持“默认水印”,在上传时选择自定义的转码模板即可。       Q:一次是否可以转码多个视频文件?为什么转码有时快有时慢?A:支持转码多个视频文件,您可以在点播控制台的“音视频管理”页面选择多个视频文件进行转码即可。转码快慢与媒资数量、正在转码的任务数有关。若多个用户同时下发转码任务,且每个用户下发的转码任务量都比较多,则相对会比较慢,当点播服务的转码任务量比较大时,有部分任务将需要排队等待处理。Q:为什么音视频文件转码失败?A:音视频文件转码失败可能有如下原因:点播服务已欠费,若账户欠费且点播CDN流量套餐包无余额,则点播服务中的视频将转码失败。 源文件本身存在问题,您可以在本地对尝试播放源文件,若播放失败,则表示源文件原因导致转码失败。源文件的编码格式不支持,当前视频点播转码支持的视频输入编码格式为H.264、 H.265、 MPEG-2、MPEG-4、MJPEG、WMV1/2/3、Proress422等,支持的音频输入编码格式为AAC、 AC3、EAC3、HE-AAC、MP2、MP3、PCM(s161e,s16be,s241e,s24be,dvd)、WMA等。使用转码模板有问题,若源文件为纯音频文件,使用视频转码模板,则将导致转码失败。Q:如何保护点播音视频的版权,防止非法盗播?A:点播服务支持视频播放权限认证和视频加密等安全策略,保障点播媒资的安全。播放权限认证:点播服务提供了Referer防盗链和Key防盗链功能,对分发的音视频进行播放权限控制,避免非授权用户通过播放URL下载或播放点播视频。具体请参见通过防盗链控制音视频的播放权限。HLS视频加密:为有效防止视频泄露和盗链问题,可以对HLS视频内容进行加密。加密后的视频,即使恶意用户下载也无法分发给其他人观看。具体请参见通过HLS加密防止视频泄露。HTTPS安全加速:点播服务支持HTTPS安全加速,保障点播数据在传输过程中受到加密保护。点播服务的分配的系统域名默认开启HTTPS,不需要额外配置。若您使用自有域名进行点播加速,建议您配置并开启HTTPS。具体请参见HTTPS安全加速。Q:HLS加密防盗链有什么区别?A:HLS加密和防盗链是点播服务提供的两种安全保障机制,其中防盗链可以分为Key防盗链和Referer防盗链,具体区别如下:HLS加密:在m3u8中的ts数据进行加密处理,播放器在播放时,会通过m3u8中内置的解密密钥地址去动态解密,仅有获取正确解密密钥能播放音视频,从而防止点播音视频被非法下载播放。Key防盗链:在播放地址上添加鉴权串,只有合法生成的鉴权串,才会通过检验从而成功播放。由于鉴权串存在时效性,仅在设定的有效期内可播放,可以有效防止盗播。Referer防盗链:在域名上进行限制,只有白名单内的域名或不在黑名单中的域名可难看拉取视频资源。    Q:如何获取音视频播放地址?A:视频文件上传转码后,会生成对应的播放地址,您可以在视频点播控制台的“音视频管理”页面,在对应的音视频文件行单击“管理”,选择“播放地址”页签,获取播放地址。其中“地址”列可以获取对应格式的播放地址。若配置了Key防盗链功能,则可在“操作”列单击获取鉴权播放地址。Q:为什么音视频上传后播放失败?A:音视频上传到点播服务后,可以在控制台、web播放器、移动端播放器等进行播放,本地网络故障、加速服务未生效、播放器格式不支持等问题都可能导致音视频播放失败。具体排查步骤请参见故障排除-视频播放失败。Q:在浏览器直接播放HLS格式点播视频,为什么播放失败?A:若您需要在浏览器中直接播放HLS格式视频,需要安装Native HLS Playback插件。例如您想使用chrome浏览器播放HLS格式视频,则请在谷歌网上应用店安装添加Native HLS Playback插件。Q:为什么HLS加密视频播放失败?A:由于HLS加密视频的播放流程与非加密视频的播放流程是存在差异的,播放端需要先获取解密密钥,然后才正常播放。因此,HLS加密视频播放失败,可能原因有如下:获取解密密钥失败,可能是获取密钥地址不正确导致,您可以在控制台预览HLS加密视频时,按F12,查看密钥获取接口是否正常返回。       跨域问题导致,若能正确返回密钥,则可能是跨域播放导致失败,您可以参考web播放器配置跨域。Q:为什么调用点播API时返回“租户ID校验失败,请检查”?A:可能是由于调用IAM接口获取Token的“project_id”与调用视频点播API的“project_id”不一致导致,您可以参考API快速入门进行视频点播的接口调用。Q:为什么调用点播API时返回“The throttling threshold has been reached”?A:可能是由于调用该API的次数超过了阈值导致的。为避免因短时间内重复调用API导致服务中断的情况出现,点播服务设置了API流控限制。点播服务各API的流控详情请参见API参考。
  • [技术干货] 【云小课】云视频第4课 转码包未生效?教您快速选择转码套餐包
    【摘要】 华为云的视频服务提供了视频直播、视频点播、媒体处理服务,都可以实现音视频转码,其中媒体处理和视频点播服务提供的是离线转码功能,视频直播服务提供的是实时转码功能。华为云的视频类服务提供了视频直播、视频点播和媒体处理服务,都可以实现音视频转码。因此,许多小伙伴在选择购买转码套餐包时,总会有很多疑问?  你们这几个服务都支持转码,我该选择哪个服务呢?      购买媒体处理的转码套餐包,可以抵扣视频点播中的转码费用吗?      为什么我购买了转码套餐包,没有生效呢?还是扣了账户余额?首先,我们先来了解下这几个服务提供的转码功能的区别及使用场景。转码功能可以分为离线转码和实时转码,其中媒体处理和视频点播服务提供的是离线转码功能,视频直播服务提供的是实时转码功能。离线转码和实时转码的区别离线转码是指将一个视频文件转换成另一个或多个不同码率的视频文件,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。实时转码是指将直播流转换成多种多个不同分辨率或码率的直播流,从而可以分发到不同的直播平台。离线转码必须是在获取到完整的视频文件后才可启动转码任务。媒体处理-离线转码媒体处理可以将存储在华为云OBS桶中的音视频文件进行转码,转码后生成文件仍然存储在OBS桶中,媒体处理服务不具备存储能力。使用场景:若我们已购买使用了华为云OBS服务,且只是想改变音视频的格式、分辨率、码率等参数,无其它音视频处理需求,则选择该服务最实惠。媒体处理服务预置了40个一进多出转码模板和40个一进一出转码模板,涵盖了所有主流分辨率和码率。若您对音视频参数不是特别精通,建议选择使用系统模板。一进一出转码:指一个视频源文件在一个转码任务中输出一种辨率和码率的视频文件。                              一进多出转码:指一个视频源文件在一个转码任务中输出多种分辨率或码率的视频文件。系统一进多出模板最多支持9路不同分辨率和码率的输出,自定义的一进多出转码模板只支持6路输出。                                温馨提示:媒体处理的音视频转码使用指导请戳此处获取。视频点播-离线转码视频点播是一个集视频上传、自动化转码处理、媒资管理、分发加速、视频播放于一体的服务。您可以将音视频文件直接上传到点播服务,然后在点播服务中一键式完成转码操作。使用场景:若我们除了需要对音视频进行转码外,还需要音视频审核、分发加速、播放等功能,如转码后的音视频用于嵌入网页,则可以选择该服务。视频点播服务预置了4个系统模板,也支持一进多出转码,其中系统模板支持多种格式、分辨率和码率的编辑切换。                        温馨提示:视频点播的音视频转码使用指导请戳此处获取。视频直播-实时转码视频直播服务支持将一个直播流转换成另一个或多个直播流,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。使用场景:若我们需要开展直播活动,且希望不同直播平台都可以观看该直播,则可以选择使用该服务。                  转码套餐包媒体处理、视频点播和视频直播服务都提供了转码套餐包,其转码包可以分为如下几类:离线转码包- H.264标准转码包:仅使用的转码模板中视频编码格式为H.264,未开启高清低码时,可以抵扣其转码时长。- H.264高清低码转码包:仅使用的转码模板中视频编码格式为H.264,开启高清低码时,可以抵扣其转码时长。- H.265标准转码包:仅使用的转码模板中视频编码格式为H.265,未开启高清低码时,可以抵扣其转码时长。温馨提示:媒体处理的转码套餐包价格详情请戳这里。视频点播的转码套餐包价格详情请戳此处。实时转码包- H.264标准转码包:仅使用的转码模板中视频编码格式为H.264,未开启高清低码时,可以抵扣其转码时长。- H.264高清低码转码包:仅使用的转码模板中视频编码格式为H.264,开启高清低码时,可以抵扣其转码时长。   温馨提示:视频直播的转码套餐包价格详情请戳这里。如何选择转码套餐包?现在我们知道,支持转码的服务有多个,而各服务的转码又有多种,那么问题就来了,如何选择购买套餐包?在购买套餐包前,我们需要先确认如下几个问题:用于离线转码还是实时转码?是否需要加速分发功能?确定需要使用的视频服务,套餐包不支持跨服务使用。需要使用哪个区域的服务?确定使用服务的哪个区域,套餐包不支持跨区域使用。 转码需要输出的视频编码格式是哪个?确定是使用H.264转码包,还是H.265转码包,套餐包不支持跨编码格式使用。转码是否需要使用高清低码功能?确定是使用标准转码包,还高清低码包,套餐包不支持跨规格使用。      温馨提示:相比标准转码,高清低码在保证相同视频画质下,码率更低,一定程度上降低带宽成本。因此高清低码的单价更高。示例:我现在有一批视频文件存储在OBS桶中,我需要将这些视频转码成多种格式、分辨率和码率,输出编辑格式为H.264即可,无高清低码的需求。不知道要选择哪个区域。建议:购买媒体处理服务“华北-北京四”的H.264标准转码套餐包,使用时注意将媒体处理服务切换到“华北-北京四”即可。媒体处理套餐包购买通道:https://account.huaweicloud.com/usercenter/#/buyservice/commonCloud?pkgCode=mpc视频点播套餐包购买通道:https://account.huaweicloud.com/usercenter/#/buyservice/commonCloud?pkgCode=vod视频直播套餐包购买通道:https://account.huaweicloud.com/usercenter/#/buyservice/commonCloud?pkgCode=live
  • [公告] 国家广电总局发布4份5G高新视频系列技术白皮书(含下载地址)
    国家广播电视总局近日发布了4份5G高新视频白皮书,官方的表述中提到“为深化广播电视和网络视听供给侧结构性改革,培育打造更高技术格式、更新应用场景、更美视听体验的5G高新视频新产品新服务新业态”。DVBCN笔者结合目前已知的关于广电5G的顶层设计层面内容与个人的小拙见而形成了本文。    一、5G高新视频系列白皮书内容聚焦     何为“高新视频”?     这个概念从去年广电总局领导的多次会谈中便已经被提及,根据DVBCN的相关报道,在2019年8月26日时,“中国广电·青岛5G高新视频实验园区”通过政府引导、部省市三方共建的形式首次将“高新视频”映入大众眼帘;随后在2020年3月31日,湖南“5G高新视频多场景应用国家广播电视总局重点实验室”通过部省联合的方式正式挂牌。     按照官方确定的定义,5G高新视频是指5G环境下具有“更高技术格式、更新应用场景、更美视听体验”的视频。其中,“高”是指视频融合4K/8K、3D、VR/AR/MR、高帧率(HFR)、高动态范围(HDR)、广色域(WCG)等高技术格式;“新”是指具有新奇的影像语言和视觉体验的创新应用场景,能够吸引观众兴趣并促使其产生消费。         1、《5G高新视频—互动视频技术白皮书(2020)》    关键词:网络切片、智能编码     互动视频作为高新视频业态的重要组成部分,是指以“非线性视频”内容为主线,在“非线性视频”内容上开展的可支持时间域互动、空间域互动、事件型互动的内容互动视频业务,该业务具有分支剧情选择、视角切换、画面互动等交互能力,能够为用户带来强参与感、强沉浸度的互动观看体验。  下载链接:http://sme.miit.gov.cn/cms/document/attach_manager!download.action?id=8a8900c973ea2035017446cdfaad176a    2、《5G高新视频—沉浸式视频技术白皮书(2020)》     关键词:全场景、三维图像映射、三维声、DOCSIS组网     沉浸式视频作为高新视频业态的重要组成部分,是指一种采用裸眼观看方式获得身临其境感受,呈现画面覆盖人眼至少120°(水平)×70°(垂直)视场角的视频系统及具备三维声的音频系统。沉浸式视频通过播放器、投影幕或LED自显屏、多声道扬声器、播控系统等构建出超大视角、超高沉浸感的视听呈现系统,使观众能够同时获得周围多方位的视听信息,带来单一平面视频无法展示出的强大沉浸感,让观众真正有身临其境的感觉,应用场景丰富且形式多样。  下载链接:http://sme.miit.gov.cn/cms/document/attach_manager!download.action?id=8a8900c973ea2035017446ce2d69176b    3、《5G高新视频—VR视频技术白皮书(2020)》     关键词:AVSVR视频编码、6DoF     VR视频作为高新视频业态的重要组成部分,是指全景视频,如水平360°×垂直360°全景视频、水平180°×垂直180°全景视频等,用户可借助VR眼镜等虚拟现实设备观看全景视频,并获得身临其境的视觉感受。  下载链接:http://sme.miit.gov.cn/cms/document/attach_manager!download.action?id=8a8900c973ea2035017446ce7c4d176c    4、《5G高新视频—云游戏技术白皮书(2020)》     关键词:云计算、GPU、边缘计算     云游戏作为高新视频新型业务的重要组成部分,是指以云计算为基础的游戏方式,游戏在云端服务器上运行,并将渲染完毕后的游戏画面或指令压缩后通过网络传送给用户,用户可通过输入设备对游戏进行实时操作,获得全新的在线游戏娱乐体验。  下载链接:http://sme.miit.gov.cn/cms/document/attach_manager!download.action?id=8a8900c973ea2035017446cea679176d    二、广电5G前期部署频频展开,为规模化打好基础     中国广电5G受制于广电网络多方面的短板(如技术、基建、历史、资金、组织形式等),在实践层面上仍是无法快速启动商用的,根据中国移动老总的说法,双方还在就合作内容细节进行协商,2020年底仍无法启动规模建网。现阶段的进展,实际上还是以一些“小打小闹”似的5G试验基站、试验网等为主,大体已在湖北、贵州、陕西、北京、河北、湖南等省份的数座城市进行了小范围的部署测试。     在频谱方面,中国广电仍是目前世界上唯一具备2x30MHz以上700MHz频谱资源的5G网络运营商,凭借其覆盖广、成本低、绕射能力强等优势,可按照FDD模式实现在多场景的服务。未来将通过深挖700MHz频谱资源潜力,通过“700M广覆盖+4.9G容量覆盖+未来毫米波”的形式,依靠部署SA独立组网以支撑全业务服务,打造出一张广域连续覆盖的优质5G网络。     从2019年起,中国广电便成功将700MHz支持2*30M大载频带宽正式写入进了Rel-16标准,这也是全球首个5G低频段(Sub-1GHz)大频宽标准。随着R-16的冻结完成,中国广电还在推动R-17的标准立项,以期望支持5GNR广播特性。此外,中国广电在3GPPRAN4#93会议上,还联合了美国T-Mobile提交了5G600/700MHz终端四天线接收提案,将确保700MHz大尺寸终端可实现DLRx4天线,届时其接入速率及信号稳定性将提升近一倍,以实现系统性能突破。     在700MHz资源的探索中,中国广电已完成了如全球首个5G低频段(Sub-1GHz)大带宽标准、全球首个700MHz2x30MHz5G试验网、全球首个700MHz2x30MHz5G基带芯片网络能力演示、全球首个700MHz2x30MHz5G手机、我国首批通过型号核准的700MHz5G手机、CPE终端、工业模组、基站设备等成果。     除了700MHz频段外,中国广电也具备3.3GHz、4.9GHz频段的使用资质,通过与中国移动的合作,将能获得2.6GHz频段的补充,届时通过连续多段频谱能满足未来5G新场景业务需要。     在实践方面,中国广电5G实验室积极组织了相关技术验证、产品测试及融合业务开发等工作。如完成了全球首个700M2x30MHz终端性能验证,完成了业界首个基于700M5GVoNR下的语音通话,完成了700M+3.3G+4.9G协同组网测试,建成中国广电5G融合视频APP以及完成了广电5G网络测试平台的开发等。     广电5G商用的开展,更离不开前期产业链的支撑,因此中国广电已经组织完成了我国首批5G700MHz终端及系统设备的型号核准工作,首批获得工信部核准的5G700MHz设备已经公示,合作厂商涉及华为、中兴、vivo、爱立信、高通、联发科等产业伙伴,产品类别包括700MHz频段的基站设备、5G手机、CPE终端、工业模组等。其中,基站型号4个、手机型号10个、CPE终端型号2个、工业模组型号3个;芯片涉及了华为海思、高通、联发科等主流厂商。     三、广电5G的先期业务探索:高新视频娱乐场景     中国广电5G的架构及发展路径是以有线无线协同、广电通信协同、传播监管协同,进而推进实现差异化的发展。以中国广电云为基础,以中国广电互联互通平台为承载,努力打造移动终端、大屏终端以及新的工业互联网终端为主的协同发展模式,包括可管可控的安全网络、中国广电宽带电视等,重点将突出广电特色优势,推动制播升级、台网融合,以高新内容构建常态化直播内容。     随着泛在化的5G需求,正为行业的发展提供了新的动力,以消费电子终端(如智能手机、智能穿戴设备、智能家居等)、超高清视频(如4K/8K、VR/AR等)、云服务(以云计算为基础的服务方式)、车联网、工业互联网为代表的新兴业务形态将成为5G的可期支持场景。娱乐场景其实会先成为可涉足的领域,而车联网、工业物联、远程医疗等还需更长的周期得以实现。     据DVBCN的了解,其实在广电5G的目标定位中,就提到了要建立起包括“高新视频”在内的全新融合应用体系,未来将共同成为构建广电5G新场景应用的重要一环。广电总局确定5G高新视频四份技术白皮书,其实也意味着广电5G业务形态上将抢先聚焦的是娱乐场景,这也就回归了广电业务的内容本分,“内容为王”依然是广播电视与网络视听行业的亘古不变核心命题。      需注意的是,中国广电5G的策略中,将坚持在资产、经营和业务三个方面,推动5G赋能全国有线电视网络转型升级。统筹规划业务产品,协同布局市场体系,着力开展全国性业务孵化;从视频内容和科创文创出发,做好大小屏融合、多屏/跨屏服务,提供超高清4K/8K、虚拟/增强现实、物联网等新业务新业态,着力推动TV大屏与移动小屏的业务协同模式,促进广播电视及移动通信的深度融合和产业生态发展,推动广播电视人人通、终端通,促进从看电视模式到用电视模式的转变。突破传统电视形态,就更要确立起5G高新视频的技术体系,以满足可期的场景化需求。     四、高新视频可成为广电5G差异化业务场景实践     如前文中所提及的部分内容,中国广电引导下的全国有线电视网络运营商存在着诸多的短板,注定了其无法快速开展5G规模化部署及商用。三级基础电信企业,在这么多年的风风雨雨中,趁着数字红利的大背景,同时响应国家“三网融合”“宽带中国”“网络强国”等政策,无论是固网还是无线数据网络均取得了极为广阔的稳定市场份额,3G/4G红利驱动着移动上网用户渗透率向着极高的水平迈进。因此,广电入局移动通信注定是条颇为艰难的道路。     根据预计,2020年底国内将计划建设5G基站80万座,5G终端款数预计可超过500款,运营商们正在加快探索各类的5GC端及B端应用场景。广电5G尚未正式部署,未来对于策略的选择也至关重要,要从比较稳固的通讯运营商手中抢夺个人用户,还是较为困难的。而高新视频场景,则集结了沉浸式视频、VR、云游戏、互动场景等新的娱乐体验,通过构筑差异化的路线可以避开运营商的锋芒,具体表现于以下层面。     广电5G未来需要以内容服务为核心,通过5G技术下其独有的直播禀赋亦可作为差异化发展的主方向。广电网络经历了“制播分离”“台网分离”后,其运营能力在互联网的当下底气愈加不足。但广电的诸如新闻、重大赛事、综艺等内容制作的人才优势还在,未来仍可紧抓广电直播优势,从内容产出方面重新找准定位。     由于直播节目的时效性价值度颇高,5G的随时随地化服务是保证时效性的利器;5G的超大带宽也将使能新的特性,如多视角下的直播体验、直播与VR/AR等的结合等,将颠覆观看者的体验,进而进一步提升直播业务的价值。做好直播将能成为构建广电5G核心业务的竞争力。     除了内容,广电若面向C端用户,云游戏、VR、AR等是较为热点的5G业务。由于云游戏的本质实际上也是算力上云的过程,包括交互性在线视频流都将对云化的需求提升,未来更能打破终端的限制,实现用户流量聚合。初期,云游戏的订阅收入占比较低,但由于其弱化了渠道作用,诞生出了云游戏运营商的新角色,将有望改变现有的流量产业链。     而VR/AR业务,目前仍处于市场的培育阶段,广电有望从自身的优势制作领域切入,逐步在多个环节进行布局。起步期阶段,可以独有的版权音像资源切入内容制作环节,如将历史、文化、教育、旅游等优质资源进行二次创作,乃至实现内容出海;而在成熟期,可利用内容制作环节优势向产业链下游布局,如借用制作、内容运营两环节打通产业链其他环节。     未来的商用阶段,广电5G还要建立包括多量纲计费、切片计费、API计费、场景计费等模式,以满足不同层次客户的需求。5G切片运营也是广电5G需要不断探索的技术手段,通过构建5G切片的模板定义、创建、开通、计费体系等,进而实现基于切片的运营。当然,广电5G实际上也已明确了5G专网、边缘计算云台等构建体系,在实践层面上积极与多方协作,还是可以实现差异化发展的。  来源:DVBCN作者:张晓宝
  • [公告] 华为发布在线协同音视频会议教育平台:LinkNow
    在2020年由于疫情的原因,很多人不得不“在家办公”、“云直播学习”。因此像钉钉、腾讯会议等等用的特别的频繁。那么近日华为也将推出一款在线协同音视频会议教育平台―LinkNow。快看看它有哪些具体的功能的吧! 近日,华为应用市场出现了一款名为L1nkNow的应用程序,根据介绍,它是华为公司为终端用户提供的多场景在线协同与在线教育服务平台,融合消息、会议、直播、在线教学等功能与服务。应该来看和WeLink有些类似,不过WeLink注重办公会议场景,LinkNow可能偏向于教育教学。   据了解,在一次“科技助力教育普惠”的全球教育在线论坛上,现场分享了中国、法国、卢森堡、塞内加尔、南非等国家的实践与经验。其中,UNESCO政策与终身学习系统总监Borhene Chakroun强调,“全球至少有6300万中小学老师受到新冠疫情的影响,亚需增强远程教育的能力;而远程教育将会成为今后教育、教师培训不可或缺的组成部分。’‘塞内加尔国家教育部信息管理系统负责人SeyniNdiayeFa“在远程学习确保教育连续性”话题讨论环节表示:在塞内加尔的“在家学习”项目中,由联合国教科文卫组织牵头的全球教育联盟为塞内加尔教育部提供了设备和设施,还为教师和学生提供了培训,其中华为为塞内加尔教育部免费提供了平板以及远程教育学习平台Link Now。
  • [最新动态] 【获奖公示,附带抽奖视频】【IoT畅学物联网】——设备接入服务(IoTDA)实践(发布实验截图和心得等有机会赢取丰厚奖品)
     一等奖1名:京东e卡200元                                二等奖2名:京东e卡100元              三等奖3名:京东e卡50元抽奖视频已经上传到附件一等奖获得者:截图贴第9楼   Mr Z 二等奖获得者:截图贴第17楼 walker0,第29楼eerlis 三等奖获得者:主贴第101*10%=10.1=10楼     small hole,101*50%=50.5=51楼     猪,你的鼻子很大,101*90%=90.9楼=91楼   macbook获奖用户请在9.10前发送邮件给(iotcooperation@huawei.com)这个邮箱,并说明:活动名称,活动链接,所获奖品,联系方式,最后提供华为云实名认证截图
  • [技术干货] AV1解码器模型
    为什么编解码器需要解码器模型   大多数现代视频编解码器都具有某种形式的解码器模型。在MPEG-2中,它被称为视频缓冲验证器(VBV);在H.264 / AVC和HEVC / H.265中,它可以称为假设参考解码器(HRD)。解码器模型提高了互操作性。解码器模型允许确认一个比特流是否可以被一个特定的解码器解码。这些模型还可以向解码器提供关于何时开始解码帧以能够及时显示它的指令。通常来说,视频解码器声明支持某个配置文件和级别。配置文件可以指定有关比特深度和色度二次采样的视频格式,以及解码器需要支持的以解码比特流的一组编码工具。级别描述了视频比特流的定量特征,例如分辨率,帧速率和比特率。对于视频编解码器生态系统而言至关重要的一点是,表明支持某个级别的解码器是否能够解码符合该级别要求的任何比特流,并且内容提供商和编码器制造商可以检查其生成的流是否符合这些要求。为了实现这些目标,由开放媒体联盟(AOM)开发的AV1规范定义了与配置文件和级别系统耦合的解码器模型。AV1解码器模型包括平滑/位流缓冲区,解码过程以及对解码后的帧缓冲区的操作。这篇文章可以作为AV1规范中与解码器型号和级别有关的部分的简介。本文的其余部分描述了一些AV1基本概念,AV1解码器模型,并提供了开发它时做出决策的原因。有关解码器模型的更多详细信息,请阅读AV1规范。 AV1比特流的高级结构   在更高级别上,AV1结构以开放比特流单元(OBU)打包。每个OBU都有一个标头,该标头提供标识其有效负载的信息(请参见图1)。可以在AV1视频比特流中出现的OBU类型的示例是序列头OBU,帧头OBU,元数据OBU,时间定界符OBU和图块组OBU。帧OBU由打包到一个OBU中的帧头和图块组OBU组成,以提供一种通用结构的更有效表示,其中帧头数据后紧跟着帧或图块组数据。 根据语法元素show_existing_frame的值,AV1帧头可以分为两种主要类型。  show_existing_frame等于0的帧头是需要解码的常规帧。show_existing_frame等于1的帧头指定了在该帧头中指定的显示时间显示先前解码的帧(由frame_to_show_map_idx表示)的命令。当解码顺序与显示顺序不同时,该机制有助于帧重新排序。另一个AV1概念是时间单元(TU),它由时间定界符OBU和在此之后且在下一个时间定界符OBU之前的所有OBU组成。TU始终遵循递增的显示顺序。如果未使用可伸缩性,则TU仅包含一个显示帧,即show_existing_frame等于1或show_frame等于1的帧。如果使用了可伸缩性,则TU中来自不同可伸缩层的所有显示帧都对应于相同的呈现时间。  一个TU也可以包含show_frame标志等于0的帧。此类帧会被解码但不会立即显示。它们用于支持如上所述的帧重排序。类似地,也可以发送覆盖帧,该覆盖帧会对先前解码的帧(称为替代参考帧(ARF))与源帧之间的差异进行编码。AV1比特流的这一方面类似于VP9编解码器中的超帧。在图2中显示出了将比特流划分为时间单元的示例。在该图中,帧编号按照显示顺序编号。比特流使用具有三个时间层的4帧的双向层级预测结构。show_frame等于0的帧显示为青色框,show_frame等于1的帧显示为深绿色框。FrameHdr 2是show_existing_frame标志等于1的帧头,该帧指向先前解码的Frame 2。 平滑缓冲 平滑缓冲   平滑缓冲器是AV1解码器的一部分,用于存储AV1比特流,直到压缩数据被解码器解码完毕为止。缓冲区由所谓的“漏桶”模型构成。漏桶的类比和编码器的操作有关,在压缩器中,压缩帧被分块转储到缓冲区中,并且数据以恒定速率连续离开缓冲区。解码器缓冲区是编码器之一的对应部分。注意,平滑缓冲器是解码器内部的。通常来说,解码系统会在更高级别上具有其他缓冲区,这些缓冲区不在AV1规范的范围内。从解码器模型的角度来看,可以将较高级别的缓冲区视为传输通道中造成总延迟的一部分。例如,从解码器的角度来看,与自适应流式传输有关的缓冲将被视为传输通道的一部分,在本文中不再讨论。而且,可能经常出现预先准备编码的比特流,而这会使延迟相当长。但是,对于模型而言,这样的长延迟通常不是问题,因为它在方程式中被抵消了。平滑缓冲区可确保解码器具有足够的内部存储器来存储到达(或读取)的位流的数据。当解码器需要时,它还确保下一帧的压缩数据在缓冲区中。平滑缓冲器的大小限制了瞬时比特率的变化,并限制了帧数据消耗的时序。AV1解码器模型仅支持可变比特率(VBR)操作模式,而不支持恒定比特率(CBR)模式。解码器模型的VBR模式是一种抽象模式,其中速率在最大级别比特率和零之间交替。听起来可能有限制。但是,此模型足以确保在最坏的情况下确保比特流与解码器功能匹配。平滑缓冲区充满度随时间变化的示意图如图3所示。时钟从与帧0有关的第一个比特的到达开始。斜线的斜率与比特到达的速率相对应。Removal 对应于从缓冲区中删除帧i的数据并开始解码帧i的时刻。注意,可能会有一段时间没有新的比特到达,例如Removal [1]之后的时间。这与编码器没有要发送的位(即编码器缓冲区为空)的时间段匹配。   帧i的removal 是根据两种解码模式之一来定义的。在解码调度模式下,这些值在比特流中用信号发送。在资源可用性模式下,根据解码器操作导出Removal 。解码的开始,即Removal [0],由两种模式中的变量decoder_buffer_delay确定。在时间Removal 时从解码缓冲区中删除的比特属于可解码帧组(DFG)i,即与帧i − 1相关的最后一个OBU的末尾与与帧i相关的最后一个OBU的末尾之间的所有OBU 。DFG中的OBU可以包括序列头OBU,帧和图块组OBU,帧头OBU和元数据OBU。DFG i的第一位到达平滑缓冲区由FirstBitArrival 确定,该值如下所示: FirstBitArrival[ i ] = max ( LastBitArrival[ i − 1 ], LatestArrivalTime[ i ] ). Respectively, arrival of the last bit of the DFG i is found asLastBitArrival[ i ] = FirstBitArrival[ i ] + CodedBits[ i ] ÷ BitRate. Finally, LatestArrivalTime[ i ] is determined asLatestArrivalTime[ i ] = ScheduledRemoval[ i ] − ( encoder_buffer_delay + decoder_buffer_delay ) ÷ 90 000.关于后一个表达式中coder_buffer_delay和decoder_buffer_delay之间关系以及其他有用的信息可以从Ribas-Corbera et al, 2003中找到很好的解释。该模型假设一个编码器具有一个以恒定速率发送比特的平滑缓冲器,并且一个解码器带有一个以该比特率接收比特的平滑缓冲器。通常来说,encoder_buffer_delay和decoder_buffer_delay的作用是确定帧的编码和解码之间的延迟,因此限制了比特流存储在解码器缓冲区中的“窗口”(通过网络/信道进行的传输是排除在外的)。由于缓冲区大小设置为比特流在最大级别比特率下的1秒,因此建议不要将这两个变量的总和超过90 000,这相当于时钟频率的1秒。当low_delay_mode标志等于1时,解码器在低延迟模式下运行,在该模式下,帧数据在预定的移除时间可能还不在缓冲区,在这种情况下,移除时间会延迟,直到数据到达缓冲区。除非处于低延迟模式,否则平滑缓冲区不应下溢。平滑缓冲区也不应溢出。这些限制适用于所有一致的比特流。解码帧缓冲区  帧缓冲器用于存储解码后的帧,以便可以将它们用于帧间预测或之后的显示。AV1定义了一个缓冲池,该缓冲池代表帧缓冲区的存储区域。AV1帧缓冲区的管理示意图如图4所示。AV1规范要求解码器支持10个物理帧缓冲区。帧缓冲器的时隙应能够以对应级别的最大分辨率存储帧。虚拟缓冲器索引(VBI)用于指向图片间预测中的帧。VBI可以在帧缓冲池中存储8个帧索引。并且允许不同的VBI条目指向同一缓冲区。空的VBI条目值为-1。当前帧缓冲区索引(cfbi)将索引存储到正在解码当前帧的帧缓冲区。注意,有一个“额外的”物理帧缓冲区,可用于保存帧以用于显示。  数组DecoderRefCount和PlayerRefCount(图4中的前两行)分别跟踪解码和显示过程是否仍需要帧缓冲区。DecoderRefCount跟踪对VBI中的帧缓冲区的引用数,并由语法元素refresh_frame_flags更新,而当帧在上次演示时已显示时,PlayerRefCount设置为0。空帧缓冲区和相应的计数器在图4中显示为白色方块。帧缓冲器对视频帧的解码和表示施加了限制,从而限制了编码器可以使用哪些预测结构和帧的重新排序。通常来说,10个帧缓冲区允许支持相当复杂的预测结构。解码器模型在应显示该帧时会验证该帧是否可用,并且在应解码一帧时在缓冲池中有一个空闲位置。解码过程  AV1解码器模型的解码过程将对平滑缓冲区和解码器帧缓冲区的操作联系在一起。特别地,解码器模型确定何时开始帧解码以及从平滑缓冲器中移除帧比特,这立即使平滑缓冲器的饱和度降低了相应的量。解码器模型还会计算解码何时完成,并将解码后的帧添加到帧缓冲区。它还确定何时为显示输出帧并将其从缓冲区中移除。AV1的一个特点是广泛使用替代参考帧(ARF),即用作预测参考但从未显示过的帧。此外,AV1在主配置文件中支持参考图片的缩放和可伸缩性。这意味着该模型应适应帧解码所需的不同时间,并支持不同的帧解码和显示速率。请注意,即使H.264和HEVC允许显示不可显示的图片,但这并不是这些编解码器的典型用法,而在AV1中,这是一种典型的使用情况,需要解码器模型很好地支持。   图5中展示了使用ARF进行编码的示例。该图显示了sub-GOP大小为4的双向层级结构编码。可显示的帧显示为灰色矩形。不显示的替代参考帧(ARF),用白色矩形表示。通常,该帧是在相同时间位置的帧的滤波版本,这为帧间预测带来了优势。由于对ARF进行了低通滤波,因此可以使用ARF作为预测因子对覆盖帧(图5中的OL)进行编码。覆盖帧会添加高频和纹理信息。为了支持替代参考帧和不同分辨率的帧,AV1解码器模型引入了以下功能:l在解码器中使用不同数量的时间单位并显示时钟节拍的可能性。注意,图5中的显示时钟节拍(DispCT)和解码时钟节拍(DecCT)具有不同的长度,因为解码和显示速率不同。解码器和显示刻度均使用相同的时标,并且时钟已同步l帧不会立即解码,并且根据帧分辨率和其他因素,可以有不同的时间可以看到,图5中的解码和显示时间轴使用了不同的时钟节拍。显然,在显示帧之前需要完成每个帧的解码。为了确保将来有可用的帧,编码器可以使用initial_display_delay_minus_1,该参数对应已解码的帧数减去在显示第一帧之前帧缓冲区中应可用的帧数。此参数相对于解码偏移了显示过程。如果未发信号,则将initial_display_delay_minus_1的值推断为BUFFER_POOL_MAX_SIZE −1。总的显示延迟包括coder_buffer_delay,它与图3中的变量相同,是从第一个比特到达到开始解码帧0之间的时间,即Removal [0]。解码帧i所需的时间确定为:TimeToDecode = lumaSamples ÷MaxDecodeRate,其中,MaxDecodeRate以样本/秒为单位进行测量,并由每个解码器级别指定。依次为帧内预测帧计算lumaSamples,如下所示:lumaSamples = UpscaledWidth * FrameHeight 。UpscaledWidth是使用可选的超分辨率工具后的帧的宽度。对于帧间预测帧,在参考图片重采样的情况下,考虑到来自分辨率更高的帧的可能运动补偿,可以确定此数量,如下所示lumaSamples = max_frame_width * max_frame_height。在可伸缩比特流中,将lumaSamples确定为当前可伸缩层的最大宽度和高度的乘积。除了知道帧解码需要花费多长时间之外,解码器模型还需要确定何时开始解码以及从平滑缓冲区中删除压缩帧,即Removal 。关于如何计算Removal ,AV1具有两种不同的模式。这两种模式是以下描述的资源可用性模式和解码调度模式。   资源可用性模式  在资源可用性模式中,如果在解码的帧缓冲区中有可用的空闲位置,则在完成前一帧解码之后立即解码一帧。否则,在一个位置释放后对帧进行解码。如果比特流低于解码器的最大级别限制,则逐帧解码这些帧,直到它们填满所有可用的帧缓冲区,此后解码速度会减慢。然后,仅在解码的帧缓冲区释放后,才进行下一帧的解码。帧0的删除时间由decoder_buffer_delay确定:Removal[ 0 ] = decoder_buffer_delay ÷ 90 000要使用资源可用性模式,应在比特流中设置以下参数:Timing_info_present_flag = 1,decoder_model_info_present_flag = 0,并且equal_picture_interval =1。标志equal_picture_interval等于1表示使用了恒定的帧速率,并且不发送显示时间。而是从帧速率和initial_display_delay_minus_1得出显示时间。解码定时Removal 由解码的帧缓冲器可用时的时刻来决定,并且也不发信号通知。一些解码器模型参数在资源可用性模式下采用默认值,例如,encoder_buffer_delay = 20 000,decoder_buffer_delay = 70 000,low_delay_mode_flag = 0。解码调度模式  在解码调度模式下,除了帧显示时间之外,还在视频比特流中用信号发送解码时间Removal 。该模型灵活地定义了何时从平滑缓冲区中删除帧并对其进行解码,以及何时显示该帧。除了使用恒定的帧速率外,该模型还可以通过显式发送帧表示时间来支持变化的帧速率。除此之外,解码器时钟节拍DecCT以及decoder_buffer_delay,encoder_buffer_delay和ScheduledRemovalTiming 也以这种解码模式发送信号。在这种模式下,帧i的计划删除时间如下所示。ScheduledRemovalTiming [0] = encoder_buffer_delay÷90 000。ScheduledRemovalTiming = ScheduledRemovalTiming [PrevRap] + buffer_removal_time * DecCT,其中PrevRap是先前的随机访问点(RAP)。如果帧i对应于RAP,但不是比特流中的第一帧,则PrevRAP对应于先前的RAP。这里的随机访问点是指比特流中的一个位置,可以从中解码该比特流。它通常对应于一个关键帧,并且应包含所有开始解码位流所需的信息,包括序列头。除非解码器在低延迟模式下运行,否则删除时间与计划的删除时间一致Removal = ScheduledRemovalTiming 。为了支持可伸缩性,解码器模型针对每个工作点(OP)单独发出信号。工作点与某个可伸缩层的解码及其解码所需的较低可伸缩层有关。比特流中较高的工作点可能需要使用符合较高级别的解码器。  解码器模型的两种模式之间的差异  可以注意到,解码调度模式下的解码器操作是资源可用性模式下的解码器操作的超集。编码器应该有可能用信号通知在资源可用性模式中可能已经导出的相同Removal 。解码时间表模式也可以用于控制帧解码时间表。图6示出了当比特流需求低于最大等级能力时的情形。在资源可用性模式下,将帧依次解码,并且当帧缓冲区中没有剩余空闲时隙时,解码速度会变慢。在解码调度模式下,可以以恒定速度解码比特流。注意,当解码器接近其最大能力工作时(例如,比特流接近于等级限制的分辨率和帧率),两种模式下的解码器操作是相似的。   另外,可以使用解码调度模式来更好地控制平滑缓冲区的饱和度(见图7)。该图说明了平滑缓冲区充满度如何随时间变化,取决于参数coder_buffer_delay和decoder_buffer_delay的值。该图使用1920×1080的视频,每秒24帧,编码为4.0级AV1比特流。选择符合8帧分层预测结构的帧大小;该示例已构建,并不代表任何特定的视频编码。最大的平滑缓冲区容量由水平虚线显示。  图7(a)显示了encoder_buffer_delay = 20 000,decoder_buffer_delay = 70 000时随时间变化的缓冲区充满度,它们等于资源可用性模式中使用的默认值。  通过减少coder_buffer_delay,可以更早开始解码,这在图7(b)中通过使用encoder_buffer_delay和decoder_buffer_delay均等于45 000进行了演示。请注意,encoder_buffer_delay与decoder_buffer_delay的总和等于90 000,这对应于1秒,即平滑缓冲区可以保持的最大级别比特率下的比特流持续时间。  通过使用参数coder_buffer_delay = 10000,decoder_buffer_delay = 45000,也可以将缓冲区充满度保持在较低水平,如图7(c)所示。 显示时间   AV1的显示时间通过frame_presentation_time语法元素发出信号。实际的显示时间还取决于InitialPresentationDelay,其计算方式如下:PresentationTime [0] = InitialPresentationDelay,PresentationTime [j] = PresentationTime [PrevPresent] + frame_presentation_time [j] * DispCT,其中,如果前一个RAP是关键帧RAP,则PrevPresent对应于与最后一个关键帧随机接入点(RAP)关联的索引;如果前一个RAP是延迟RAP,则PrevPresent对应于延迟恢复点(即对应于前向关键帧/open-GOP)。延迟的恢复点对应于open-GOP中的关键帧的显示时间。InitialPresentationDelay依次确定如下:InitialPresentationDelay =Removal[initial_display_delay_minus_1] + TimeToDecode [initial_display_delay_minus_1]。换句话说,InitialPresentationDelay是帧缓冲区中存在initial_display_delay_minus_1 + 1个解码帧的时间。当equal_picture_interval等于1时,使用恒定帧率模式,并且大于0的帧j的显示时间推导如下: PresentationTime [j] = PresentationTime [j − 1] +(num_ticks_per_picture_minus_1 + 1)* DispCT,其中PresentationTime [j-1]指的是显示顺序中的前一帧。如上导出PresentationTime [0]。  解码器模型信令  解码器模型参数主要在序列和帧级别上发出信号。序列标头可以包括Timing_info()结构,该结构包含显示时序信息。基本的解码器模型信息位于decoder_model_info()结构中。除此之外,还可以在序列头中用信号发送一个或多个操作点(OP),以实现可伸缩的比特流。每个OP对应于解码该OP所必需的解码器级别,并且可以可选地被分配一组解码器模型参数。Timing_info()结构包含时间刻度和显示刻度号num_units_in_display_tick中的时间单位数,而coder_model_info()结构包含解码器刻度号num_units_in_decoding_tick中的单位数以及其他解码器模型语法元素的长度。这两个语法元素将DispCT和DecCT变量的持续时间定义为:DispCT = num_units_in_display_tick÷time_scale,DecCT = num_units_in_decoding_tick÷time_scale。operating_parameters_info()结构包含用于操作点的 encoder_buffer_delay 和decoder_buffer_delay 以及低延迟模式标志。如果使用解码器模型,则可以在帧头中为选定的工作点发信号通知以解码时钟节拍为单位的buffer_removal_time。帧头中的temporal_point_info()结构包含frame_presentation_time语法元素,该元素以显示时钟节拍表示信号的显示时间。 AV1等级  在撰写本文时,AV1规范定义了2.0到6.3级,该级别大致涵盖了将视频从426×240 @ 30fps解码到7680×4320 @ 120fps所需的解码器功能。解码器模型将比特流和解码器一致性统一到了一定水平。AV1级别声明支持某种帧分辨率(一帧中的样本数),解码以及显示的采样率。与解码器模型相关的其他级别参数包括最大比特率和帧头速率。级别可以属于两个级别(主级别和高级级别)之一,其中高级级别具有比主级别更高的最大比特率,并且面向专业和特殊应用。最大比特率直接定义了平滑缓冲区的大小,该平滑缓冲区应能够以最大级别的比特率保持最多1秒的压缩流。由于对一致的比特流不允许缓冲区上溢或下溢,因此这对峰值比特率施加了限制。除此之外,还规定了帧的最小压缩率。声称符合某个级别的比特流,如果通过解码器模型,则不应违反约束。顺便说一句,相应的解码器应能够解码相同或更低级别的任何顺应性比特流,只要该比特流符合AV1规范(包括通过相应级别的解码器模型测试)即可。可以在此Wikipedia链接上找到AV1级别的表,尽管通常推荐的来源是AV1规范。  进一步阅读  这篇文章介绍了AV1解码器模型。它还提供了一些有关在开发时进行的设计选择的背景。在AV1规范(https://aomediacodec.github.io/av1-spec/av1-spec.pdf)中可以找到AV1解码器模型的完整描述和更多细节。      来自:livevideostack链接:https://www.livevideostack.cn/news/wechat0724/
  • [迁移工具] 鲲鹏开发套件教学视频来了,欢迎大家在线观看。
    鲲鹏开发套件开发团队制作了一批教学视频,演示工具的使用方法,已发布到华为云网站,链接如下:https://support.huaweicloud.com/kunpengdevps_video/kunpengdevps_video.html具体的内容见下面的截图:教学视频后续还会继续更新和扩展,欢迎大家反馈对这方面视频的意见、建议和需求。我们将尽最大努力满足大家的需求。
  • [技术干货] 3步对手机实时视频流做AI分析
    使用的华为云服务:视频接入服务VIS、视频分析服务VASVAS提供了常见视频AI算法的分析能力,VIS提供了实时视频上云能力,两者结合便可对手机实时视频做AI分析。Step1:在VIS中创建一个rtmp类型的视频流,并激活.vis 控制台: https://console.huaweicloud.com/visStep2:在视频流详情中,获取到对应的rtmp推流地址,并设置到手机推流app中(比如android上的杏林推流).手机APP开始推流后,会在vis看到推流信息.Step3:登录到视频分析服务VAS控制台,选择一个支持VIS输入的算法,比如“云上人脸提取”(注:该算法处于邀测状态,需联系华为开通邀测)创建一个该算法的分析作业,在输入选择处,可以就选择刚才我们激活的视频流了。设置好其他分析参数后并创建该分析任务后,便可以通过该视频分析算法对手机摄像头的实时视频做AI分析了。VAS 控制台:https://console.huaweicloud.com/ivaEnjoy It!
  • [技术干货] 案例分享-XXXX总部华为视频会议定价-项目方案展示
    XXXX总部华为视频会议定价-项目方案展示某上市企业视频会议方案整体方案中,平台为华为云平台,所使用的的产品华为BOX300+华为Camera 200+华为MIC 500
  • [传感器适配] canfd abstract示例视频找不到了
    canfd abstract示例视频找不到了,能不能提供一个新的视频链接
  • [技术干货] 视频会议所需带宽
    720P(1280×720)单幅图像照片的数据量每像素用24比特表示,则:720P图像照片的原始数据量= 1280×720×24/8/1024=2700 KByte视频会议活动图像的数据量国内PAL活动图像是每秒传输25帧数字动态图像是由I帧/B帧/P帧构成。其中 I 帧是参考帧:可以认为是一副真实的图像照片。B帧和P帧可简单理解为预测帧,主要是图像的增量变化数据,数据量一般较小极限情况下,25帧均为 I 帧,即每帧传输的图像完全不同则:720P活动图像的每秒传输的极限数据量= 2700 KByte×25 = 67500 KByte/S转换成网络传输Bit流 = 67500×8 = 540000 Kbit/S,即528M的带宽在实际视频会议应用中,由于有固定场景,因此以传输增量数据为主(传输以B帧和P帧为主),一般在10%-40% 之间,40%为变化较多的会议场景计算如下:增量数据在10%的情况下,原始数据量= 2700 KByte×10%×24×+ 2700 KByte =9180 KByte/s = 72 Mbit/s增量数据在20%的情况下,原始数据量= 2700 KByte×20%×24×+ 2700 KByte =15660 KByte/s = 123 Mbit/s增量数据在40%的情况下,原始数据量= 2700 KByte×40%×24×+ 2700 KByte =28620 KByte/s = 224 Mbit/sH.264压缩比H.264最大的优势是具有很高的数据压缩比率,在同等图像质量的条件下,H.264的压缩比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍举个例子,原始文件为88GB,用MPEG-2压缩后为3.5GB,压缩比为25∶1,而采用H.264压缩后为1.1GB,从88GB到1.1GB,H.264的压缩比达到惊人的80∶1采用H.264压缩后的净荷数据量视频会议中都对原始码流进行编解码压缩,采用H.264,压缩比取80:1计算如下:在10%的情况下,压缩后的净荷数据量= 72/80 = 0.9 Mbit/s在20%的情况下,压缩后的净荷数据量= 123/80 = 1.6 Mbit/s在40%的情况下,压缩后的净荷数据量= 224/80 = 2.8 Mbit/s采用H.264压缩后的传输数据量加上网络开销,传输数据量= 净荷数据量* 1.3在10%的情况下,压缩后的传输数据量 = 0.9 * 1.3 = 1.17 Mbit/s在20%的情况下,压缩后的传输数据量= 1.6 * 1.3 = 2.08 Mbit/s在40%的情况下,压缩后的传输数据量= 2.8 * 1.3 = 3.64 Mbit/s网络传输带宽如何计算根据录像要求(录像类型、录像资料保存时间)计算一台硬盘录像机所需总容量计算方法:计算单个通道每小时所需的存储容量q,单位Mbyte  q=d÷8×3600÷1024其中d是码率(即录像设置中的“位率/位率上限”),单位Kbit/s1确定录像时间要求后单个通道所需的存储容量m,单位Mbyte   m=q×h×D其中 h是每天录像时间(小时) D是需要保存录像的天数1转载文章,来源https://blog.csdn.net/lluozh2015/article/details/52224520
  • [大赛专区] 山东啤酒配送学习赛幸运星抽奖公布
    8月14日抽奖视频:8月28日抽奖视频:9月11日抽奖视频:9月25日公示视频见QQ群:113660503810月9日公示:
  • [技术干货] 华为视频会议TE40亮点!
    1.多种特色功能,智能、简单易用,满足客户多种需求2.支持两点变多点,点对点呼叫过程中添加第三方接入,或者被呼叫接入到多点会议中,无需挂断,减少操作,提高会议效率3.支持双声道宽频语音AAC-LD、独有的回声抵消和噪声抑制技术,提供高保真语音效果4.支持终端和TE Desktop&TE Mobile使用相同的SIP号码注册,实现一号多用,节省号码资源5.无需MCU,关键现在中英不用尴尬了:6.持中英文语音呼叫功能,通过说出会场名称,可直接入会,简单方便7.支持无线数据共享,无需通过线缆连接计算机和终端,用户借助无线数据共享客户端,轻松实现数据共享其实吧我感觉人性化的界面和遥控器设计还不错,设计感满满!!还有就是支持USB自动配置,就是不用以前那种很麻烦的方式了,现在直接u盘一插就可以立马用,神奇!