• [技术干货] 《谭谈CANN》视频链接合集(转载)
     2021年华为云开发者社区的十佳主播谭涛,学员们都尊称他为“老谭”,他有个B站账号,叫做“起飞的老谭”。( https://space.bilibili.com/668461244 )作为资深的CANN讲师,老谭不遗余力地为大家讲述着CANN的前世今生。【谭谈CANN第一期】老谭拍了拍你,8分钟一起了解昇腾AI异构计算架构CANN  https://www.bilibili.com/video/BV1LM4y1574x【谭谈CANN第二期】在吗?一起看看what CANN can?  https://www.bilibili.com/video/BV1nQ4y1k7dz【谭谈CANN第三期】哦豁~CANN5.0来辣!!!https://www.bilibili.com/video/BV1sQ4y167DW【谭谈CANN第四期】黑白老电影,必须给你点颜色CANN CANN!https://www.bilibili.com/video/BV1yL4y1i7SS【谭谈CANN第五期】大 力 出 奇 迹 !设备上搭载了昇腾+CANN,究竟能有多大力?https://www.bilibili.com/video/BV1tQ4y1m7iX【谭谈CANN第六期】专 业 团 队!老谭带你探秘黑科技实验室https://www.bilibili.com/video/BV1cq4y1z7LU【谭谈CANN第七期】来之不易的一杯水,全靠算力虚拟化技术 https://www.bilibili.com/video/BV1H34y167UM希望大家对这个系列能够“一键三连”~~(编辑:张辉)注:相关视频版权属于原作者。
  • [文档] 【M+ Pro行业基础服务】视频异常检测
    视频异常检测业务背景和能力介绍       视频回传+远程操控是5GtoB在工业领域的一个典型应用场景。不同于传统的视频监控,远程操控场景对于回传视频的质量有更高的要求。回传视频的卡顿、花屏、时延等质量问题,会影响到操控准确性,严重的会影响到业务的正常安全运行。       传统的5G业务保障通过对网络性能指标监控来实现,通过网络质量推断业务质量。缺乏直接的业务故障感知途径。       M+ Pro提供视频异常检测能力,实时分析回传的视频流,使用计算机视觉AI技术分析视频画面内容,直观精准判断视频是否发生卡顿、花屏等质量问题。从而支撑后续的视频故障精准定界定位,保障业务的安全正常运行。技术方案实时检测:接入视频流实时计算得到结果精准结果:对视频流抽帧,使用CNN算法计算得到定量视频质量花屏、卡顿度分数,结合异常阈值学习给出精准异常判断高并发:高性能算法和GPU加速,实现多路视频同时处理灵活部署:既支持云服务调用,也支持边缘节点部署,满足实时响应和数据隐私保护的需求可扩展:服务支持容量弹性伸缩扩应用场景1、港口无人集卡车远程操控视频异常检测       XX港口的无人驾驶集卡车通过5G网络连接到远控中心,操作员在远控中心通过车载摄像头回传视频对卡车进行远程实时操控。5G网络质差导致的回传视频卡顿花屏会影响远程驾驶,严重时会导致集卡车急停。       我们使用视频异常检测服务监控回传视频画面质量,实时精准捕捉到画面卡顿、花屏质差问题,为运营商对5G网络的质差的定位和优化提供了有力的数据支撑。2、钢厂自动转钢回传视频异常检测       XX钢宽厚板轧制过程中,使用摄像头监控结合AI图像识别,取代人力自动完成钢坯的转动控制。网络问题造成的转钢回传视频卡顿,会导致AI自动转钢业务中断。业务中断无法及时发现,依赖企业提供回放视频录像回溯。       针对自动转刚场景,我们使用视频异常检测服务监控转钢视频,及时发现网络质差造成的卡顿,实时告警通知运维人员处理,避免转钢业务中断。查看M+ Pro(园区智慧运营平台)更多行业基础服务,可点击:企业数据接入与集成  视频接入 KPI异常检测  室内定位  注:如果您有任何疑问、意见或投诉,请发送邮件至cmepluspro@huawei.com与我们联系。
  • [技术干货] 《昇腾CANN文档速递》往期精彩回顾视频
    https://www.bilibili.com/video/BV14q4y1A71N?share_source=copy_web
  • [文档] 【M+ Pro行业基础服务】视频接入
    视频接入视频接入服务是M+ Pro提供的实时视频数据接入服务,提供了摄像头视频数据采集、抽帧和视频数据转储等能力。借助视频接入服务,可以与M+ Pro的AI中台集成,快速构建基于实时视频数据的智能分析应用。功能介绍      1.视频流采集接入:       支持业界主流摄像头和NVR服务器视频流(RTSP、RTMP协议)数据接入。      2.实时播放       视频接入后,支持浏览器或者播放器中实时播放视频,浏览器或者播放器支持HTTP-FLV的视频直播协议。      3.安全机制       视频接入支持安全认证,数据播放支持HTTPS安全协议,支持视频播放心跳检测和鉴权。      4.视频抽帧       支持自定义周期的视频流自动抽帧,并将抽帧图片实时转储至MINIO存储中,供AI应用分析。      5.视频转储       支持视频流数据转储至MINIO存储,供AI应用分析。技术方案应用场景查看M+ Pro(园区智慧运营平台)更多行业基础服务,可点击:企业数据接入与集成 KPI异常检测 视频异常检测室内定位 注:如果您有任何疑问、意见或投诉,请发送邮件至cmepluspro@huawei.com与我们联系。
  • [技术干货] 从物联网工厂到手术室:如何设计更好的通信系统
    工业4.0的基础是可靠的通信基础设施。决策者通过基础设施从机器、现场设备和工厂提取数据。要保证机器人和人机接口的可靠性,先要深入了解底层技术选项。工厂车间和手术室虽然截然不同,但所使用的设备都必须可靠、精准地运行,这对于所执行的任务至关重要。随着设备需要更智能的系统、更多数据和更高的保真度,它们对带宽的需求也不断增加。与此同时,速度更快的通信接口必须在抵抗环境危害和电磁兼容性(EMC)的同时,提供同等的可靠性和安全性。EMC是指系统能够在其操作环境中发挥预期作用,不生成电噪声,也不被电噪声过度影响。机器人和机器视觉视觉引导机器人可以在高价值制造环境中提供更高的灵活性和更高的生产可靠性。如果没有视觉引导,机器人只能重复执行同样的任务,直到被重新编程。有了机器视觉,机器人可以执行更加智能的任务,例如,在生产线中,可扫描传送带上的缺陷产品,并由经过调节的机器人捡取缺陷产品,如图1所示。在危险性EMC环境(例如工厂自动化)中,视觉/机器人接口的可靠性和有效性由所选的有线传输技术决定。有多种方式可以实现机器视觉摄像机接口,包括USB 2.0、USB 3.0、Camera Link,或千兆以太网。表1对比了USB、以太网和Camera Link标准的几大关键指标。工业以太网具有多种优势,采用2对100BASE-TX和4对1000BASE-T1标准的线缆最长可达100米,采用新推出的10BASE-T1L标准的单条双绞线最长可达1 km,且EMC性能较高。使用USB 2.0或USB 3.0的线缆不超过5米,除非使用专门的有源USB电缆,且需要使用保护二极管和滤波器来提高EMC性能。但是,随着工业控制器普遍采用USB端口,且带宽最高达到5 Gbps,这为设计人员提供了一些优势。图1.摄像机机器视觉和机器人——以太网、USB或Camera Link接口Camera Link要求工业控制器配备专用的帧捕获器硬件。USB或以太网无需工业控制器配备额外的帧捕获器卡。Camera Link这个标准最早出现于2000年末,是机器视觉系统最常用的接口。如今,基于USB和以太网的机器视觉摄像机的使用更加广泛,但是,需要对多个摄像机实施预先处理的应用仍在使用Camera Link和帧捕获器,以降低主CPU负载。与千兆以太网相比,即使在基本速度下,Camera Link标准输出的数据量也多达其两倍,且输出距离更短。Camera Link物理层基于低压差模信号(LVDS),由于与每条线路耦合的共模噪声都会在接收器端有效消除,因此本身具有EMC鲁棒性。LVDS物理层的EMC鲁棒性可通过电磁隔离进行改善。通过在摄像机和机器人链接上使用以太网,以及采用IEEE 802.1时间敏感网络(TSN)交换机的工业控制器,可以最大限度地实现工业摄像机和机器人操作同步。TSN定义了交换式以太网网络中用于时间控制数据路由的第一个IEEE标准。ADI提供全套以太网技术,包括物理层收发器和TSN交换机,以及系统级解决方案、软件和安全功能。表1.机器视觉摄像机的通信接口标准人机接口(HMI)人机接口(HMI)常用于通过人类可读视觉表示方式显示来自可编程逻辑控制器(PLC)的数据。标准HMI可用于追踪生产时间,同时监控关键绩效指标(KPI)和机器输出。操作员可使用HMI执行多项任务,包括开启或关闭交换机,以及增加或降低过程中的压力或速度。HMI通常配备集成式显示屏;但是,配备外接显示屏选项的HMI具有多种优势。采用外部高清多媒体接口(HDMI?)端口的HMI装置更小巧,更容易安装到采用标准DIN电源轨的控制台中,也可用于监控PLC。使用HDMI时,电缆长度可达15米,便于路由到触摸显示屏和控制室,如图2所示。在工业环境中,在更长的电缆上扩展HDMI具有挑战性,因为EMC危害会影响布线。在电机和泵连接至DIN轨道式PLC时,HMI上也可能出现间接瞬变过压。要确保系统鲁棒性,就需要仔细选择接口技术。随着工业以太网迅速发展,现场总线技术(例如CAN或RS-485)变得普及。据业内消息,全球安装的RS-485 (PROFIBUS?)节点已超过6100万个,PROFIBUS过程自动化(PA)设备同比增长7%。PROFINET(工业以太网实施)安装基数为2600万个节点,仅2018年安装的器件数量就达到510万。1如之前所述,利用基于以太网的技术可以实现高EMC性能,这是因为电磁被写入IEEE 802.3以太网标准,且必须在每个节点使用。RS-485器件可以包含电磁隔离,以提高抗噪声能力;保护二极管可以集成在片内,或者置于通信PCB上,以提高对静电放电和瞬变过压的抵抗力。HMI通常需要抗静电放电,且利用ESD保护二极管来提高信号鲁棒性。对于工业HMI,集成增强隔离可保护操作人员免除电气危险。虽然目前提供了面向以太网和RS-485的合理的隔离解决方案,但如今,视频传输主要利用成本高昂的光纤来隔离,这些光纤支持千兆传输速度。ADI公司关于电磁隔离技术的最新进展(例如 / / 系列,其数据速率可以超过1 Gbps)为设计人员提供了具有竞争力,且成本更低的替代解决方案。图2.具备以太网和RS-485输入,以及HDMI输出的人机接口(HMI)内窥镜外科成像,包括内窥镜在内,是一种独特的应用,必须在提供高保真图像的同时确保患者的安全。上一代内窥镜设备被称为视频内窥镜,使用一系列玻璃镜片和一个光导管将图像从成像头传输到电荷耦合器件(CCD)传感器。以可见光为媒介,将来自患者的图像传输至内窥镜,这种方法可以隔离有害电流,但是,在制造成本和图像质量方面的表现并不理想。2近期的外科成像设备通过转向数字化来克服这些挑战,且从CCD转向CMOS传感器,后者的尺寸易于扩展,且可嵌入摄像机头部。使用CMOS摄像机之后,无需串行连接多个镜头,且可以改善整体的图像质量。生产成本降低,使得一次性外科内窥镜的使用成为可能,如此则无需担心消毒问题。摄像机进一步缩小,使得微创手术成为可能。3在转向数字内窥镜之后,CMOS图像传感器(接触患者)和摄像机控制器(CCU)之间必须提供高速电子接口。LVDS和可扩展低压信号(SLVS)层逐渐成为实现这种互连的常用的物理层,提供高带宽和相对较低的功率。4这种接口与视频内窥镜中的接口不同,它目前是电子式的,可能能够传输危险电流。因为不具备光学介质的隔离性,所以该系统在设计时,必须保证隔离患者和潜在的有害电流。图3.带CMOS图像传感器的数字内窥镜的电子接口对于任何连接主电源的医疗系统,患者的安全至高无上。IEC 60601医疗电气设备标准对保护患者(MOPP)免受有害电压伤害的组件提出了严格要求。要使用高带宽解决方案传输图像数据,同时满足这些严格的安全要求,这为系统设计人员带来了重大挑战。从CMOS图像传感器到内窥镜CCU之间的电子视频传输就是这样一个示例,两者之间需要建立符合安全要求的高速连接。ADI公司的独有解决方案在可信的安全壁垒内执行高带宽传输,以满足IEC 60601-1标准的要求。医疗显示器其他医疗设备,例如呼吸机和心电图(ECG),都是直接与患者相连,用于呼吸辅助和监测。关于患者的信息会显示在医疗设备自带的图形显示器中,便于操作员查看。根据IEC 60101标准,该医疗设备中的显示器是已知的、可信的且已经过认证,可作为医疗设备使用。对于任何现成的外部电视和显示器,则无法保证这一点。为了确保患者的安全,应在医疗设备与外围设备之间的外部连接中增加隔离,以保护患者。对于传统的低速接口(例如RS-232、RS-485和CAN)来说,这种隔离可能并不重要,可以使用标准数字隔离器来实现。另一方面,视频端口与外部显示器的隔离会造成独特的挑战。显示器的标准化接口的带宽要求远远超过使用合适数量的光耦合器或标准数字隔离器可以实现的带宽。尝试隔离视频接口的整个信号链会使复杂度进一步增加。例如,HDMI 1.3a协议不止包含用于传输视频数据的转换最小化差模信号(TMDS),还包括用于交换视频/格式信息、电源电路,以及检测显示(接收器)设备之间的连接和断开的双向控制信号。5 在添加系统设计人员视为障碍的电气隔离时,必须考虑所有这些因素。在许多情况下,可能无法使用之前的方法为这些显示器端口添加安全隔离栅,所以医疗系统中不包含外部显示器端口。ADI公司提供对常用的视频协议(例如HDMI 1.3a)实施电气隔离的,如此,在需要对患者实施保护时,可以直接增加额外的安全保护。千兆数字隔离当视频和摄像机应用需要高带宽和可靠的安全性时,系统设计人员可以使用ADN4654系列LVDS数字隔离器这种新选择。这些器件提供双通道隔离,每个通道的数据速率高达1.1 Gbps,这代表着数字隔离在速度方面的一大飞跃。它们采用20引脚SSOP封装,提供2.2 Gbps总吞吐量,相比基于传统的数字隔离器的解决方案,其体积大大减小。图4.ADN4654千兆LVDS隔离器框图以视频链接为例,可以在60 Hz下传输24位颜色,分辨率为1920 × 1080 (1080 p)。要跨越隔离栅传输所需的信息,需要总带宽达到4.4 Gbps。典型的光纤解决方案具有足够的带宽,但是从铜介质转换为光纤,需要用到序列化器、反序列化器和电光转换器。使用标准数字隔离器的解决方案还需要用到序列化器、反序列化器,以及30个以上的通道隔离,每个通道以150 Mbps运行。给简单的高带宽接口添加隔离时,对系统设计人员来说,这两种方案都会产生开销。利用ADN4654的千兆数据速率,可以降低系统的复杂性,而且,仅使用两个设备即可实现4.4 Gbps带宽。每个设备都有两个通道,总共四个,每个通道都以1.1 Gbps运行。具备高通道带宽之后,则不再需要信号链中的任何SERDES模块。在需要对不止一个接口实施隔离的系统中,空间和复杂性的改善得以兼顾。图5.基于ADN4654的系统可以轻松隔离高带宽接口以高于1 Gbps的速率运行的物理层接口具有严格的抖动和偏斜要求,以保证可靠通信。添加至信号链的任何组件(例如数字隔离器)的抖动和偏斜必须最小,以免影响系统性能。过多的抖动和偏斜可能会影响接收器的采样裕量,增加总体误码率。ADN4654在给定通道上能达到行业领先的偏斜性能,最大100 ps,器件与器件之间则为600 ps,因此非常适合隔离这些高带宽接口。ADN4654只会带来最少的抖动,最大的随机抖动性能为4.8 ps rms,最大的峰峰确定抖动为116 ps,采用PRBS-23(伪随机二进制序列)模式。模式运行长度少于23位,这很常见,而在编码方案的运行长度更短的协议(例如8B/10B编码)中,抖动性能得到改善,改善后超过了这些值。ADN4654/ADN4655/ADN4656器件利用内部LDO调节器来提供灵活的电源配置,可用于多种通道配置。ADN4654采用20引脚宽体SOIC封装,或者节省空间的20引脚SSOP封装。SOIC封装提供5 kV rms隔离和7.8 mm爬电距离和间隙,使得这些器件适合1 MOPP(来自250 V rms电源)至IEC 60601标准。通过利用封装将器件的爬电距离和间隙增加到大于8 mm,它们能够作为2 MOPP隔离系统的组件使用。根据电路笔记CN-0422隔离HDMI在给视频接口添加安全隔离时,视频协议本身的复杂性会成为一大挑战。必须建议隔离各个视频、控制和电源信号,对于设备制造生来说,这是一个非常棘手的问题。即插即用型设计解决方案帮助缩短了实现功能设计所需的系统开发时间。自2002年年底推出以来,HDMI已成为商用高清电视和显示器的实际标准之一。HDMI之所以能大获成功,因归功于其功能组和可靠的互操作性。EVAL-CN0422-EBZ可作为一种即插即用型解决方案,适合想要给现有的HDMI 1.3a视频端口添加电气隔离功能的用户。结合iCoupler?技术,以跨越隔离栅传输所需的功率和高速视频,以及控制信号。图6.EVAL-CN0422-EBZ参考设计,用于隔离HDMI 1.3a协议HDMI 1.3a协议中的视频数据在四条TMSD线路中传输:三条数据线路,一条时钟线路。每条线路都必须单独隔离。传统的数字隔离器不支持TMDS的高带宽或差分特性,因此不太适用。虽然TMDS与LVDS稍有不同,但可通过简单的无源组件兼容符合LVDS要求的设备。这些无源组件结合两个双通道千兆ADN4654隔离LVDS收发器,以隔离全部四条TMDS线路。可以实现高达110 MHz的像素时钟频率,在帧率为60 Hz时,支持720 p分辨率。HDMI协议包含其他用于进行控制的低速信号:显示数据通道(DDC)、消费电子控制(CEC)和热插拔检测(HPD)。DDC用于允许源极读取来自EEPROM的显示器EEID数据,并交换相关的格式化信息。CEC信号允许在多个连接的源设备和接收设备之间共享功能。检测到HPD具有附加源(表示有与之相连的器件)时,HPD由接收设备置位。这些控制信号都使用两个器件隔离,在必要时,可以对这些信号实施双向隔离。使用ADuM1250可以大大简化与实施双向隔离通道相关的设计挑战。参考设计包括一个隔离式DC-DC电源转换器,用于给隔离器件的显示(接收)侧供电。根据标准要求,275 mW会传输至HDMI电缆,以支持接收设备。参考设计用于隔离HDMI源设备,但可以轻松采用隔离电源电路来隔离HDMI接收设备。工业以太网对于机器视觉应用,ADI公司的多协议以太网交换机、以太网物理层收发器,以及所有平台解决方案产品组合都确保实现无缝连接和运行效率。ADI公司的/REM交换机系列包括两个2端口工业以太网嵌入式交换机,这两个交换机可连接到任何处理器,包括任何Arm? CPU和ADI的通信控制器。通过使用这些工业以太网嵌入式交换机,您可以选择适合您应用的处理器类型,无需被迫使用特定供应商的协议栈。REM连接到处理器的内存总线,看起来与该总线上的任何其他外设都一样。REM的存储周期降至32 ns(32位总线为125 Mbps)以支持EtherCAT的12.5 ?s周期,以及PROFINET IRT的31.25 μs周期。数据使用优先信道队列在交换机之间来回传输,因此实时数据传输可以无延迟地中断非实时数据传输。这些队列由交换机驱动程序管理并与协议栈接口,以实现尽可能高效的数据传输。这也意味着不必费心管理交换机,设置低电平寄存器或跟踪复杂的时间管理过程。工业以太网嵌入式交换机的另一个性能优势是它们的优先信道技术使其不会受到网络加载的影响。该优势可确保您的应用程序在任何时候都能够启动并运行。REM交换机对数据包进行智能过滤,以防止来自处理器的干扰流量,根据处理器负载管理低优先级流量,并保证及时发送高优先级数据包,无需考虑总数据包负载。ADI公司的、和工业以太网物理层器件(PHY)旨在实现严苛工业环境下的鲁棒性。这些产品已经完成了广泛的EMC和可靠性测试,适用于需要可预测和安全通信的应用。利用行业领先的低延迟和低功耗PHY技术,该产品组合支持10 Mbps、100 Mbps和1 Gbps的数据速率。它们专门为最大限度地提高数据传输和信号完整性而开发,采用小型封装,同时支持多个MAC接口。工业以太网物理层套件适合在扩展的工业环境温度范围内运行,可为当今和未来的工业以太网应用提供高水平可靠性。ADIN1100 10BASE-T1L PHY通过长达1 km的单根双绞线提供10 Mbps以太网连接,且支持危险区域使用案例(本质安全区域0应用),这些案例有时称为Ethernet-APL。ADIN1100为通过本质安全认证的器件提供以太网连接,例如在危险区域中运行的HMI、工业视频摄像机和热感摄像机。ADI提供哪些首发产品?本文描述了工业和医疗应用中安全可靠的高带宽视频或摄像机接口的应用要求,并讨论了在采用这些接口的同时保持关键性能可使用的重要技术选项。ADI公司提供创新解决方案,包括:u行业首款千兆数字隔离器系列ADN4654/ADN4655/ADN4656,提供了隔离高带宽接口的新选项。u行业首款电气隔离视频和摄像机端口,与庞大的光纤解决方案相比,有助于降低成本和复杂性。u经测试符合规定的系统解决方案,减少了测试和合规性难题。示例之一就是根据HDMI标准测试的。u整套工业以太网产品,包括技术、解决方案、软件和安全功能,这些产品旨在将现实世界连接到工厂网络,再连接到云。结论ADI利用其深厚的领域专业知识和先进技术,帮助合作伙伴连接未来工业套件和网络。行业首款千兆电气隔离技术提供替代方案,用于在各种医疗和工业应用中隔离视频和摄像机接口。ADI公司的以太网解决方案利用TSN以太网交换机和低延迟、低功耗、长线缆的物理层收发器,确保在严苛的工业应用中可靠传输关键数据。参考资料1 Bob。“。”Profibus Group。2019年5月16日。2 Danny Scheffer。“。”视觉系统设计。2007年7月30日。3 Ricardo A. Natalin、Jaime Landman。“?”Medscape。4 Dave Wilson。“。”NovusLight。2016年11月28日。5 HDMI 1.3a规范。作者简介Richard Anslow是ADI公司自动化与能源事业部互连运动和机器人团队的系统应用工程师。他的专长领域是基于状态的监测和工业通信设计。他拥有爱尔兰利默里克大学颁发的工程学士学位和工程硕士学位。联系方式:Neil Quinn是ADI公司的产品应用工程师,是爱尔兰利默里克的接口和隔离技术部的一员。Neil 2013年获得美国国立梅努斯大学电子工程学士学位。他主要研究工业和高速通信接口,例如RS-485和LVDS,以及ADI的iCoupler数字隔离产品。联系方式:
  • [其他问题] 求助基于MindSpore框架做视频行为分析功能
    求助基于MindSpore框架做视频行为分析功能,有没有具体教程或代码,可以有偿。
  • [行业标准] GB28181国标流媒体服务解决方案_2016版本-INVITE请求视频
    安防监控视频流媒体平台EasyGBS能够通过简单的网络摄像机通道配置,将传统监控行业里面的高清网络摄像机IP Camera、NVR等GB28181国标协议输出的设备、平台接入到EasyGBS,EasyGBS能够将这些视频源的音视频数据进行拉取,转换为RTMP/HLS/FLV/RTSP,进行全平台终端H5直播(Web、Android、iOS),并且EasyGBS能够将视频源的直播数据对接到第三方CDN网络,实现互联网级别的直播分发。在GB28181里面,视频请求是最重要的环节,GB28181 2016版本最主要的新增内容 估计就是请求视频的时候支持tcp active和tcp passive, 其实早在GB28181 2014版本的时候都已经定义了tcp传输码流,tcp最大的好处就是对下载的时候能保证不丢包,下面简要说一下INVITE请求视频的流程:
  • [技术干货] CVPR 2021 | 破坏方法失效,新框架MagDR让Deepfake稳定难攻
    近年来,“AI 变脸”特效风靡全球,近期爆红的 “蚂蚁呀嘿” 再次掀起体验和讨论的热潮,这种源自人工智能生成对抗网络(GAN)的新技术,能够利用深度学习技术识别并替换图片或视频中的原始人像,不仅制作过程简单,而且逼真度惊人,几乎能达到以假乱真的效果。Deepfake 作为一项技术工具,有广泛的应用空间。语音合成能让计算机用人类的声音说出上百种语言,视频合成能让《速度与激情》里的 Paul Walker 复生,但若被滥用,也将带来巨大的风险,给身份识别和社会信任带来挑战,虚假视觉信息的应用与传播还会给人们造成隐私安全等多方面的困扰。为此,一些研究致力于防止滥用 Deepfake,有研究者通过在源数据中添加对抗性干扰来破坏 Deepfake 的可能性,但是这种方法尚未完全消除威胁。近日,一种 mask-guided 检测和重建方法 MagDR(Mask-guided Detection and Reconstruction)被提出,该方法能够让 Deepfake 免受对抗攻击,这为破环 Deepfake 带来了新的思考方向。同时,该方法也能用于提升 AI 图像处理的安全性。该论文已被 CVPR 2021 接收。论文地址:https://arxiv.org/abs/2103.14211MagDR 首先提出了一种检测模块,该模块定义了一些标准来判断 Deepfake 的输出是否异常,然后使用该模块指导一个可学习的重建过程。提取自适应 mask 是为了捕获局部面部区域的变化。在实验中,MagDR 保护了 Deepfake 的三项主要任务,并且学得的重建 pipeline 能够迁移到输入数据上。这表明 MagDR 在防御黑盒和白盒攻击方面都具有很好的性能。方法MagDR 框架代表 mask-guided 检测和重建。如图 2(a)所示,它包含两个主要组件,一个检测器和一个重建器,二者均由在自适应 mask 上计算出的一组预定义标准指导。总体思路是从输出图像中感知对抗性攻击的存在(通常会受到严重干扰),并执行可调算法将所有预定义标准转换为可接受的值,之后输出被认为已重构。在该设计框架下,可以自由更改每个模块的实现。MagDR 二阶段框架的核心思想在于使用一些非监督性指标,对对抗样本在 Deepfake 中所生成的结果进行敏感性的评估,并且利用人脸属性区域作为辅助信息以及通过对最优的防御方法进行搜索组合的方式对图片进行检测和重建,以期望能够达到净化原图并保持 Deepfake 输出真实性的目的。实验该研究选取了 Deepfake 中较为重要的三个任务进行攻防实验,分别为换脸、人脸属性修改以及表情变换。给原图增加噪声后,所产生的对抗样本尽管对原图进行了修改,但修改的程度明显低于人眼可察觉的水平,而 Deepfake 模型产生的深度伪造视频却已经崩坏,无法以假乱真,其对 Deepfake 带来的影响是灾难性的。 但当改为通过 MagDR 框架进行处理时,情况发生了变化。该模型首先对视频中的对抗攻击扰动进行检测,提醒 Deepfake 的使用者,所用的图片或视频大概率是存在对抗攻击的,然后通过重建视频模型,能够有效地将攻击者注入的对抗扰动进行消除,从而实现了 Deepfake 模型相关系统的正常使用。MagDR 框架不仅能够消除对抗扰动带来的破坏性影响,同时还保留了原图的各种像素细节,进而保证了重建后的 Deepfake 结果与原图结果一致。 这一发现表明,目前业界主流的主动性防御的方法(Deepfake 对抗扰动)不再可靠,为了避免社交网络上人脸照片被恶意使用,还需要找到更佳的 Deepfake 防御方案。来源:https://www.jiqizhixin.com/articles/2021-04-01-6
  • [资产园地] TownCentreXVID目标跟踪数据集 数据是一个5分钟的视频
    描述该数据集包含一个视频TownCentreXVID.avi和标签文件TownCentre-groundtruth.top。其中TownCentreXVID.avi一共5 min,每1 sec包含25帧图像(1920*1080),因此一共包含7500帧图像。前4500帧是由标注的,标签在TownCentre-groundtruth.top文件中,后2998帧是没有标注的。数据基本是以下的街景照片,判断是墙角摄像头俯拍的,所以在人员分布基本能够清晰的看出来,这个数据集多被用于行人跟踪的研究,也可以与行人检测的研究。
  • [技术干货] 2019人工智能创新应用大赛直播赋能视频回放
    请选手们回看直播赋能视频,祝各位取得好成绩!人工智能大赛直播赋能视频回放:https://huaweicloud.bugu.mudu.tv/watch/bmb49poz
  • [精彩回顾] 【华为云人工智能大赛·**分类挑战杯】决赛答辩视频&PPT;
    2019年华为云人工智能大赛·**分类竞赛,现场答辩精彩回顾。如果您有其他的精彩分享,请在评论区留言,鼓励大家分享参赛的调参经历和代码噢~~~决赛PPT请查看附件。0%华为云**分类挑战杯决赛-PPT汇总 (1).rar (11.87 M)
  • [精彩回顾] 华为云DevCloud软件编程大赛4月26号直播答疑会视频录播
    请点击链接进行观看:https://bbs.huaweicloud.com/videos/102396
  • [问题求助] 使用ffmpeg和dvpp实现视频流推流,解码问题
    【功能模块】想在Atlas200AI加速模块上部署一个车辆识别模型,对本地视频进行推断,用ffmpeg将视频转换成了h264格式,但是不清楚怎么将视频流拉入,再dvpp解码,再进行推断,参照的例程是https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/2_object_detection/的例程,但是这些例程都是对图片进行推断或者rtsp视频流,不清楚怎么对指定的device端的本地视频进行推断【操作步骤&问题现象】1、代码如下sys.argv[2]是h264文件存放位置video_pathtest = sys.argv[2]    cap1 = AclVideo(video_pathtest)    ret, image = cap1.read()image_input = image.copy_to_dvpp()    yuv_image = dvpp.jpegd(image_input)    print("decode jpeg end")    resized_image = dvpp.crop_and_paste(yuv_image, image.width, image.height, MODEL_WIDTH, MODEL_HEIGHT)    print("resize yuv end")    return resized_image2、找了官网其他demo,找到对device端本地视频进行推断的例子都是opencv来处理,占内存又很耗时,所以如果有对host端或者device本地的视频进行目标检测的例子麻烦发一下【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [行业资讯] 消息称抖音正测试短视频 “ 赞赏 ” 功能
    据Tech星球消息,抖音于近期测试了 “ 赞赏 ” 功能,旨在为抖音短视频创作者提供内容变现的途径。据了解,抖音赞赏针对的是已开通赞赏功能的内容创作者,用于帮助创作者创造内容收入,赞赏的金额分为6抖币、16抖币、66抖币三个档次。TikTok也在近期推出了 “ 赞赏 ” 功能,据悉,该功能视为TikTok新推出的Creator Next工具的一部分,用于帮助拥有大量粉丝的创作者将内容商品化,允许用户通过打赏向内容创作者表示欣赏,而创作者也将获得100 %的打赏金额。
  • [行业资讯] 落地中国!英特尔物联网迎来第五个事业部
    作者:Sophia智库 原创转载请注明来源和出处导  读如今,边缘早已不是一个独立的概念。从技术层面,边缘计算逐渐开始与、AI、通讯、云原生等技术相互融合;从生态层面,原本泾渭分明的各个垂直行业解决方案出现交织。一个“融合边缘”的大时代已经到来!10月12日,在“2021第十四届英特尔物联网峰会”上,英特尔公司物联网事业部副总裁陈伟博士重磅宣布英特尔成立物联网视频事业部,其宗旨是提供横向视频技术以支持各个垂直行业发展。英特尔公司物联网事业部副总裁、物联网视频事业部全球总经理、物联网事业部中国区总经理陈伟博士发表主题演讲提到视频,很多人第一反应可能是抖音、快手之类的短视频,但其实在消费端之外的产业侧,还有更加海量的视频数据,它们诞生于城市中天罗地网的安防摄像头,工厂里随处可见的瑕疵检测装置,商超里独具慧眼的人流监控设备等等……预计到2025年,全国将会有10亿个高清网络摄像头,由此产生的天文量级的数据,将对端到端的计算架构和网络架构带来前所未有的挑战。高清摄像头是一个非常典型的边缘设备,由其带来的海量数据实则反映了整个边缘侧数据的指数级增长,体现了边缘计算在整个计算架构中的重要意义。如今,边缘早已不是一个独立的概念。从技术层面,边缘计算逐渐开始与5G、AI、通讯、云原生等技术相互融合;从生态层面,原本泾渭分明的各个垂直行业解决方案出现交织。一个“融合边缘”的大时代已经到来!站在这个角度,我们就能理解英特尔为什么要在这样一个时间节点去做出这样的组织架构调整了——与其说英特尔看到了视频数据爆发的大势,不如说其想以崭新的姿态去拥抱“融合边缘”的未来。无所不在的计算、无处不在的连接、从云到边缘的基础设施和所构成的四大技术力量正成为塑造产业数字化转型的核心。英特尔正与包括中国市场在内的生态伙伴同行,依靠四大技术力量提供领先技术并加速数字化转型,创造改变世界的科技。落地中国!英特尔物联网迎来第五个事业部物联网视频事业部是英特尔公司物联网事业部新成立的第五个事业部,截至目前,英特尔公司物联网事业部下面共设五大细分事业部,分别是:物联网零售、银行、酒店餐饮及教育行业事业部、物联网工业解决方案事业部、物联网及基础设施事业部、物联网医疗和生命科学事业部和物联网视频事业部。据介绍,物联网视频事业部的总部会落地中国,陈伟博士本人则兼任该事业部全球总经理。值得一提的是,这是英特尔首次将事业部的总部放在美国之外的地区,也意味着未来的中国总部将成为支持公司全球视频业务推进的核心引擎。对该事业部的定位,陈伟博士反复用“横向技术”来描述。可能有人疑惑,视频为什么会是一种横向技术,这其实并不难理解。我们常说“眼见为实”,视觉带来的信息量非常丰富,我们通过眼睛看到不同的事物,会对其产生不同的理解,但信息的采集-传输-反馈的机制都是一样的。将摄像头用于交通管理,可以监测车流、车速,抓拍违章和闯红灯;将摄像头用于零售领域,可以分辨新客和回头客,确定哪些是真正有效的客户;将摄像头用于工业制造,可以替代人力进行瑕疵和缺陷检测……虽然从市场角度来看,零售和工业领域的运营模式完全不同,但是从视频技术的角度来说都是为了帮助客户提供所需要的信息,这也是英特尔物联网将视频视作横向技术的基础。既然是横向技术,那就要关注未来的技术特征。在接受物联网智库等媒体的专访时,陈伟博士从三个方面进行了阐述:一是高密度计算。具体而言,英特尔物联网会专注于高清数据流所带来的一系列的计算挑战,包括存储、获取、传输、编解码等。二是AI运算。当前很大一部分视频分析还是基于传统的计算机视觉,但更优的方式应该是计算机视觉加上深度学习的组合,再在海量数据中提取行业所需的信息,这也是英特尔物联网解决方案持续迭代的方向。三是复杂计算层次结构。无论是、智慧零售还是智慧汽车……所产生的数据都是海量的,所有数据上传云端只会徒增云端、宽带、能耗等方面的压力,因而很多运算势必会下沉在端边之下。但什么样的数据应该在边缘进行储存和分析,怎么把隐私、安全、带宽、实时性都统一纳入一个架构中进行考量,是需要持续思考的难题。从三大技术特性出发,英特尔物联网正不断从硬件和软件两个方面推动视频技术的升级。无论是CPU、VPU、ASIC、FPGA等多样化的芯片以及一系列搭载英特尔芯片的智能硬件,还是英特尔全栈的软件产品,皆可使视频处理事半功倍。从安全保障领域到工业、零售、交通和公共部门,视频这项基础技术正在深刻影响着各行各业,并催生出了更广泛的应用场景,帮助用户释放更多的业务价值。面向未来,“融合边缘”的大时代已经到来在“2021第十四届英特尔物联网峰会”的主题演讲中,来自无锡信捷电气 X-sight事业部的工程师李元峰为观众们展示了一个小Demo,具体来说,就是利用机械臂将7个字符由无序状态摆放为有序状态。这看起来是个将视频技术应用于制造业的简单演示,但其背后的意义却十分深远。如果系统想要识别这个字符,就必须通过摄像头采集视频数据并利用AI技术进行分析,这是IT技术的应用;而基于分析的结果,系统需要控制机械臂进行运动,这是OT技术的应用。在传统工业领域,IT和OT好像身处两个星球,IT工程师不了解OT的运作原理,OT工程师也搞不懂IT的思维,但工业4.0或智能制造的本质就是用数字化技术去改造传统制造,所以IT和OT之间的隔阂必须被打破——而这个Demo,则很好的展示了IT/OT融合的概念。这正是英特尔在边缘融合的大背景下一直想做的事情,英特尔公司高级首席工程师张宇博士表示:“我们希望通过硬件提供一些支撑,使得我们现在的工业领域只需一个平台就可以满足IT、CT、OT对于计算、通讯、存储不同的要求。”技术融合所带来的价值在此体现的淋漓尽致。融合,融合,融合,听起来像是一个“大一统”的概念,但与之相对的是,物联网本身却是一个基因里带着“碎片化”的产业——“大一统”和“碎片化”,或者说,“水平化的技术”和“垂直化的需求”之间是否存在矛盾?在张宇博士看来,不同行业的碎片化之下也有着共性的需求。“软件定义一切”是未来的大势所趋,无论是物联网也好,通讯网络也罢,甚至包括数据中心,它的很多功能和专有能力都是通过软件来实现的,很多硬件平台都是相似的。而用户对于硬件平台的要求往往都集中在计算、存储、通讯这些基本面上,而英特尔在整个业界,恰恰是为数不多的一家产品可以涵盖计算、存储、通讯各个方面的公司。站在另外的角度,某些应用场景中当然也会有专用硬件的要求。我们不妨以人工智能为例,2012年人工智能迎来一波发展高潮,以卷积神经网络为基础的人工智能技术在各个领域落地开花。而卷积神经网络最底层的运算实际上是矩阵的卷积,也就是矩阵的乘法、加法这些最基本的运算,不管设计的是什么样的智能网络,ResNet也好,GoogleNet也罢,亦或是IXNex,抽丝剥茧,其最底层的运算是一致的。除了通用处理器,英特尔也提供了针对人工智能推理进行加速的专门产品。换言之,英特尔在设计产品时,会兼顾水平化和专用化这两方面,根据用户的使用场景和负载提供不同的解决方案。结语随着边缘计算进入应用爆发期,英特尔正凭借自己独有的组合拳助力行业迈入融合边缘的新时代;视频技术广泛部署,海量数据的分析处理为边缘带来洞察,英特尔正凭借视频领域的三大技术特性推动边缘的智能升级;更多的边云融合技术不断迸发,英特尔正促进边云协同迈向现实,进而掀起千行百业的创新风潮。当前,英特尔正与生态合作伙伴一道,通过创新的融合边缘解决方案引领行业变革,推动产业升级。
总条数:1345 到第
上滑加载中