使用mindx SDK对视频片段进行推理时，加载pipeline文件后会对模型进行加载等工作。我有一个场景，是同一个模型对若干个视频片段进行识别，每推理一个视频片段时不重新加载pipeline，只切换视频源。

如何通过好望云服务下发及配置算法算法下发流程图。1、注册华为云账号（若已经注册，直接跳到下一步）：      在华为云官网（https://www.huaweicloud.com）完成用户注册。      指导文档：       https://support.huaweicloud.com/usermanual-account/account_id_001.html2、注册好望云账号（若已经注册，直接跳到下一步）：  （1）进入https://www.huaweicloud.com/product/ivm.html，点击“登录管理后台”后，注册好望云账号。（页面如下图）  （2）进入https://www.huaweicloud.com/product/ivm.html，点击“登录管理后台”后，登录好望云账号（登录界面如下图）。    指引文档：    https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=121157    视频参考：    https://bbs.huaweicloud.com/forum/thread-157474-1-1.html3、创建企业（若已创建完成，跳到下一步）：      在好望云服务管理后台页面中找到创建企业入口，创建企业，关键是填充华为云访问秘钥，完成华为云账户关联（如下图）  指引文档: https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=186495&page=1&authorid=&replytype=&extra=#pid1456924视频参考：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=158546&page=1&authorid;=&replytype;=&extra;=#pid13446654、设备接入：（若设备已接入，可跳过）    在好望云服务管理后台页面（https://holosens.huaweicloud.com/portal/#/algorithms）找到“设备管理”（左侧菜单栏展开“设备”即可看到）并点击进入设备管理页面，添加设备组，添加设备到设备组中，如图所示。   指引文档：   https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=121350   视频参考：   https://bbs.huaweicloud.com/forum/thread-160544-1-1.html5、服务管理：      在好望云服务管理后台页面找到为设备配置服务的入口（设备->设备管理->视频点位->配置服务）。如下图。为实现第三方算法下发及告警闭环，需要至少为设备开通“视频调阅服务”和“行业数据流服务”。开通相关服务时，若尚未购买，可在开通页面的指引中点击“购买页面”前往购买页，购买相应服务（其中视频调阅服务可享受20路以下免费体验套餐）。具体操作可见下面指引文档或视频参考。   指引文档：    https://bbs.huaweicloud.com/forum/thread-186515-1-1.html   视频参考： （1） https://bbs.huaweicloud.com/forum/thread-160554-1-1.html （2） https://bbs.huaweicloud.com/forum/thread-160068-1-1.html6、好望商城购买算法（若已经购买可跳过）：     使用创建企业的华为云账户登录好望商城（https://marketplace.huaweicloud.com/markets/holosensstore/index.html），购买需要的算法。7、好望商城已购买算法在线下发：      商城购买算法成功后，在好望云服务管理页面可进行算法安装等管理操作（如下图），具体操作可参见下面的视频参考。    视频参考：     https://bbs.huaweicloud.com/forum/thread-163061-1-1.html8、配置算法实现好望APP闭环（若已实现好望APP闭环可跳过）：      需要在好望APP接受算法告警，需通过iClient SDC或者SDC Web管理页，找到第三方算法的配置也，在告警联动策略中勾选“华为好望”和“媒体流”，去掉“SDK”。安装支持第三方智能告警闭环的好望APP版本，切换到设备所属企业，就可以在好望APP中收到第三方算范告警。（SDC配置页面如下图）附：好望云服务下单：https://console.huaweicloud.com/ivm/?region=cn-north-4&locale=zh-cn&promotionPlanId=PDP21053106311729707F6OEX0RLGLSK#/packagePage好望商城算法下单：https://marketplace.huaweicloud.com/markets/holosensstore/list.html玩转好望云服务系列介绍视频：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=153785

【功能模块】【综合安防-视频调阅】【操作步骤&问题现象】1、在视频调阅获取到视频流播放地址（奥看）2、可以在本地VLC播放，无法在IOC视频播放组件播放3、IOC报错提示不支持视频流格式【截图信息】【日志信息】（可选，上传日志内容或者附件）

--- ## 视频数据量激增，数据处理和内容运营成本居高不下 云计算、大数据、物联网、人工智能等信息技术飞速发展及传统产业数字化的转型，一方面媒体数据量呈现几何级增长，据IDC预测，全球数据总量预计2020年达到44ZB，我国数据量将达到8060EB，占全球数据总量的18%；另一方面，媒体的生产、传播和消费形式升级。巨量数据中，70%将会以图片和视频的形式存储和传播。这些数据从生产、传播到用户消费，传统方式运营成本居高不下。人工智能在视觉领域发展趋于成熟，基于人工智能的视频内容分析能从根本上解决传统内容分析方法性能低下的问题。AI助力，视频分析将全面进入智能时代。 ## 视频从生产到消费全流程智能化 视频从生产到消费的全流程升级，如图1所示。  图1 视频生产、编辑、分发和消费流程升级 华为云EI助力视频分析全面进入智能时代。  **生产** **视频采集**，从专业设备到移动终端，视频内容采集大众化。华为云EI在采集阶段可提供美颜、个性化等特效处理技术，助力视频采集即处理。 **内容审核**，用户采集内容上传存储前，华为云EI提供视频内容智能审核能力，包括视频质量评估、黄/暴/恐鉴别、重复/相似鉴别及版权指纹分析等，解决重复/疑似不安全内容进入传播流程。  **编辑** **结构化分析**，华为云EI针对各种类型的长、短视频，提供智能结构化分析，将视频以镜头、内容片段等结构化形式进行描述，便于后续的内容分析、存储和分发。 **内容分析**，对结构化表示的视频内容，华为云EI从场景识别、主体识别、行为/事件检测、语音/文本分析及内容描述等方面对其进行智能化分析，支持多维护内容查询和检索。 **智能编辑**，基于智能内容分析，初步提供以下智能视频编辑技术： **(1)**  **视频拆条** 相比较长视频，短视频更有利于在互联网传播，对传统媒体的节目进行拆条是不可或缺的。华为云EI基于人物、场景、语音、OCR字幕等多模态信息分析技术，快速精确地把长视频分割成不同主题的片段。面向海量多媒体视频，大幅提高视频识别、剪辑、检索等处理的效率，降低人工运营的成本。整体效率相对人工提升10+倍，新闻类视频拆条准确率超过95%，特定场景准确率超过98%。  **(2)**  视频摘要 静态摘要，基于视频镜头变换、内容理解技术，华为云EI针对不同类型的长、短视频提供视频静态摘要服务，能够将1个小时视频压缩成5分钟的摘要内容，可用于运营管理人员的内容快速浏览及用户快速内容播放。 视频浓缩，使用背景建模、主体检测、运动轨迹跟踪、前/背景融合技术，华为云EI提供视频浓缩服务，将极长的视频中的事件提取出来，浓缩到较短的视频片段，便于视频内容中事件的快速观看。 **(3)**  **视频封面** 基于视频镜头变换、内容理解和分析技术，快速提取内容相关、构图优美的关键帧作为封面吸引用户进一步观看。相比于人工选取封面，智能封面选取速度提高20+倍，大幅降低运营成本；同时精彩的封面能够吸引用户的注意，大幅提高视频点击率。  **(4)**  **视频内容标签** 视频OCR，视频物体识别，视频人物识别，从多维度对视频内容进行提取，将非结构化的视频文件，转换为结构化的数据，为视频搜索，视频推荐，视频运营等提供了必不可少的信息。  **(5)**  **水印处理** 用户上传的内容除了新采集的视频，还有很大一部分为已有视频的重新传播。而重复传播的这部分视频极有可能已经打上了不同的水印。为了便于企业内容管理，华为云EI提供水印检测和处理技术，能够智能检测水印位置、重构水印并对水印进行处理。 **(6)**  **音视频指纹** 视频指纹具有极大的使用场景，包括：(1) 对用户上传的内容进行重复检测；(2) 可对内容进行版权追踪；(3) 支持多维度、多粒度内容存储和检索； 华为云基于音频、视频内容分析技术，提供音、视频指纹生成、存储及检索技术。 **(7)**  **自动唱词** 在新闻媒体、教育等领域往往只有视频和对应的音频信息，自动唱词技术可以根据视频自动添加字幕，相比人工添加字幕，可以极大提高视频发布的及时性，提高生产效率。 **分发**，基于前述的视频结构化和智能分析，视频内容可按照多维度进行存储，结合用户行为日志分析，支持快速检索和关联推荐，将内容以最快的速度推送到相应的用户。 **消费**，在用户消费视频的过程中，华为云EI提供自动评论及交互播放技术方案，提升终端用户体验。 转载自华为云社区 大道无形 https://bbs.huaweicloud.com/blogs/175010

本文时间：2022年6月基于当前v1.7版本熟悉MindSpore的用户观察到了，咱们的官网进行了几次改版，最近这一版的变动可以说是比较大的。作为新手朋友刚接触，该从哪里下手呢？别急我们来一起慢慢看。当然讲的过程中肯定也有不完善的地方，希望大家能够补充，共同完善官网使用指南。 首先打开官网地址。官网：https://www.mindspore.cn/打开后如下图所示：  上端最显眼的动态切换部分，您可以在这里看到MindSpore最新动态、活动等，如果您有兴趣，可以点击查看和参加。往下拉就是我们的特色展示部分，有MindSpore优势介绍、社区成就、通用场景教程、最新视频和资讯、开源合作、合作伙伴介绍等等。这边我们提一下最新视频，如果您是新手用户，从这里就可以快速进入视频教学部分，手把手系列经过一系列的更新和补充，现已成为众多用户入门的重要参考。 安装本篇文章主要面向新手用户做一个官网的使用指南，所以第一步当然是下载我们的MindSpore。从哪里下载呢？ 细心地小伙伴应该已经注意到了最上方的“安装”吧，点击这里即可进入安装页面。 在获取安装命令中根据您的硬件环境选择，您将获取到合适您的安装命令和安装指南。值得注意的是，如果您的硬件环境不支持您想安装的版本，不妨试试更换最新版本，最新版本新增了操作系统和编程语言支持哦。如果您还是担心安装存在问题或者想借鉴成功的安装经验，您可以参考我们的手把手系列视频，有安装视频讲解哦。点击安装命令右边的安装指导视频或者直接访问链接，链接贴在这里：https://www.mindspore.cn/resources/courses/introduce?id=61&courseId=5&title=%E5%88%9D%E7%BA%A7%E8%AF%BE%E7%A8%8B%20%3E%20%E6%89%8B%E6%8A%8A%E6%89%8B%E5%AE%89%E8%A3%85%E4%B8%8E%E4%BD%93%E9%AA%8C%20%3E%20%E5%AE%89%E8%A3%85MindSpore或者您可以从上一步分介绍的 首页->最新视频->手把手系列进入。还可以选择最上方 资源->课程认证->初级课程->手把手安装与体验->安装MindSpore进入。多种方式让您不再迷路。您也可以参考优秀的MindSpore用户所分享的成功安装经验哦，这里啥都有，还可以与大家交流！论坛-技术干货-安装经验：https://bbs.huaweicloud.com/forum/forum.php?mod=forumdisplay&orderby=lastpost&fid=1076&filter=typeid&typeid=2475.html如果您安装遇到了问题，不要慌，论坛的问题求助板块，可以回答您提出的问题，我们的技术支撑专家，只要您发帖，都会回答您的问题。论坛-问题求助：https://bbs.huaweicloud.com/forum/forum.php?mod=forumdisplay&orderby=lastpost&fid=1076&filter=typeid&typeid=2105如果您更熟悉或者想体验以往版本，来这里找，查看所有版本和接口变更。最后，MindSpore v1.7版本上线了自动安装功能，告别繁琐的安装步骤，让您起点就快人一步！赶紧体验一下吧。 快速入门看到这里想必大家都已经安装好了MindSpore了吧！还等什么？冲！MindSpore可是为大家准备了超详细的入门和进阶教程，在MindSpore的世界里，可没有入门劝退这一说哦，简单到新手小白也能快速体验！还是点击最上方的“教程”链接，来到我们的教程分类，初中高级教程都在这里！一般点击进去后，是最基础的初学入门部分。在这里您可以根据您的需要选择合适的入门教程，也可以体验下面的进阶部分。在文档的标题下面，还可以下载教程notebook文件和单独下载文件中使用到的样例代码。无论是离线阅读还是直接尝试跑代码，都超简单有没有~属实是易用性拉满了。如果您不满足于这些基础文档，还可以尝试阅读后面的应用实践和深度开发部分，难中易区分明显，按需取用。手把手系列还推出了入门系列视频，相比于纸质的文档资料多了一种选择，有人演示更加直观。观看路径 首页->最新视频->手把手系列进入。还可以选择最上方 资源->课程认证->初级课程->手把手系列。至于其他分类我们下期再讲，里面有很多好玩，有趣又实用的内容哦，如果您忍不住，可以先体验体验，等到后期分享的时候再来交流一二，让俺也能get点大家的体验感受做出更中肯的体验评价。其实MindSpore官网的分类目前是比较清楚的，但也不能考虑到所有人的使用习惯，如果在使用中遇到任何问题或者不舒服的地方，您可以在本帖下方或者直接去问题求助板块反馈。现如今的官网展现形式，也有很多用户的贡献在里面，很多宝藏用户提供了特别优秀的建议和指导，才有了官网一步步的前进。心有山海，静而无边，感谢大家对MindSpore长久以来的关注和殷殷期望，让我们下期再见。

硬件：310加速模块制作的设备。coco_detection_rtsp例程，原来是yolov3修改为v5。DVPP 解码和resized。静态AIPP，可以推理识别目标。但是解码过程偶尔出现：max delay reached. Need to consume packet    RTP:missed 25 packets。推送到显示上看就出现花屏。网上说修改缓冲之类的都试过，还没解决。

1、若基于appcube平台应如何实现？2、若不基于appcube平台，采用自定义vue项目方式应如何实现？

我们提出了一种新的可视化数据表示方法，将对象的位置从外观中分离出来。我们的方法被称为深度隐式粒子(Deep Latent Particles, DLP)，将视觉输入分解为低维潜伏“粒子”，其中每个粒子都由其空间位置及其周围区域的特征来描述。为了推动对这种表示的学习，我们遵循了一种基于虚拟空间的方法，并引入了基于空间-softmax架构的粒子位置先验，以及由粒子之间的倒角距离启发的证据下限损失修正。我们证明了我们的DLP表示对于下游任务是有用的，如无监督关键点(KP)检测，图像操作，以及由多个动态对象组成的场景的视频预测。此外，我们展示了我们对问题的概率解释自然地提供了粒子位置的不确定性估计，这可以用于模型选择等任务。视频和代码: https://taldatech.github.io/ deep-latent-particles-web/。https://www.zhuanzhi.ai/paper/54bd011def8f275ff0b312c91f2c9799

现在提到安防，你是否还只是想到摄像头和警报器？在市场环境的变化以及疫情逐渐常态化的大环境下，行业链条及生态都发生了改变，从前瞻研究院给出的数据可以看出，近两年全球安防行业市场将继续呈现下降趋势。传统安防向智能化过渡，企业业务方向的升级转型势在必行。来源：前瞻产业研究院今年年初，众多安防企业在财报中纷纷把安防业务更换为“智能物联AIoT”，传统安防业务已经接近天花板，企业需要更换赛道，而这个赛道无疑就是AIoT。近些年随着AI芯片、各类算法（人脸识别、行为识别等）的不断更迭精进，AI、大数据、云计算等新兴技术与安防行业实现融合发展，使得安防行业的边界得到持续不断地拓展，借助AIoT给安防行业赋能，催生了越来越丰富的AI硬件产品，前端数据实现智能化采集，为各类应用场景落地提供了基础。在IOTE 国际物联网展会现场，深圳市物联网产业协会和物联传媒将聚焦市场前沿热点，汇聚全球物联网产业生态企业，打造行业产业优质供应链，为各类安防、AI等企业寻找新机遇、找准新定位提供专业的资源对接平台。在2022年8月19日，将举办一场主题为“AIoT 泛视频产业生态大会”的安防论坛，为加速安防AIoT多场景落地，积极助力实现产业数字化升级。会议亮点全产业链一站式交流（6万+展会规模，800+参展企业，20+同期论坛）权威企业以及一线演讲嘉宾线上线下协同传播物联网展会+行业主题论坛+行业资源对接+颁奖的活动形式大会议程（持续更新）

参与活动前请先报名活动：https://developer.huaweicloud.com/signup/f76f269a26894924833f7087737ae633 开发者，你好！欢迎来到 华为云 · 云享读书会 第13期本期领读书籍为《FFmpeg从入门到精通》由华为云云享专家，音视频技术架构师，2021年度华为云年度十佳博主华为云享专家—刘振，带你深入浅出讲述FFmpeg音视频技术经过视频领读，如果你有相关知识收获，欢迎在此帖留下你的读书笔记~ 征集时间即日起 - 2022.07.27 读书笔记要求每篇读书笔记字数要求≥300字；内容要求与领读视频、领读书籍或是其他Java虚拟机相关；前往 博客版块 以 【读书会第13期】+标题 形式发布博文；内容原创不可抄袭；回帖时留下你的微信昵称和华为云账号+博文链接。 注意事项读书笔记提交后，小助手会按续完成审核，并增加活动积分50活动积分/篇；本次活动通过提交读书笔记，可获得的积分上限为200分；请务必按照上述要求提交内容，以免影响积分增加；若积分值相同则以完成学习任务的时间先后排序，其中任务完成时间的判定优先级为：读书笔记>自测题>专家Q&A>其他；其他积分获取方式请查看活动社群公告；其他未说明事项请参照：云享读书会 第13期 《FFmpeg从入门到精通》 最佳读书笔记奖励针对活动时间内提交的有效读书笔记，专家将根据内容质量和完成篇数综合评选 1位 最佳读书笔记获奖者，奖励 富士INSTAX相机 mini7 

运行了一上午，卡在这个问题上，没有报错，求助！！！！

试看是指用户在观看音视频时，只能观看指定时长的内容。适用在付费、会员等场景。通常有以下几种试看方案：单独剪辑一个固定时长的视频文件。优点：安全性高，有效防止播放连接泄露，用户试看时只能拿到试看视频的播放地址，无法获取原始视频播放地址，实现简单，可分发。缺点：不能灵活支持不同的试看时长服务端支持试看。优点：安全可靠。缺点：需基于CDN能力支持试看。各厂家支持的格式不同，场景单一，无法灵活的支持多种格式的试看场景。在播放器端适配试看时长。优点：实现简单，配置方便。缺点：无法防止恶意用户抓取完整播放连接盗播。本文介绍一种基于播放器端控制播放时长，并结合视频点播防盗链的解决方案，做到灵活支持试看时长，配置方便，安全可靠。 步骤1、在视频点播平台配置防盗链，防盗链过期时间可设置成5-10min（根据试看时长设置）步骤2、生成带防盗链播放地址，在播放器设置试看时长，并且通过防盗链阻止用户抓取连接恶意盗播。 备注：可独立配置一个试看域名，配置防盗链时长。再配置一个正常播放的域名，在用户付费后，提供该域名对应的播放地址。 // 本文以播放器demo为例介绍试看简单实现。video_play播放地址src修改成实际可播放地址// 若需实现更精准的试看，可通过播放地址响应的错误码，及时更新防盗链秘钥信息。<!DOCTYPE html><html>    <head>        <meta charset="utf-8" />        <title></title>    </head>     <body>        <video id="video_play" src="https://example.hw-vod-play-xx.com/test.mp4?auth_info=xx***" controls="controls" autoplay height="100%" width="100%"></video>         <button id="fd_button" type="button" style="text-align: center;" onclick="fullScreen(document.getElementById('video_play'))">全屏</button>    </body>     <div style="display: none" align="center" id="video_show" >        <p style="font-size: 12px;margin-top: 10px;">您的试看已结束！</p>    </div>     <script src="./jquery-3.3.1.min.js"></script>    <script type="text/javascript">     // 注意不同浏览器兼容    function fullScreen(element) {      if(element.requestFullScreen) {        element.requestFullScreen();        } else if(element.mozRequestFullScreen) {        element.mozRequestFullScreen();      } else if(element.webkitRequestFullScreen) {        element.webkitRequestFullScreen();       }    }     var video = document.getElementById("video_play");    // 试看控制标识，如会员，付费等    var video_status = 0;    if (video_status !=1){        if(video){            video.addEventListener("timeupdate",function(){                var timeDisplay = Math.floor(video.currentTime);                // 单位：秒                if(timeDisplay>6*60){                    video.pause()                    this.webkitExitFullScreen();                    // 试看结束，隐藏视频以及相关属性                     video.setAttribute('src','');                      video.style.display="none";                     fd_button.style.display="none";                     //试看结束，显示提示                    $('#video_show').show();                }            },false)        }    }    </script></html>

随着我国经济稳步发展、数字化电商消费水平日益增高，我国公路货物运输行业呈爆发增长态势，作为公路运输重要承载工具的商用车，开启了迅猛发展模式，但随之而来的交通安全隐患问题也让人头疼不已。如何降低商用车事故率，减少人身伤亡和财产损失？中移物联网有限公司以营运车视频监控的后装市场为突破口，为庞大的存量商用车市场提供出完整的解决方案，助力商用车平安出行。截至2022年6月，中移物联网智慧出行已推出超20款智能终端，10余个场景化解决方案，业务覆盖全国31个省区市，服务企业超2500家，用户规模300万+，智慧出行相应解决方案已在两客一危、货运物流、商砼渣土、出租网约、各政企单位公车等商用车上实现大规模应用。不同于大部分仅提供解决方案的企业，中移物联网智慧出行业务在技术解决方案、商业模式、运维服务、交付网络等各环节建立了完整的技术储备和运营能力，以平台可定制、终端多样化、落地支撑强三大优势，开辟出独特的发展路径，打消了服务的“后顾之忧”。就商用车的安全管理而言，了解驾驶员及车辆的位置、轨迹、速度等很重要，但事前识别、预警驾驶员的不良驾驶行为，对降低事故率同样重要。中移物联网智慧出行提供驾驶员危险驾驶行为分析预警，通过安装在车辆上的终端设备，可有效识别司机闭眼、左顾右盼、低头看手机、接打电话、抽烟等危险行为，并实时进行语音提醒，防范事故于未然。就车队管理而言，终端设备对车辆驾驶、视频监控数据的回传功能，可以识别发生在车队中的高风险驾驶行为，帮助车队管理者及时制止超速、越界、违章等不良驾驶行为，纠正不良驾驶习惯。同时，终端设备还具备上传图片和视频证据至平台存档备案的功能，以备后期事故溯源。商用车视频监控、主动安全的有效性，在实际应用中也得到了印证。如某物流企业在使用智慧出行营运车视频监管方案后，通过对车辆的视频监控、录像回放、异常告警等管理，其旗下危险品运输车、货运物流车的驾驶司机违规驾驶行为降低约60%，大大减少了车辆事故发生概率。无论是驾驶员主动安全预警，还是高级辅助驾驶系统，终极目的都是为了出行平安。安全无止境，在如何用“技术与服务”为更多企业和家庭带来安心这条路上，中移物联网有限公司将不懈努力。（来源：中国青年网）

随着我国经济稳步发展、数字化电商消费水平日益增高，我国公路货物运输行业呈爆发增长态势，作为公路运输重要承载工具的商用车，开启了迅猛发展模式，但随之而来的交通安全隐患问题也让人头疼不已。如何降低商用车事故率，减少人身伤亡和财产损失？中移物联网有限公司以营运车视频监控的后装市场为突破口，为庞大的存量商用车市场提供出完整的解决方案，助力商用车平安出行。截至2022年6月，中移物联网智慧出行已推出超20款智能终端，10余个场景化解决方案，业务覆盖全国31个省区市，服务企业超2500家，用户规模300万+，智慧出行相应解决方案已在两客一危、货运物流、商砼渣土、出租网约、各政企单位公车等商用车上实现大规模应用。不同于大部分仅提供解决方案的企业，中移物联网智慧出行业务在技术解决方案、商业模式、运维服务、交付网络等各环节建立了完整的技术储备和运营能力，以平台可定制、终端多样化、落地支撑强三大优势，开辟出独特的发展路径，打消了服务的“后顾之忧”。就商用车的安全管理而言，了解驾驶员及车辆的位置、轨迹、速度等很重要，但事前识别、预警驾驶员的不良驾驶行为，对降低事故率同样重要。中移物联网智慧出行提供驾驶员危险驾驶行为分析预警，通过安装在车辆上的终端设备，可有效识别司机闭眼、左顾右盼、低头看手机、接打电话、抽烟等危险行为，并实时进行语音提醒，防范事故于未然。就车队管理而言，终端设备对车辆驾驶、视频监控数据的回传功能，可以识别发生在车队中的高风险驾驶行为，帮助车队管理者及时制止超速、越界、违章等不良驾驶行为，纠正不良驾驶习惯。同时，终端设备还具备上传图片和视频证据至平台存档备案的功能，以备后期事故溯源。商用车视频监控、主动安全的有效性，在实际应用中也得到了印证。如某物流企业在使用智慧出行营运车视频监管方案后，通过对车辆的视频监控、录像回放、异常告警等管理，其旗下危险品运输车、货运物流车的驾驶司机违规驾驶行为降低约60%，大大减少了车辆事故发生概率。无论是驾驶员主动安全预警，还是高级辅助驾驶系统，终极目的都是为了出行平安。安全无止境，在如何用“技术与服务”为更多企业和家庭带来安心这条路上，中移物联网有限公司将不懈努力。

# MindX SDK -- passengerflowestimation参考设计案例 ## 1 案例概述 ### 1.1 概要描述 https://gitee.com/ascend/mindxsdk-referenceapps/tree/master/contrib/PassengerflowEstimation passengerflowestimation基于MindXSDK开发，在昇腾芯片上进行客流量统计，将最后统计得到的客流量结果在终端内显示。根据要求在插件的相应位置设置好一条线段，然后输入视频，视频，在终端上就会显示当前最大客流量。 ### 1.2 特性及适用场景 ### 1.3 模型介绍 这个案例使用的模型是直接在Ascend，model zoo上面下载的，点击[此处下载](https://www.hiascend.com/zh/software/modelzoo/detail/1/abb7e641964c459398173248aa5353bc)相应的yolov4模型。在这个案例中，下载的.om格式模型不适用于这个案例，需要按照要求转换。YOLO是一个经典的物体检查网络，将物体检测作为回归问题求解。YOLO训练和推理均是在一个单独网络中进行。基于一个单独的end-to-end网络，输入图像经过一次inference，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。YOLOv4在YOLOv3的基础上做了很多改进，其中包括近几年来最新的深度学习技巧，例如Swish、Mish激活函数，CutOut和CutMix数据增强方法，DropPath和DropBlock正则化方法，也提出了自己的创新，例如Mosaic（马赛克）和自对抗训练数据增强方法，提出了修改版本的SAM和PAN，跨Batch的批归一化（BN），共五大改进。所以说该文章工作非常扎实，也极具创新。 模型相关信息： | 输入数据 | 大小 | 数据类型 | 数据排布格式 | | -------- | ------------------- | -------- | ------------ | | input | batchsize*3*608*608 | RGB_FP32 | NCHW | 输出数据： | 输出数据 | 大小 | 数据类型 | 数据排布格式 | | ------------- | ------------ | -------- | ------------ | | feature_map_1 | -1x255x76x76 | FLOAT32 | NCHW | | feature_map_2 | -1x255x38x38 | FLOAT32 | NCHW | | feature_map_3 | -1x255x19x19 | FLOAT32 | NCHW | ### 1.4 实现流程 案例主要流程介绍： 这个案例首先对输入的视频进行拉流，拉流之后将数据存入缓冲队列中。之后进行视频解码，并且用插件tee对解码后的数据进行分发，分别存到两个不同的缓存队列queue1和queue2中。在queue1中对图片进行放缩到适合的大小，然后进行模型推理。紧接着对图片中的目标进行筛选和跟踪，并且进行数量统计。在图中将检测到的人绘制目标框。最后进行视频编码输出。 技术流程图：  ## 2 软件方案介绍 ### 2.1 项目方案架构介绍 表1.1 系统方案各子系统功能描述： | 序号 | 子系统 | 功能描述 | | ---- | ---------------------------- | ------------------ | | 1 | mxpi_passengerflowestimation | 实现视频中人的计数 | | 2 | mxpi_selectobject | 实现人的筛选 | ## 3 开发环境准备 ### 3.1 环境依赖说明 可列出项目所用的硬件平台、支持的硬件平台、访问方式等: 本产品以昇腾310（推理）卡为硬件平台。 列出环境依赖软件和版本。（支持的SDK版本、涉及第三方软件依赖等）: | 软件名称 | 版本 | 说明 | 获取方式 | | ------------------- | ----- | ----------------------------- | --------------------------------------------------------- | | MindX SDK | 2.0.4 | mxVision软件包 | [链接](https://www.hiascend.com/software/Mindx-sdk) | | ubuntu | 18.04 | 操作系统 | 请上ubuntu官网获取 | | Ascend-CANN-toolkit | 5.0.4 | Ascend-cann-toolkit开发套件包 | [链接](https://www.hiascend.com/software/cann/commercial) | ### 3.2 环境搭建 #### 3.2.1 依赖安装 推理中涉及到第三方软件依赖如下表所示。 | 软件名称 | 版本 | 说明 | 使用教程 | | -------- | ---------- | ------------------------------ | ------------------------------------------------------------ | | live555 | 1.09 | 实现视频转rstp进行推流 | [链接](https://gitee.com/ascend/docs-openmind/blob/master/guide/mindx/sdk/one_stop_navigation.md) | | ffmpeg | 2021-07-21 | 实现mp4格式视频转为264格式视频 | [链接](https://gitee.com/ascend/docs-openmind/blob/master/guide/mindx/sdk/one_stop_navigation.md) | 这两个软件用法：用ffmpeg将视频从.mp4或者webm格式转换为.264格式，并且指定好大小为1920*1080，然后将转换完成的.264视频文件转移到/live/mediaServer目录下。在想要运行时候要先推流。 #### 3.2.2 工程创建 1. 设置环境变量； 2. 转换模型； 3. 修改插件当中的视频源以及"mxpi_passengerflowestimation0"插件中的相应线段坐标； 4. 进入到两个插件目录下，执行`bash build.sh`指令，执行成功后将将build文件夹下生成的.so下载后上传到${SDK安装路径}/mxVision/lib/plugins目录下。 5. 在主目录下，运行：python3 main.py ## 4 编译与运行 ### 步骤1 按照第二小节环境依赖中的步骤设置环境变量。 ### 步骤2 按照第四小节模型转换中的步骤获取om模型文件，放置在`passengerflowestimation/models`目录下。 ### 步骤3 修改 对于mxpi_passengerflowestimate插件的使用说明： 在pipeline中，mxpi_passengerflowestimate插件如下： ``` "mxpi_passengerflowestimation0": { "props": { "dataSource": "mxpi_selectobject0", "motSource": "motV2", "x0":"736", "y0":"191", "x1":"1870", "y1":"191" }, "factory": "mxpi_passengerflowestimation", "next": "mxpi_object2osdinstances0" }, ``` 这里点$(x_0,y_0)$与$(x_1,y_1)$确定了一条线段，这个插件统计经过该线段的客流量。 ### 步骤4 编译 进入passengerflowestimation目录，在passengerflowestimation目录下执行命令： ``` bash build.sh ``` 命令执行成功之后会在passengerflowestimation/plugins/mxpi_passengerflowestimation和passengerflowestimation/plugins/mxpi_selectobject目录下分别生成build文件夹。将build文件夹下生成的.so下载后上传到${SDK安装路径}/mxVision/lib/plugins目录下。在生成build文件夹后，进入到build目录下执行如下指令： ``` chmod 640 libmxpi_passengerflowestimation.so chmod 640 libmxpi_selectobject.so ``` ### 步骤5 运行： 在passengerflowestimation目录下运行： ``` python3 main.py ``` 最后生成的结果将会在passengerflowestimation文件夹目录下result.h264文件里面。 ## 5性能测试 测试帧率： 本样例的测试脚本main.py测试拉流25帧视频时输出的帧率，通过计算帧数和整个计算过程所需时间的比值，统计整个过程中平均帧率。 测试视频的帧率为25，分辨率1920*1080，因为拉流开始会导致丢帧，而测试脚本是通过计算帧数和整个处理过程所需的时间的比值获得的平均帧率，所以测试视频的帧数过少会引起性能测试值偏低，FRAMENUM需要设为较大值(不小于源测试视频的帧数)。 经过计算平均fps值，得到平均fps为24.9（如下图所示），考虑到一开始拉流丢帧造成的损失，满足性能测试要求。