• [其他] 【开源资料】DSP+ZYNQ多核例程使用手册-XQTyer
    【开源资料】XQTyer评估板例程使用手册.pdf链接:https://share.weiyun.com/8csewUvh 密码:8r9by7CSDN搜索【DSP+ZYNQ多核例程使用手册-XQTyer】XQ6657Z35/45-EVM 高速数据处理评估板(XQTyer 评估板)由广州星嵌电子科技有限公司自主研发,包含一片TI DSP TMS320C6657和一片Xilinx ZYNQ-7000 SoC 处理器XC7Z035-2FFG676I。适用于无人机蜂群、软件无线电系统,基带信号处理,无线仿真平台,高速图像采集、处理等领域。
  • [MindX SDK] 医学人体关键点检测案例分享
    MindX SDK -- 医学人体关键点检测参考设计案例1 案例概述1.1 概要描述在本系统中,目的是基于MindX SDK,在华为云昇腾平台上,开发端到端医学人体关键点检测的参考设计,实现对应体态的关键点检测的功能,达到精度要求。1.2 模型介绍本项目用到了两个模型:1)用于人体目标检测的FasterRcnn模型FasterRcnn模型相关文件可以在此处Faster R-CNN-昇腾社区 (hiascend.com)。2)用于人体关键点检测的HRNet-w48模型模型相关文件可以在此处获取:1.3 实现流程1、基础环境: MindX SDK : 版本2.0.4 获取方式:cid:link_6 ubuntu : 版本:18.04 获取方式:请上ubuntu官网获取 Ascend-CANN-toolkit: 版本:5.0.4 获取方式:cid:link_5 2、模型转换:利用atc工具完成模型转化:pose_model_384x288.onnx.onxx --> pose_model_384_288_noAipp_fp16.om3、python主程序代码开发技术流程图如下:1.4 代码地址cid:link_32 软件方案介绍2.1 项目方案架构介绍本系统设计了不同的功能模块。主要流程为:1) 待检测试图片由插件appsrc0输入并解码,同时通过opencv获取图像的信息由appsrc1送入推理,用mxpi_imageresize0插件将图像放缩至满足检测模型要求的输入图像大小要求。随后,图片输入模型推理插件mxpi_tensorinfer0进行处理。获取得到人像识别框,并根据该框对原图像进行仿射变换,进行数据增强。2) 对仿射变换后的图片进行转向量与归一化的操作,通过sendprotobuf接口将数据送入HRNET-w48模型进行推理,可以得到80个点位的像素值及原图的体位分类值,通过后处理可对图像进行可视化。表2.1 系统方案(1)中各模块功能:序号子系统功能描述1图片输入接收外部调用接口的输入图片。2图片数据输入接受外部调用接口的输入图片尺寸信息。3图片解码用于解码,将jpg格式图片解码为YUV4图像处理对解码后的YUV格式的图像进行放缩。5模型推理插件fasterrcnn人体目标检测。6输出输出检测信息表2.2 系统方案(2)中各模块功能:序号子系统功能描述1处理后的数据输入接收外部调用接口的输入数据。2模型推理插件hrnet-w48人体目标检测。3输出输出检测信息(体位分类 与 体表检测)2.2 代码目录结构与说明本项目名为hrnet-w48医学人体关键点检测,项目目录如下所示:. |-------- data // 存放测试图片 |-------- model // 存放模型 |-------- main.py // 主程序 |-------- pipeline | |---- model1.pipeline // 模型1pipeline配置文件 | |---- model2.pipeline // 模型2pipeline配置文件 |-------- evaluate.py // 精度测试程序 |-------- README.md |-------- run.sh3 开发介绍3.1 环境依赖说明推荐系统为ubuntu 18.04,环境软件和版本如下:软件名称版本说明获取方式MindX SDK2.0.4mxVision软件包链接ubuntu18.04操作系统请上ubuntu官网获取Ascend-CANN-toolkit5.0.4Ascend-cann-toolkit开发套件包链接3.2 环境搭建在编译运行项目前,需要设置环境变量:MindSDK 环境变量:. ${SDK-path}/set_env.shCANN 环境变量:. ${ascend-toolkit-path}/set_env.sh环境变量介绍SDK-path: SDK mxVision 安装路径 ascend-toolkit-path: CANN 安装路径。3.3 hrnet-w48模型转换医学人体关键点检测采用自行训练的hrnet-w48模型。我们需要借助于ATC工具将onnx模型转化为对应的om模型。具体步骤如下:步骤1 获取模型onnx文件 ,下载链接为下载步骤2 将获取到的HRnet-w48模型onnx文件存放至:“项目所在目录/model”步骤3 模型转换在确保环境变量设置正确后,在onnx文件所在目录下执行以下命令:atc --model=pose_model_384x288.onnx --framework=5 --output=pose_model_384_288_noAipp_fp16 --soc_version=Ascend310 --output_type=FP16执行完模型转换脚本后,若提示如下信息说明模型转换成功,会在output参数指定的路径下生成pose_model_384_288_noAipp_fp16.om模型文件。ATC run success 4 编译与运行接下来进行模型的安装运行,具体步骤如下:步骤1 获取om模型(见前一章节)步骤2 配置pipeline根据所需场景,配置pipeline1与pipeline2文件,调整路径参数等。fasterrcnn.pipeline:"mxpi_tensorinfer0": { "props": { "modelPath": "./model/fasterrcnn_mindspore_dvpp.om" }, "factory": "mxpi_tensorinfer", "next":"appsink0" } #修改om文件存放的路径hrnet.pipeline:"mxpi_tensorinfer0": { "props": { "modelPath": "./model/pose_model_384_288_noAipp_fp16.om" }, "factory": "mxpi_tensorinfer", "next":"appsink0" } #修改om文件存放的路径步骤3 存放图片,执行模型进行测试将测试图片存放至主目录下,修改main.py中的图片存放路径以及人像分割后的存储路径的相关代码: 测试图片 【注】本模型定位场景为医学应用下的人体关键点检测,故只针对特定体态进行识别,建议从提供的测试图片或根据对应体态自行拍摄图片进行测试。FILE_PATH = '' #测试图片路径 SAVEPATH = '' #测试结果保存路径,图片保存路径需提前手动创建然后执行run.sh文件(执行前需要通过命令提供执行权限):./run.sh输出的图片即为样例的人像分割后的图片。5 精度测试对测试集中的3651张图片进行精度测试,具体步骤如下:步骤1 获取测试集的图片,确保测试集的输入图片为jpg格式。获取测试集的标注文件(person_keypoints_val2017.json)。存放于data路径下。 (数据集暂未开源)步骤2 修改evaluate.py中的测试集图片存放路径:coco_anno = ' ' #485行,修改为测试集的标注文件路径 coco_anno = ' ' #557行,修改为测试集的标注文件路径 IMAGEFOLDER = ' ' #677行,修改为测试集的路径 FILE_ANNO = ' ' #678行,修改为测试集的标注文件路径 TXT = '' #689行,体位分类情况,请提前在文件夹对应位置创建同名文本文件步骤3 找到pycocotools源代码(cocoeval.py文件),修改kpt_oks_sigmas的值如下:(此为自制数据集的标注误差)self.kpt_oks_sigmas = np.array( [0.008784891334757884, 0.007934237422930233, 0.008130125823095129, 0.010598041983050829, 0.010611059330895747, 0.013854384373318705, 0.012312922863012592, 0.011434032335303733, 0.011415450225720266, 0.013836090153967652, 0.010062551495331999, 0.012966371944947402, 0.014659796595795808, 0.017770972497132317, 0.030104085032138312, 0.014557348480916475, 0.01536017320369201, 0.012869410502722093, 0.015257251871497391, 0.010375051254335216, 0.011380203661720942, 0.01414838952723429, 0.01382237259730266, 0.013735144644847687, 0.01472162976531488, 0.009619962495050469, 0.008610254442541486, 0.029481674119348003, 0.024059201435679762, 0.042427130812542665, 0.040127749201969376, 0.0525428294612648, 0.026481463695494662, 0.027975991688555843, 0.025593756110373064, 0.027253280146480565, 0.027454019180679124, 0.025064436713274765, 0.02099536659024268, 0.020033183495373304, 0.015050220402346052, 0.015267670545143495, 0.02596082400646692, 0.02923469684259541, 0.027801624530848095, 0.021826487778693508, 0.015060326275153427, 0.014315148040325337, 0.02596082400646692, 0.02923469684259541, 0.027801624530848095, 0.021826487778693508, 0.015060326275153427, 0.014315148040325337, 0.007395141152098735, 0.00762250652117458, 0.010602288831543757, 0.0090104333962127, 0.010453948805939391, 0.010370213072066961, 0.022732842847710055, 0.06232777881671897, 0.045665339866036256, 0.022732842847710055, 0.06232777881671897, 0.045665339866036256, 0.02359125146550032, 0.02359125146550032, 0.031776475097392176, 0.0270604129014659, 0.03426748613886749, 0.03807683079471247, 0.01993400901401409, 0.01993400901401409, 0.032237205934095854, 0.032237205934095854, 0.017419685722172645, 0.017419685722172645, 0.03147083587813606, 0.03147083587813606], dtype=np.float32 )步骤4 修改run.sh最后的执行文件名称:python3.9 evaluate.py并执行:./run.sh最终可以得到测试的精度结果及性能结果。精度测试指标如下:分类指标-体位识别准确率姿态估计-关键点检测精度APPytorch框架96.47%78.3Mindx-sdk架构95.2%77.26注:由于模型一(FasterRcnn)未能正常完成模型转换(算子未适配),是在华为仓内找到的替换模型,精度误差来自相似模型之间的精度差距,与模型二(HRNet-w48)无关。性能测试结果如下:在Atlas-200dk上进行对整个测试集上进行性能测试,未进行模型1的推理时间统计(因为该模型来自华为仓内,未进行任何调整,无需加入性能测试),模型2(hrnet-w48)的推理总花费时间为161.89s,fps=3651/161=22.67.原modelzoo下的hrnet-w48在五百张图片上推理耗时551s,fps=1.1.可见本模型在模型上的优化可以很好的提升性能。6 参考链接模型类型模型名称参考链接人体检测模型FasterrcnnFaster R-CNN-昇腾社区 (hiascend.com)关键点检测模型-自训练HRNet-w48models: Models of MindSpore - Gitee.com
  • 什么是智慧医疗?智慧医疗有哪些显著优势?
    智慧医疗的发展背景生老病死,是每个人都无法逃避的过程。只要你活着,就有可能生病;只要生病,就需要就医。所以,医疗是每个人的刚性需求,也是国家重要的民生领域。医疗服务质量的好坏,直接影响了居民的生活幸福指数。改革开放以来,随着经济的不断发展,各级政府都在持续加大对医疗软硬件基础设施的投入,我们的就医体验也有了明显的改善和提升。但是,正如大家所看到的,问题仍然很多,体验依旧无法让人满意。医疗,也和教育、住房一起,被称为21世纪压在老百姓身上的“新三座大山”。站在医护人员的角度,从业幸福度也不算高。繁重的工作压力,加上频繁出现的医闹甚至伤医事件,让白衣天使们战战兢兢、时刻不敢放松警惕。除了亟待改善的居民就医体验和医护人员从业体验之外,整个国内医疗行业还面临着更加复杂的内外部形势变化。首先,就是众所周知的人口老龄化。根据数据显示,目前我国60岁以上的老人数量已经达到了2.5亿。预计到2025年,这一数字将达到3亿。我们正在加速迈入深度老龄化社会。人口老龄化,将直接导致老年群体医疗、保健需求的急剧增长,对社会医疗资源形成更大的压力。第二个趋势,是慢性病患病率的增加。经济的快速发展,改善了居民的生活质量,也推高了肥胖症、糖尿病、脂肪肝等“富贵病”的发病比例。这些慢性疾病,产生了长期用药和治疗成本,同样增加对社会医疗体系的压力。2019年,我国因慢性病导致的死亡占总死亡88.5%。其中,心脑血管病、癌症、慢性呼吸系统疾病死亡比例为80.7%。第三,是医疗资源的极度失衡。这就不用多说了。以医院数量为例,国内优质的三甲医院资源主要集中于一二线大城市,尤以北上广为最。经济欠发达地区,医疗资源远远不足。第四,是医疗专业技术人才的缺失。据《全国医疗卫生服务体系规划纲要(2015—2020 年)》,2020年国内每千常住人口执业(助理)医师数为2.5人,每千常住人口注册护士数3.14人,远低于发达国家平均水平。医疗专业技术人才的培养周期很长,年轻人越来越不愿意学医,导致人才紧缺度加剧。第五,是公共卫生突发事件的挑战。没错,目前仍在肆虐的COVID-19新冠疫情,就是一个典型例子。新冠疫情的发生,暴露了医疗卫健系统在应对突发事件时的不足。它也给我们展示了,在极端情况下,医疗体系的接纳能力和运行效率将面临无比巨大的考验。我们到底有没有更好的办法,用更先进的手段,来应对此类危机?这次新冠疫情,到底给我们的卫健体系带来了什么样的启示?这些,都值得深入思考。总而言之,在上述各种复杂形势变化的影响下,整个医疗行业可以说是鸭梨山大。医院、政府有关部门以及行业企业,都在绞尽脑汁想办法,看如何才能弥补医疗资源的不足、促进医疗效率的提升,改善就医行医体验。除了在医疗技术上继续进行研究之外,人们发现,合理利用来自数字科技的赋能,很可能是解决问题的“金钥匙”。于是,智慧医疗,闪亮登场了。什么是智慧医疗究竟什么是智慧医疗?其实,智慧医疗是一个很“虚”的概念。不同的人,对智慧医疗有不同的理解。有人觉得它是一门学科、一种技术,也有人觉得它是一个平台、一套体系,甚至一种商业模式。智慧医疗是一种理念。它是医疗信息化最新发展阶段的产物,是5G、云计算、大数据、AR/VR、人工智能等技术与医疗行业进行深度融合的结果,是互联网医疗的演进。说到医疗信息化,大家应该不会觉得陌生,早在上世纪八九十年代,我们国家就效仿国外,引进了医疗信息化技术。当时,少数有条件的大型医院,购置了计算机软硬件,建立IT系统和数据库,用于改进医院管理工作流程,推动效率提升。医疗信息化的最初落地成果,主要集中于医院的财务结算系统,以及药品等医疗物资的管理系统。进入21世纪后,随着IT技术的进一步成熟,以及互联网的爆发,医疗信息化进入2.0阶段。越来越多的医院,开始自建机房和网络,购买和使用HIS(医院信息系统,后面会详细介绍)等信息化管理系统。电子病历、自助服务机等新生事物,也陆续出现并在沿海经济发达地区的医院普及。2010年后,智能手机和移动互联网蓬勃发展,再次刺激了医疗信息化技术的升级和演进。越来越多的医院推出了远程手机APP挂号、APP查看报告等基于移动互联网的便利就医服务。我们姑且称之为3.0时代。互联网医院这一概念,也诞生于这一时期(2014年)。它的主要推动者,是阿里、腾讯等互联网公司。如今,在5G、人工智能等新兴技术的推动下,医疗信息化又进入了新阶段。大量的5G医疗场景出现,数字化、网络化、智能化的医疗设施和解决方案,真真切切地来到了我们的面前。尤其是新冠疫情期间,各种IT和通信技术融入传统医疗场景,赋能医疗机构和医护人员,为我们战胜疫情提供了巨大的帮助。这意味着,医疗信息化已然迈入4.0时代,也就是“智慧医疗”时代。这里,有一个经常被混淆的概念需要澄清。很多人觉得,医疗就是医院,智慧医疗就是智慧医院。这显然是不对的。医疗是一个很宽泛的概念。从场景来看,医疗既可以发生在医院,也可以发生在家庭和社区。从阶段来看,医疗既包括诊断和治疗,也包括预防、筛查以及康复。所以,医疗大于医院,智慧医疗也大于智慧医院。智慧医院,属于智慧医疗的一个分支。有意思的是,针对智慧医院,国家卫健委曾经明确指出过它的三大工作范围,分别是:面向医务人员的“智慧医疗”,面向患者的“智慧服务”,面向医院管理的“智慧管理”。这么一看,“智慧医院”怎么又包括了“智慧医疗”?其实,小枣君个人认为,上面所说的“医疗”,意思更接近于“治疗”,针对的是诊断治病场景。我们或者可以将其称为“狭义的智慧医疗(智慧治疗)”。2020年,国家明确将“新基建”作为重点战略,进行大力推进。与此同时,“大健康”战略也在稳步向前发展。“新基建”+“大健康”,对智慧医疗来说,都是重大利好,是难得的发展机遇。加上我们前面提到的那五大形势背景,智慧医疗的前景可以说是非常广阔。智慧医疗的最终目标,概括来说,就是:为患者提供优质、高效、安全的医疗服务,降低医务工作人员的工作负荷,提升医疗效率,普及医疗健康知识,宣贯公共卫生政策,提高国民身体健康素质,加强医疗资源共享,降低社会医疗成本更有效地防范和应对公共卫生突发事件。
  • [行业动态] 脑机接口会否被滥用
    脑机接口技术是否会被滥用也是一个道德问题,我们需要共同努力去理解如何善用事物,而不是将其用于坏事
  • [问题求助] 智慧园区、ioc平台测试环境侧边栏图标裂了怎么解决
    ioc平台测试版本为22.0.0;
  • [参赛经验分享] 2022“域见杯”医检人工智能开发者大赛,总决赛第七名(E305团队经验分享)
    非常感谢!!!金域医学联合华为举办这场《2022“域见杯”医检人工智能开发者大赛》疯狂比赛的那段时光,现在还历历在目,“疯狂”,“废寝忘食”,“彻夜难眠”,用这几个词形容一点都不为过通过比赛即可以在自己的专业方向和高水平的团队巅峰对决,弥补自己再专业方向不足之处,又可以获得一份荣誉和现金奖励作为一个即将毕业的研究生,这是求职很好的敲门砖,为能进更好的企业做铺垫接下来是经验分享,有兴趣的童鞋,可以看看,谢谢捧场!!!竞赛题目:本赛题任务是对DCCL宫颈深部细胞学病变(Deep Cervical Cytological Lesions)图像数据库中的7种细胞分为4个类别(NILM、ASC-US&LSIL、ASC-H&HSIL、SCC&AdC,见“数据说明”部分)进行分类。赛题数据: 数据集包含 8619 张宫颈细胞学图片,图片中总共包含7种细胞,其基本信息如下图所示。同时数据包含多种分辨率:2118*1270、4000*2400等。  当前图像分类模型的研究多针对特征明显的单一尺度数据,此次比赛的数据属于弱特征多尺度数据解题思路: 探索性数据分析:整体方案:传统宫颈深部细胞学病变分类方法多基于手工提取特征进行分类模型构建,本次比赛的数据属于弱特征多尺度数据,手工提取特征困难。本方法采用了基于ConvNeXt和多种数据增强的基本思路,其在免除大规模特征工程的同时具有准确率高、鲁棒性强的特点研究难点(结合具体数据集)1.训练数据特征较弱(抗干扰);2.AB数据集尺度不同(适应性);3.模型预测准确有效(准确性)。数据预处理网络设计与训练​​​​​​​数据预处理推理优化​​​​​​​总结​​​​​​​数据预处理数据预处
  • [参赛经验分享] 2022“域见杯”医检人工智能开发者大赛,E305团队经验分享
    基于ConvNeXt的宫颈深部细胞学病变分类方法,以下是我们的经验分享
  • [参赛经验分享] 2022“域见杯”医检人工智能开发者大赛-赛队“彩虹童子”TOP1方案分享
    前言 大家好,我是“彩虹童子”赛队的队长,比赛前期曾用名“为人类医疗做贡献”,然后中期排名掉到后面了自觉我不配😀,于是换了“彩虹童子”的名字,出自最近在看的一本推理小说。 这次也是单人参赛,有幸拿下第一,在此做个简单的分享,我的GitHub主页:https://github.com/fire717, 欢迎多多交流、互相学习。  分享 首先是简单的赛题分析,给出的标签是4分类的类别标签,数据量略偏少。 然后做个简单的EDA,初步感受是第四类数量较少,可能存在数量不平衡的问题,右下角是前期模型计算的混淆矩阵,可以看出反而是前三类比较不好区分(当然跟第四类本身数量少有关系,只是说明数量不平衡没那么严重)。 尺寸整体比较平均,但是也分布在多个不同的尺寸。 接着就是建模了,中期尝试了回归、多标签的方案,其中多标签在a榜也取得了不错的成绩。 Why 回归:四种细胞其实对应了不同的疾病严重程度,单纯的多分类对每个类别是不做区分的,而实际意义上,正常和低级病变的类间距,应该要小于正常到癌变的类间距才是合理的; Why 多标签:这是细胞粒度的分类,但是标签确实图片粒度的,即同一张图上,可能存在正常、低级、高级、癌变四种细胞,但是只取最严重的癌变作为图片的标签,这样也就丢失了信息。 但是最后还是选择了普通的多分类方案,一是标签没有给出那么细的粒度,我尝试自己研究了下各类细胞特征,找了不少文档资料,但是发现还是比较难;二是为了方便优化,可能这就是所谓的大道至简吧。  然后就是一些常见的炼丹操作了。 之前不少比赛项目都尝试过冻结,这还是第一次涨点,我的认知是模型容量、复杂度和任务难度、数据量等都是需要相互匹配的,这个赛题数据量不多,且线上线下有巨大的gap,因此尝试了下冻结前面的conv层,效果还可以。 最后是喜闻乐见的消融实验环节,这里只有后四个是在b榜的真实分数,前面的都是根据a榜的分差换算到b榜的估计分数。 初赛的时候不知道复赛的内容,就在早期跑过一次全量数据,后面一直没用全量数据跑,复赛发现就加了200数据,于是自己换了全量数据训练就上去了。  感想 工作中主要从事智能安防领域,第一次参加医疗AI的项目,收获很多,也深觉这个方向有巨大的意义,感谢广州市科学技术局、金域医学以及华为云提供的这次机会,也希望有一天能看到医疗AI普惠到千万家庭中去。 
  • [参赛经验分享] 2022“域见杯”医检人工智能开发者大赛,第三名经验分享
    赛题回顾以宫颈癌筛查为主题,提供近1万张辅以病理医生专业标注的宫颈细胞学图片。选手利用这些图片及标注开发人工智能分类算法,判断图片中细胞的病变程度,最后根据分类的准确程度进行排名。 有以下几个比赛要点:宫颈深部细胞学病变图像数据库中的7种细胞分为4个类别(NILM、ASC-US&LSIL、ASC-H&HSIL、SCC&AdC);以严重程度最高的病变细胞的类别作为该图片的标签;使用图片识别准确率(recognition accuracy)作为评价指标;基于ModelArts提交模型,限制1小时内完成推理;允许对数据进行额外标注(补充条款)。注意到第5条补充条款,主办方给的是分类的数据,但是允许额外标注,比如标注分割或者检测,则标签的粒度会更细,可转换为分割+分类,或者是检测+分类问题,理论上准确率会更高,有部分选手采用此方案,限于本人的非医学背景,放弃该方案。数据分析数据初探上图是官方给出的细胞类别,包括3大类的7种细胞:鳞状上皮内癌前病变细胞、癌症细胞和未见上皮内病变或恶性肿瘤的细胞; 根据病变程度合并相近的种类,最终得到4大类:NILM、ASC-US&LSIL、ASC-H&HSIL、SCC&AdC。观察4个类别图片,容易得出以下简单结论:细胞形态多样化,无法单纯依靠颜色进行区分;非专业人士很难进行检测框标注,额外标注使用目标检测的方案不现实;病变目标占比很小,不易区分。数量分布对训练数据进行统计通过观察数据分布,可以得出以下结论:类别分布不均衡,比例大致为5:9:4:1癌变细胞SCC&AdC数量最少,只有435张可能为长尾问题尺寸分布对于训练图片的大小,有以下结论:数据集中存在多种分辨率图片,且分辨率较大;数据集的图片宽高比集中,约为1.67。数据集特点总结存在多种分辨率的图片,图片比例几乎一致,宽:高=1.67;癌变细胞SCC&AdC数量相对较少,可能存在长尾问题;图片分辨率大,但是病变目标占比小,不易区分;细胞形态比较多,训练集总数只有8千多张;非专业人士无法进行额外标注。方案设计模型选择问题1:什么样的模型精度高且速度快?方案:从ImageNet的benchmark选取几个最优作为候选,实验后选择ConvNeX-T. 同颜色表示同家族模型,圆圈越大表示FLOPS越高,计算量越大;同等计算量下,ConvNeXt精度优于Swin和ViT;在比赛数据集上,相同输入大小和数据增强下,ConvNeXt的确优于Swin和ViT。经验:兼顾速度与精度,ImageNet上的表现依旧值得参考!问题2:更大的模型还是更大的输入?方案:同等计算量下,更大的输入提升更多,选择600x960的输入+ConvNeXt-T模型。 对于同一个模型,在不超时的情况下,输入越大越好!保持输入宽高比在1.67左右。数据增强问题3:如何通过数据增强提高泛化性?方案:RandomGridShuffle、Random Horizontal Flip、 Random Vertical Flip输入宽高比为1.6,近似于3:2,固选择水平方向平均切割3份,竖直方向平均切割2份,随机打乱后重组,概率为0.1;水平翻转,概率为0.5;垂直翻转,概率为0.5。RandomGridShuffle概率不应过大,否则会生成大量不合理的样本,产生副作用!尝试过的其它方案:Resize + RandomCrop,几乎无作用;Random Brightness,几乎无作用;ColorJitter,改变图像对比度,亮度,色彩等,分数下降较多。可能原因:RandomCrop 对数据多样性增加较少;该数据集的分类对颜色比较敏感,过度使用可能会产生不合理样本,导致学习错误特征。损失函数问题4:选用何种损失函数,是否加权解决长尾问题?方案:使用交叉熵(Cross Entropy),不加权。可能原因本数据集的长尾问题并不是非常严重,总体比例为5:9:4:1,没有数量级的差距;线下训练集的数据分布和线上测试集的数据分布不一致,导致加权参数不正确,没有起到作用。训练策略问题5:如何训练保证模型快速收敛且具有更高的精度?方案:经验参数+实验,训练方法很重要!LR:3e-4Warm up: exp for first 3 epochs优化器:AdamWBatch size: 24Scheduler: ConsineAnnealingEpochs: 30尝试过的其它策略:原图分辨率较大,通过将大图分割成小块,分别输入网络学习冻结部分模型参数,使用训练数据fine-tuningBatchMixup、BatchCutMix标签平滑Label Smooth训练框架使用mmclassification进行训练;数据预处理、数据增强、模型、损失函数、优化器等功能完备;配置文件模块化,不用修改训练代码,专注优化策略。线上推理使用对象存储提交模型包推理,提供customize_service.py、model、config.json,流程简单,安装依赖较慢;使用自定义Docker镜像方式,FastAPI封装http接口,提交自定义镜像,无需线上安装依赖,启动速度快。经验总结进行数据分析是一个良好开端,可以提取有用信息指导后续模型选择以及策略开发,做到有的放矢;站在巨人的肩膀上工作,开源数据集上的基准测试对模型选择有很大的参考意义,可以节省时间,快速决策;适合方为好,根据实际数据选择合适的数据增强,才能提高泛化性,一味堆砌只会失去方向,一次添加一种,大胆假设,小心求证;多总结业内通用做法,可以少走弯路,同一模型,采取不同的优化方法差异较大,不合适的训练策略可能让你与好模型失之交臂。展望人工智能与生物医学学科交叉人才稀少,限制了人工智能技术在生物医学领域的应用,本次医检人工智能大赛吸引更多人工智能人才加入医疗领域,推动了医检乃至医疗行业向智慧医疗迈进;金域医学深耕医检领域28年,拥有全国最多的专业病理医生团队,积累了千万级别的宫颈癌筛查数据,在业界有得天独厚的数据优势。希望下一届比赛可以共享更多数量、种类的标注数据,探索更加精准、场景更加广阔的行业应用;华为云的ModelArts是面向开发者的一站式AI开发平台,本次比赛提供了易用的部署推理服务,希望下一次比赛能体验端到端的人工智能模型开发流程,共同推动国产人工智能平台的发展。
  • [参赛经验分享] 2022“域见杯”医检人工智能开发者大赛,第四名经验分享
    赛题描述本次大赛结合医检行业特色,以宫颈癌筛查为主题,提供近1万张辅以病理医生专业标注的宫颈细胞学图片。利用这些图片及标注开发人工智能分类算法,判断图片中细胞的病变程度,并进行分类。 赛题任务任务指标:  识别准确率 = 识别正确的图片数 / 图片总数推理时间要求:  计算资源规格为“CPU: 2 核 8GB”,一小时内完成1800张图像预测数据分析数据处理模型选择总结致谢
  • [技术干货] R22C00医疗CPE WAC纳管配置指南
    一、 组网二、 版本配套三、 WAC配置方法一: 通过命令行配置:1、 配置cpe-tunnel-profile,并绑定在vap-profile下。(该部分与21.1版本一致)2、 vap模板下需配置 iconnect parse-url enable3、 ap系统模板下需配置local-management enable方法二:通过页面配置:1、 配置-》AP配置-》模板管理-》无线业务-》CPE隧道模板下,配置cpe-tunnel-profile,并在配置-》AP配置-》模板管理-》无线业务-》VAP模板下,绑定CPE模板。(该部分与21.1版本一致)​2、 配置-》AP配置-》模板管理-》无线业务-》VAP模板下,选择模板,高级配置,使能解析iconnect URL:3、 配置-》AP配置-》模板管理-》AP-》AP系统模板下,选择高级配置-》系统管理,使能AP本地管理四、 CPE配置登录CPE,确认版本为R22C00,关闭iconnect,手动关联信号。注:iconnect与手动关联信号冲突,只能保留一种关联信号的方式。五、检查CPE状态1. WAC上wlan视图下,输入命令查看CPE信息# dis cpe all2. 下发命令格式:下发至指定单台CPE: # set-cpe-command cpe-id IC1-suchdo-SG1229-CPE-21BOM1229CSD21000001 <纳管命令>下发至关联在指定ap-group下的CPE: # set-cpe-command ap-group default <纳管命令>下发至关联在指定ap下的CPE:# set-cpe-command ap-id 0 <纳管命令>下发至所有CPE:# set-cpe-command all <纳管命令>3. 查询命令下发结果:# dis wlan cpe-command-record cpe-id IC1-suchdo-SG1229-CPE-21BOM1229CSD21000001 注: 只显示指定CPE上执行的最新20条命令结果,命令编号从大往小显示,AC重启后编号从0开始统计。4. 清空统计的下发结果:# reset wlan cpe-command-record cpe-id IC1-suchdo-SG1229-CPE-21BOM1229CSD21000001 5. AP上可查看下发过程及结果(注:此步为dfx手段,依据下发指令编号,命令只显示前半部分。)诊断视图: # dis cpe-command-record history注:只保留最新的20条数据。重启后数据清空。
  • [交流吐槽] Acrel-EIoT能源物联网云平台助力电力物联网数据服务
    摘要:Acrel-EIoT能源物联网云平台是一套结合了线上销售的互联网商业模式,为分布广泛的互联网用户提供PAAS服务的平台。用户完成我司物联网产品安装之后,可通过手机扫码便捷地实现产品接入平台,无需关注调试和平台运作过程,并可自主选择平台功能,获得到相应的数据服务。关键词:能源物联网;物联网电表;云平台一、引言近几年来,物联网概念加速与产业应用结合,成为智慧城市和信息化整体方案的关键性技术思维。当前,物联网已由概念炒作、碎片化应用、闭环式发展进入跨界结合、集成创新和规模化发展的新阶段,与中国新型工业化、城镇化、信息化、农业现代化建设交汇,在传统产业转型升级、新型城镇化和智慧城市建设、人民生活质量方面发挥了重要作用,取得了明显的成果。国家十三五规划中提出“加速建设数字中国”之后,十四五规划中又提出“互联网-物联网线上线下结合对生活方式的变革”。到2020年,物联网预计将产生3440亿美元的额外收入,同时还会降低1770亿美元的经营成本。物联网和智能设备已经在提高全球主要工厂的性能指标,并将生产率水平提高40-60%。中商产业研究院预测到十四五期间,我国物联网产业仍然保持高速增长,年均复合增长率约达23%-26%。能源互联网在能源侧涵盖了供能侧管理(如水电、火电、核电、风电和太阳能)、储能侧管理(如相变储热、冰蓄冷、水储冷、各类新能源电池等),以及用能测管理(如工业用电、商业用电、新能源电动汽车等),实现上述三类主体与能源调度中心的信息传递,实现能效管理、互联网支付、数据监控等功能,实现互联网与能源的生产、传输、存储、消费以及能源市场结合。为国家电网建设“三型两网”提供解决方案,使用户在任何时间、地点、人、物之间实现信息连接和交互,产生共享数据,从而为电网、发电、供应商、用户服务。Acrel-EIoT能源物联网云平台是一套基于我司物联网数据中台,建立了上下行数据标准,为互联网用户提供能源物联网数据服务的平台。用户仅需购买我司物联网传感器和互感器等设备,自行安装后无论是物联网仪表直传还是通过网关上传,都可以使用手机扫码即可得到所需的行业数据服务。二、需求分析Acrel-EIoT能源物联网云平台的客户群体分为两类:一类是互联网用户;二类是智慧城市。互联网用户一般包括如下几个类型:1. 某个出租户有三五间公寓出租,需要计量收取水电费;2. 有几间连锁小超市,想要做能源管理、远程控制和电气安全管理;3. 某个小区的物业,想购买几台充电桩作为集中充电管理,需要收费运营;4. 某栋楼楼管,仅需几块表,对楼层进行能源计量管理;5. 某个小工厂,想要管理自家小工厂的电力计量;6. 某个物联网系统集成商想要直接获取物联网产品的数据,需要一个统一的管理平台;传统的商业模式对这类互联网用户的弊端有一下几个方面:1. 数据系统价格偏高2. 需要多样化数据服务3. 调试有门槛4. 系统硬件选型有门槛5. 服务缴费不便捷智慧城市的需求如下:1、 需要接入各种类型的海量硬件2、 需要提取领导层关注的监管信息,结合GIS、BIM等数字孪生技术实现宏观监管3、 提供统一的运营服务平台,向终端用户提供物联网数据服务三、系统结构能源物联网以能源供应、能源管理、设备管理、能耗分析的能源流向为主线,将能源生产加工、分配传输、消耗、节能各个环节串联起来,结合人与物的互联,构成以我司产品为媒介的能源物联网圈,其中物联网硬件和能源参与者分别以数据流形式和业务流的形式与平台交互。3.1组网结构Acrel-EIoT能源物联网云平台采用分层分布式结构,主要由感知层(终端采集设备)、网络层(通讯管理终端)和平台层(能源物联网云平台)三个部分组成。● 感知层:连接于网络中的各类传感器,包括多功能仪表、预付费电表、多回路仪表、物联网电表、物联网水表、电瓶车充电桩、汽车充电桩、路灯控制器等。● 网络层:智能网关,采集感知层的数据,进行规约转换及存储之后将数据上传至能源物联网云平台。● 平台层:包含应用服务器和数据服务器,可在PC端或移动端实现应用。3.2平台架构Acrel-EIoT能源物联网云平台的系统网络结构采用分层分布式的结构,系统包括:感知层、数据层、应用层、表现层和运营层。系统架构图如图所示。传感器层包括了我司的各类产品,是整个系统的底层,也是构建该能源物联网云平台必要的基本组成元素,主要有多功能仪表、预付费电表、多回路仪表、物联网电表、物联网水表、电瓶车充电桩、汽车充电桩、路灯控制器等设备。中间的数据处理平台主要完成数据处理、数据存储和数据交互的工作,为了保证整个综合平台的数据处理能力,我们将实时数据、历史数据和业务数据分别存储在不同的库中,并提供多种接口实现与第三方系统的数据交互。上层的应用层是指Acrel-EIoT能源物联网云平台,主要实现各种功能应用,平台按照能源的流向分为能源供应、能源管理、设备管理和能耗分析4大板块,其中能源供应包括电力集抄、智能运维子模块,能源管理包括安全用电、电能质量子模块,设备管理包括智能照明、预付费、充电桩子模块,能耗分析包括能源管理、增值服务子模块。平台通过web和app的方式为用户提供人机交互的界面,运营层的各类用户可以通过这两种方式实现平台的访问与操作。三、平台功能3.1、能源供应3.1.1 电力集抄功能模块随着信息网络技术的不断发展,各类规模大小不等,设备种类、数量不同的含网络设备机房广泛分布于用户各分支机构所在地域,由于欠缺与运行网络的规模体系相对称的监控系统,数量众多的无人值守机房的物理运行环境状况、设备运行状况、人员活动状况以及消防状况的变化包括可能出现的危急状况,均无法得到及时的发现和处理,也就很难被合理预见、防范和避免。因此在配电室内安装环境监控系统,实现配电室内环境的在线监测,保障配电室设备的稳定运行很有必要。电力集抄模块可以实现对各种监测数据的查询、分析、预警及综合展示,以保证配电室的环境友好。在智能化方面实现供配电监控系统的遥测、遥信、遥控控制,对系统进行综合检测和统一管理;在数据资源管理方面,可以显示或查询供配电室内各设备运行(包括历史和实时参数),并根据实际情况进行日报、月报和年报查询或打印,提高工作效率,节约人力资源。3.1.2 智能运维功能模块据统计全国高供高计的工商业用户数量达到200多万户,规模巨大,但是大部分日常的运行维护工作比较传统,普遍存在人力成本高、工作效率低、故障抢修时间长、风险预防薄弱等问题。国网公司和众多电力运维公司正在抢占这块巨大的市场,这是一个千亿级别的市场。智能运维模块采用多功能电力仪表、无线通信、边缘计算网关及大数据分析技术,通过智能网关采集现场数据并存储在本地,再定时向云平台推送数据。平台可同时接入数以千计的用户变电站数据。平台采集的数据包括变电所电气参数和环境数据,包括电流电压功率、开关状态、变压器温度、环境温湿度、浸水、烟雾、视频、门禁等信息,有异常发生10S内通过短信和APP发出告警信号。平台通过手机APP下发运维任务到指定人员手机上,并通过GPS跟踪运维执行过程进行闭环,提高运维效率,即时发现运行缺陷并做消缺处理。3.2、能源管理3.2.1 安全用电功能模块据应急管理部网站数据,2016~2018年期间因为电气原因导致的火灾占总数的30%~34%左右,其中2018年全国共接报火灾23.7万起,因违反电气安装使用规定引发的火灾占总数的34.6%,较大和重大火灾事故中,电气火灾的比例更高。国务院、公安部消防局以及各省市自治区直辖市纷纷出台文件推广使用智慧用电,从源头上预防电气火灾的发生,现安全用电管理平台已在九小场所、三合一场所、养老福利院、学校、金融网点等人员密集场所广泛开展。安全用电管理模块对电气引发火灾的主要因素(线缆温度、漏电电流、负荷电流、电压)进行不间断的数据跟踪与统计分析,通过2G/NB-IOT/4G方式采集现场数据,实时发现电气线路和用电设备存在的安全隐患(如:线缆温度异常、过载、过压、欠压及漏电等)并通过短信、APP推送、自动语音呼叫等方式及时预警,合理防止电气火灾的发生。系统可以显示所有监测点位的漏电电流等电气参数和线缆温度,并支持巡检记录和派单操作,提供安全隐患分析报告,实时评估企业用电安全状态。3.2.2 电能质量功能模块电能质量问题越来越受到关注,已成为电力系统的研究热点之一。一方面,随着科学技术的发展,各种复杂用电设备的广泛应用,这些设备很大部分对电能质量非常灵敏;另一方面,电力系统规模的不断扩大和用电需求的快速增加,导致电能质量变的非常不稳定。对电能质量分析的主要目的是确定电能信号扰动的类型和范围,并对相应的扰动源进行合理的调节和补偿。因此,提高电能质量的关键在于及时、准确地获取各种扰动信号源的信息。电能质量监测,包括三项不平衡度、谐波、功率因数,以矢量图的形式展示三相不平衡度。三项不平衡或功率因数过低时产生报警,触发APP、手机短信、邮件、钉钉、语音等多种方式提醒。3.3、设备管理3.3.1 智能照明功能模块随着人们生活水平的不断提高,人们对工作和生活环境的要求越来越高,同时对照明系统的要求也越来越高。照明领域的能源消耗在总的能源消耗中占了相当大的比例,节约能源和提高照明质量是当务之急。照明用电作为电力消耗的重要部分,已经占到了电力消耗的10%左右,并随着我国国民经济的迅猛发展和人民生活水平的不断提高,照明用电还将不断增加。智能照明通过物联网技术对安装在城市各区域照明回路的用电状态进行不间断地数据监测。平台通过监测照明线路的电流和电压值来判断灯具的工作情况,任何不正常的工作状态,平台都能进行监测,预警和报警,预警和报警信息通过手机APP推送,短信,语音外呼、邮件、微信小程序、微信公众号、钉钉等,快速到达责任人的身边,提醒运行人员接触器跳闸,电源失压等等。3.3.2 预付费水电功能模块预付费水电功能可以针对各商业综合体、小区、写字楼、办公楼、酒店式公寓等物业,学校、工厂宿舍的后勤管理部门以及连锁超市、大型物业分布式财务操作,在线支付,总部财务扎口等。目前预付费水电已经成功在上述各场景得到广泛的应用并已经稳定运行多年,适用于物业公司对小区、办公和商铺租户的水电预付费管理,或者学校对学生宿舍的用电预付费和用电安全管控系统。3.3.3 汽车/电瓶车收费运营功能模块电动汽车现已成为广泛使用的绿色能源交通工具,同时电动自行车数量越来越多,解决了老百姓短距离出行问题,但是和电动自行车相关的安全和火灾事故新闻也屡见不鲜,有逐年增长的趋势,给社会带来了很大的损失,成为人民生命和财产安全的一个隐患。基于电动自行车火灾的危害和特点,各级政府部门发文对电动自行车火灾的整治对象都放在规范停放和充电行为上。汽车/电瓶车收费运营功能模块通过物联网技术对接入系统的充电桩站点和各个充电桩进行不间断地数据采集和监控,同时对各类故障如充电机过温保护、充电机输入输出过压、欠压、绝缘检测故障等一系列故障进行预警;用户通过微信小程序扫描二维码,进行支付后,系统发起充电请求,控制二维码对应的充电桩完成电动汽车的充电过程。充电桩可选配WIFI模块或GPRS模块接入互联网,配合加密技术和秘钥分发技术,基于TCP/IP的数据交互协议,与云端进行直连。该功能模块为汽车/电瓶车充电桩客户提供充电安全管理、资产管理和交易管理的一揽子解决方案,解决充电难、管理难和收费难的问题,可应用于商业楼宇、小区、学校、医院等场所设置的电动自行车充电场所的运营管理。3.4、能源分析3.4.1 能源管理功能模块为了稳步推进双碳目标,在能源消费强度和消费总量的“双控”背景下,企业需要考虑如何应对能耗双控以保障正常生产。现有大部分企业依然采用电、水、气、冷、热等各种能源供应系统“单独规划、单独设计、独立运行”的模式。普遍存在计量检测到配备不足;计量设备计量精度不高、计量数据不准确;人工抄表可靠性低;难以合理监测和评估主要耗能设备的用能效率;缺少决策数据支持,对于节能评估无法提供可靠参考数据;缺乏合理的企业能效评估指标体系,能耗管理措施难以落地等情况。能源管理模块采用自动化、信息化技术,实现从能源数据采集、过程监控、能源介质消耗分析、能耗管理等全过程的自动化、科学化管理,使能源管理、能源生产以及使用的全过程结合起来,运用良好的数据处理与分析技术,进行离线生产分析与管理,实现全厂能源系统的统一调度,优化能源介质平衡、合理利用能源,提高能源质量、降低能源消耗,达到节能降耗和提升整体能源管理水平的目的。3.4.2 增值服务功能模块(1)工业组态传统的工业自动化组态应用开发方式要求开发人员具备代码编写的能力、理解相关的开发框架的概念和使用方式,这种开发方式开发周期长、对开发人员要求非常高。同时,传统的工业自动化组态应用部署在工业现场,部署便捷性和可访问性都很低。伴随着工业互联网的快速发展,应用需求往往更新迭代非常快,而设备厂商往往没有相关的工业组态软件开发背景,使得工业组态软件的开发和更新速度非常缓慢,往往无法满足快速业务增长的需要。同时,对于工业组态软件的访问不再止于工业现场,来自于工业现场外部的访问需求也在日益增长。Acrel-EIoT能源物联网云平台中的工业组态模块解决了传统工业自动化组态应用的部署和可访问性低的问题,通过用户在开发工具中使用鼠标拖拽的方式调整组态画面元件的属性、位置、尺寸等,并内置丰富的组态元件库,使得用户无需代码的编写能力,无需工业自动化组态软件开发的技术背景,也可以方便的开发出工业组态界面,同时也支持数据展示、远程控制等功能。(2)3D可视化3D可视化技术通过虚拟仿真实现多维度可视化,为客户提供数字化服务,助力企业能源经济双向管理,提升能源管理水平。可以实现的功能主要有:各区域信息实时同步;全局掌握各区域能源消耗情况;可视化监视设备运行状态;智能巡检,自动分析巡检路径上的设备运行、电能质量、电气安全、用能异常等情况,并记录巡检结果。五、总结作为传统能源产业与物联网技术相结合的产业发展形态,能源物联网是国家能源革命与数字革命结合发展的重要战略支撑。能源物联网是物联网向能源生产、配置和消费过程的延伸应用,伴随“大云物移智链”等现代信息技术的快速发展,电力物联网将信息、通信、数字技术与电力系统发、输、变、配、用电的各个环节结合,实现状态多方位监测、信息智能化处理及智能互联、人机交互、智慧服务。参考文献[1] 刘俊勇,潘力,何迈.能源物联网及其关键技术[J].物联网学报[2] 常生强.智慧园区能源物联网发展模式
  • [技术干货] 医疗CPE SG1229统一纳管配置下发命令行指导
    详情参见附件
  • [行业资讯] “乾”行百业 | 一次夯实未来五年信息化基础,华为乾坤助力地市三甲医院完成内网改造
  • [行业资讯] “乾”行百业 | 争分夺秒,华为乾坤助力分销伙伴为XX方舱医院极速建网