• [问题求助] CMS接口不会调用
    【问题来源】    重庆银行,易云   【问题简要】  CMS接口不会调用【问题类别】【必填】    【CMS接口调用】【AICC解决方案版本】【必填】    【AICC可选择版本:AICC 23.200】【期望解决时间】【尽快】【问题现象描述】【必填】        1、重庆银行部署的cms没有使用nslb,目前直接调用cms的接口。        2、目前第一步鉴权不知道怎么调用cms接口。
  • [问题求助] 如何使用AI进行医学领域的META分析
    最近正在进行meta分析的学习和应用,作为临床医学的最高证据,高质量的meta分析是极为重要的,但是在文献筛选的过程中,需要两位工作者同时筛选,耗时费力,因为要进行大量的文字阅读筛选工作,随着精力的消逝,文献筛选的质量呈现下滑趋势,能否有一种AI模型进行精准的文章筛选,为高质量meta提供文献基础。
  • [MindX SDK] 医学人体关键点检测案例分享
    MindX SDK -- 医学人体关键点检测参考设计案例1 案例概述1.1 概要描述在本系统中,目的是基于MindX SDK,在华为云昇腾平台上,开发端到端医学人体关键点检测的参考设计,实现对应体态的关键点检测的功能,达到精度要求。1.2 模型介绍本项目用到了两个模型:1)用于人体目标检测的FasterRcnn模型FasterRcnn模型相关文件可以在此处Faster R-CNN-昇腾社区 (hiascend.com)。2)用于人体关键点检测的HRNet-w48模型模型相关文件可以在此处获取:1.3 实现流程1、基础环境: MindX SDK : 版本2.0.4 获取方式:cid:link_6 ubuntu : 版本:18.04 获取方式:请上ubuntu官网获取 Ascend-CANN-toolkit: 版本:5.0.4 获取方式:cid:link_5 2、模型转换:利用atc工具完成模型转化:pose_model_384x288.onnx.onxx --> pose_model_384_288_noAipp_fp16.om3、python主程序代码开发技术流程图如下:1.4 代码地址cid:link_32 软件方案介绍2.1 项目方案架构介绍本系统设计了不同的功能模块。主要流程为:1) 待检测试图片由插件appsrc0输入并解码,同时通过opencv获取图像的信息由appsrc1送入推理,用mxpi_imageresize0插件将图像放缩至满足检测模型要求的输入图像大小要求。随后,图片输入模型推理插件mxpi_tensorinfer0进行处理。获取得到人像识别框,并根据该框对原图像进行仿射变换,进行数据增强。2) 对仿射变换后的图片进行转向量与归一化的操作,通过sendprotobuf接口将数据送入HRNET-w48模型进行推理,可以得到80个点位的像素值及原图的体位分类值,通过后处理可对图像进行可视化。表2.1 系统方案(1)中各模块功能:序号子系统功能描述1图片输入接收外部调用接口的输入图片。2图片数据输入接受外部调用接口的输入图片尺寸信息。3图片解码用于解码,将jpg格式图片解码为YUV4图像处理对解码后的YUV格式的图像进行放缩。5模型推理插件fasterrcnn人体目标检测。6输出输出检测信息表2.2 系统方案(2)中各模块功能:序号子系统功能描述1处理后的数据输入接收外部调用接口的输入数据。2模型推理插件hrnet-w48人体目标检测。3输出输出检测信息(体位分类 与 体表检测)2.2 代码目录结构与说明本项目名为hrnet-w48医学人体关键点检测,项目目录如下所示:. |-------- data // 存放测试图片 |-------- model // 存放模型 |-------- main.py // 主程序 |-------- pipeline | |---- model1.pipeline // 模型1pipeline配置文件 | |---- model2.pipeline // 模型2pipeline配置文件 |-------- evaluate.py // 精度测试程序 |-------- README.md |-------- run.sh3 开发介绍3.1 环境依赖说明推荐系统为ubuntu 18.04,环境软件和版本如下:软件名称版本说明获取方式MindX SDK2.0.4mxVision软件包链接ubuntu18.04操作系统请上ubuntu官网获取Ascend-CANN-toolkit5.0.4Ascend-cann-toolkit开发套件包链接3.2 环境搭建在编译运行项目前,需要设置环境变量:MindSDK 环境变量:. ${SDK-path}/set_env.shCANN 环境变量:. ${ascend-toolkit-path}/set_env.sh环境变量介绍SDK-path: SDK mxVision 安装路径 ascend-toolkit-path: CANN 安装路径。3.3 hrnet-w48模型转换医学人体关键点检测采用自行训练的hrnet-w48模型。我们需要借助于ATC工具将onnx模型转化为对应的om模型。具体步骤如下:步骤1 获取模型onnx文件 ,下载链接为下载步骤2 将获取到的HRnet-w48模型onnx文件存放至:“项目所在目录/model”步骤3 模型转换在确保环境变量设置正确后,在onnx文件所在目录下执行以下命令:atc --model=pose_model_384x288.onnx --framework=5 --output=pose_model_384_288_noAipp_fp16 --soc_version=Ascend310 --output_type=FP16执行完模型转换脚本后,若提示如下信息说明模型转换成功,会在output参数指定的路径下生成pose_model_384_288_noAipp_fp16.om模型文件。ATC run success 4 编译与运行接下来进行模型的安装运行,具体步骤如下:步骤1 获取om模型(见前一章节)步骤2 配置pipeline根据所需场景,配置pipeline1与pipeline2文件,调整路径参数等。fasterrcnn.pipeline:"mxpi_tensorinfer0": { "props": { "modelPath": "./model/fasterrcnn_mindspore_dvpp.om" }, "factory": "mxpi_tensorinfer", "next":"appsink0" } #修改om文件存放的路径hrnet.pipeline:"mxpi_tensorinfer0": { "props": { "modelPath": "./model/pose_model_384_288_noAipp_fp16.om" }, "factory": "mxpi_tensorinfer", "next":"appsink0" } #修改om文件存放的路径步骤3 存放图片,执行模型进行测试将测试图片存放至主目录下,修改main.py中的图片存放路径以及人像分割后的存储路径的相关代码: 测试图片 【注】本模型定位场景为医学应用下的人体关键点检测,故只针对特定体态进行识别,建议从提供的测试图片或根据对应体态自行拍摄图片进行测试。FILE_PATH = '' #测试图片路径 SAVEPATH = '' #测试结果保存路径,图片保存路径需提前手动创建然后执行run.sh文件(执行前需要通过命令提供执行权限):./run.sh输出的图片即为样例的人像分割后的图片。5 精度测试对测试集中的3651张图片进行精度测试,具体步骤如下:步骤1 获取测试集的图片,确保测试集的输入图片为jpg格式。获取测试集的标注文件(person_keypoints_val2017.json)。存放于data路径下。 (数据集暂未开源)步骤2 修改evaluate.py中的测试集图片存放路径:coco_anno = ' ' #485行,修改为测试集的标注文件路径 coco_anno = ' ' #557行,修改为测试集的标注文件路径 IMAGEFOLDER = ' ' #677行,修改为测试集的路径 FILE_ANNO = ' ' #678行,修改为测试集的标注文件路径 TXT = '' #689行,体位分类情况,请提前在文件夹对应位置创建同名文本文件步骤3 找到pycocotools源代码(cocoeval.py文件),修改kpt_oks_sigmas的值如下:(此为自制数据集的标注误差)self.kpt_oks_sigmas = np.array( [0.008784891334757884, 0.007934237422930233, 0.008130125823095129, 0.010598041983050829, 0.010611059330895747, 0.013854384373318705, 0.012312922863012592, 0.011434032335303733, 0.011415450225720266, 0.013836090153967652, 0.010062551495331999, 0.012966371944947402, 0.014659796595795808, 0.017770972497132317, 0.030104085032138312, 0.014557348480916475, 0.01536017320369201, 0.012869410502722093, 0.015257251871497391, 0.010375051254335216, 0.011380203661720942, 0.01414838952723429, 0.01382237259730266, 0.013735144644847687, 0.01472162976531488, 0.009619962495050469, 0.008610254442541486, 0.029481674119348003, 0.024059201435679762, 0.042427130812542665, 0.040127749201969376, 0.0525428294612648, 0.026481463695494662, 0.027975991688555843, 0.025593756110373064, 0.027253280146480565, 0.027454019180679124, 0.025064436713274765, 0.02099536659024268, 0.020033183495373304, 0.015050220402346052, 0.015267670545143495, 0.02596082400646692, 0.02923469684259541, 0.027801624530848095, 0.021826487778693508, 0.015060326275153427, 0.014315148040325337, 0.02596082400646692, 0.02923469684259541, 0.027801624530848095, 0.021826487778693508, 0.015060326275153427, 0.014315148040325337, 0.007395141152098735, 0.00762250652117458, 0.010602288831543757, 0.0090104333962127, 0.010453948805939391, 0.010370213072066961, 0.022732842847710055, 0.06232777881671897, 0.045665339866036256, 0.022732842847710055, 0.06232777881671897, 0.045665339866036256, 0.02359125146550032, 0.02359125146550032, 0.031776475097392176, 0.0270604129014659, 0.03426748613886749, 0.03807683079471247, 0.01993400901401409, 0.01993400901401409, 0.032237205934095854, 0.032237205934095854, 0.017419685722172645, 0.017419685722172645, 0.03147083587813606, 0.03147083587813606], dtype=np.float32 )步骤4 修改run.sh最后的执行文件名称:python3.9 evaluate.py并执行:./run.sh最终可以得到测试的精度结果及性能结果。精度测试指标如下:分类指标-体位识别准确率姿态估计-关键点检测精度APPytorch框架96.47%78.3Mindx-sdk架构95.2%77.26注:由于模型一(FasterRcnn)未能正常完成模型转换(算子未适配),是在华为仓内找到的替换模型,精度误差来自相似模型之间的精度差距,与模型二(HRNet-w48)无关。性能测试结果如下:在Atlas-200dk上进行对整个测试集上进行性能测试,未进行模型1的推理时间统计(因为该模型来自华为仓内,未进行任何调整,无需加入性能测试),模型2(hrnet-w48)的推理总花费时间为161.89s,fps=3651/161=22.67.原modelzoo下的hrnet-w48在五百张图片上推理耗时551s,fps=1.1.可见本模型在模型上的优化可以很好的提升性能。6 参考链接模型类型模型名称参考链接人体检测模型FasterrcnnFaster R-CNN-昇腾社区 (hiascend.com)关键点检测模型-自训练HRNet-w48models: Models of MindSpore - Gitee.com
  • [参赛经验分享] 2022“域见杯”医检人工智能开发者大赛——第五名【你好我叫阿卷】经验分享
    赛题概述本赛题任务是对DCCL宫颈深部细胞学病变(Deep Cervical Cytological Lesions)图像数据库中的7种细胞分为4个类别(NILM、ASC-US&LSIL、ASC-H&HSIL、SCC&AdC)进行分类,通过图像分类模型将宫颈细胞学图片根据病变程度进行分类 数据说明数据集包含 8619 张宫颈细胞学图片,图片中总共包含7种细胞,这7种细胞分为3大类:鳞状上皮内癌前病变细胞、癌症细胞和未见上皮内病变或恶性肿瘤的细胞(NILM);其中鳞状上皮内癌前病变细胞分为4种严重程度不断增加的类型:非典型鳞状细胞-意义不明确(ASC-US)、低级别鳞状上皮内病变 (LSIL)、非典型鳞状细胞-不能排除高度病变(ASC-H)以及高级别鳞状上皮内病变(HSIL);癌症细胞主要分为2种类型:鳞状细胞癌(SCC)和腺癌(AdC)。分类图示如下:​