• [问题求助] 关于模型导入过程中config.json文件配置问题
    我想从线下将模型导入到modelarts中,要求需要配置一个config.json文件。其中最重要的是配置apis参数,目前我的问题是不知道如何配置apis。先说一下我的模型情况。使用的算法是xgboost算法,训练过程,输入数为9,输入数为1import xgboost as xgbmodel = xgb.XGBRegressor()model.fit(x_train, y_train)    #x_train, y_train 都是array类型,x_train有9列的数组,即x_train.shape=(n,9)。joblib.dump(model,'name.m')我配置了config.json文件,见附1。1.模型能够成功导入,并且成功部署2.部署后无法成功预测,预测代码见附2。3.报错见附3。因此,我具体是哪个步骤错误,导致了报错。感谢您的回答。附1 我配置的config.json文件配置如下:{"model_type": "XGBoost","model_algorithm": "predict_analysis","metrics": {"R2": xxx},"apis": [{"protocol": "https","url": "/","method": "post","request": {"Content-type": "application/json","data": {            "type": "object",            "properties": {                "data": {                    "type": "object",                    "properties": {                        "req_data": {                            "items": [                                {                                    "type": "object",                                    "properties": {                                        "attr_2": {                                            "type": "string"                                        },                                        "attr_3": {                                            "type": "string"                                        },                                        "attr_1": {                                            "type": "string"                                        },                                        "attr_6": {                                            "type": "string"                                        },                                        "attr_7": {                                            "type": "string"                                        },                                        "attr_4": {                                            "type": "string"                                        },                                        "attr_5": {                                            "type": "string"                                        },                                        "attr_8": {                                            "type": "string"                                        },                                        "attr_9": {                                            "type": "string"                                        }                                    }                                }                            ],                            "type": "array"                        }                    }                }            }        }        },        "response": {            "Content-type": "application/json",            "data": {            "type": "object",            "properties": {                "resp_data": {                    "items": [                        {                            "type": "object",                            "properties": {                                "predictresult": {                                    "type": "number"                                }                            }                        }                    ],                    "type": "array"                }            }        }    }}]}附2 预测代码如下{  "data":   {    "count": 1,    "req_data": [      {        "attr_1": "2",        "attr_2": "2",        "attr_3": "10",        "attr_4": "10",        "attr_5": "10",        "attr_6": "10","attr_7": "10","attr_8": "10","attr_9": "10"      }    ]  }}附3  报错{    "erno": "PY.0105",    "msg": "Predict failed",    "error_info": "Traceback (most recent call last):\n  File \"/home/ma-user/predict/flaskTask.py\", line 40, in predict_model\n    res_data = model_service.inference(request_data)\n  File \"/home/ma-user/predict/model_service/model_service.py\", line 31, in inference\n    pre_result = self._inference(list_data)\n  File \"/home/ma-user/predict/model_service/python_model_service.py\", line 32, in _inference\n    pre_result = predict(self.model_path, pre_data)\n  File \"/home/ma-user/predict/model_service/python_model_service.py\", line 51, in predict\n    load_model = xgb.Booster(model_file=model_path)\n  File \"/home/ma-user/anaconda2/lib/python2.7/site-packages/xgboost/core.py\", line 865, in __init__\n    self.load_model(model_file)\n  File \"/home/ma-user/anaconda2/lib/python2.7/site-packages/xgboost/core.py\", line 1276, in load_model\n    _check_call(_LIB.XGBoosterLoadModel(self.handle, c_str(fname)))\n  File \"/home/ma-user/anaconda2/lib/python2.7/site-packages/xgboost/core.py\", line 151, in _check_call\n    raise XGBoostError(_LIB.XGBGetLastError())\nXGBoostError: [15:22:54] /workspace/src/learner.cc:295: Check failed: fi->Read(&name_obj_[0], len) == len (456531 vs. 1481508721) BoostLearner: wrong model format\n\nStack trace returned 10 entries:\n[bt] (0) /home/ma-user/anaconda2/xgboost/libxgboost.so(dmlc::StackTrace()+0x42) [0x7f2ffe1ff4a2]\n[bt] (1) /home/ma-user/anaconda2/xgboost/libxgboost.so(dmlc::LogMessageFatal::~LogMessageFatal()+0x18) [0x7f2ffe1ffb08]\n[bt] (2) /home/ma-user/anaconda2/xgboost/libxgboost.so(xgboost::LearnerImpl::Load(dmlc::Stream*)+0x434) [0x7f2ffe2b32c4]\n[bt] (3) /home/ma-user/anaconda2/xgboost/libxgboost.so(XGBoosterLoadModel+0x37) [0x7f2ffe240107]\n[bt] (4) /home/ma-user/anaconda2/lib/python2.7/lib-dynload/../../libffi.so.6(ffi_call_unix64+0x4c) [0x7f301a6d0ec0]\n[bt] (5) /home/ma-user/anaconda2/lib/python2.7/lib-dynload/../../libffi.so.6(ffi_call+0x22d) [0x7f301a6d087d]\n[bt] (6) /home/ma-user/anaconda2/lib/python2.7/lib-dynload/_ctypes.so(_ctypes_callproc+0x4d6) [0x7f301a8e6736]\n[bt] (7) /home/ma-user/anaconda2/lib/python2.7/lib-dynload/_ctypes.so(+0x8a61) [0x7f301a8dca61]\n[bt] (8) /home/ma-user/anaconda2/bin/../lib/libpython2.7.so.1.0(PyObject_Call+0x43) [0x7f301f7c7773]\n[bt] (9) /home/ma-user/anaconda2/bin/../lib/libpython2.7.so.1.0(PyEval_EvalFrameEx+0x190b) [0x7f301f85b53b]\n\n\n"}
  • [问题求助] 第三个作业,读取JSON格式错误,哪里搞错了?
  • [问题求助] 第三个作业,不能生成 details.json 文件,怎么回事呢?
  • [技术干货] 云平台中继位置服务开发指南
    1. 开发概述第三方位置服务应用与华为云平台实现云平台中继数据对接需要实现以下4点功能:1. 对云平台配置的validator的匹配校验;2. 对终端位置数据中secret的匹配校验;3. 对终端数据的解析,计算终端位置;4. 对终端数据实现增值功能:地图编辑,客流分析,用户画像,位置热图,室内导航等。2. 开发实现的业务流程2.1 validator校验validator是华为云平台随机生成的校验码,UUID格式,用于华为云平台对位置应用的安全校验。对接时,开发者在华为云平台上生成validator,或者向云平台管理员申请validator;并将目标URL和secret配置在云平台上。在发送数据前,云平台会校验第三方位置服务应用返回的validator是否匹配。如果不匹配则不会发送终端数据。校验方式是云平台向目标URL发起GET请求,校验返回值。假设生成的UUID为" xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",那GET方法返回的应该是一个JSON体,内容为:{"validator":"xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"}。开发者开发结束后可以进行自校验:2.2 secret校验secret是第三方位置应用提供的校验字,16进制字段,长度最长32,用于第三方位置应用对云平台数据的校验。对接时,开发者要在华为云平台配置secret,或将URL和secret告知云平台管理员。若第三方位置应用收到的数据secret不匹配,说明云平台身份存在问题,应用可选择丢弃此数据。校验方式是对云平台上报JSON数据中secret字段进行检查。2.3 数据解析通过validator的校验后,若AP开启位置信息上报功能且有终端在线,则进入终端位置数据发送和解析阶段。 若第三方位置应用收到的数据secret不匹配,说明云平台身份存在问题,应用可选择丢弃此数据。云平台通过HTTPS POST方式向目标URL发送定位数据;第三方应用将JSON数据解析并计算定位结果。请求体中的终端位置数据采用如下JSON格式:{"data": [{"apMac": "4C:FA:CA:D8:23:A0","terminalList": [{"terminalMac": "88:19:08:F1:88:45","rssi": -68,"timestamp": 1557460789000},{"terminalMac": "90:2E:1C:6A:2A:57","rssi": -57,"timestamp": 1557460789000}]}],"secret": "Test@1234","type": "ApLocation"}上述请求示例中的字段说明如下:2.4 增值业务开发者按业务需求实现地图编辑,客流分析,用户画像,位置热图,室内导航等功能。具体功能由开发者实现。3. 对接常见数据3.1 终端上报数据少AP会对多个信道进行扫描,且扫描时间过长会影响正常WIFI业务体验。解决办法:1、增加终端的活跃性(播放视频,长Ping等)。2、提高AP的扫描时长,减少扫描新倒数。在“站点配置-AP-射频-高级配置”下修改配置:3.2 无终端信息上报解决办法:1. 勾选上报终端位置信息。2. SSID信号可以连接公网。3. 云平台与位置应用互通。
  • [热门活动] 星云精准测试对安卓底层驱动代码的测试案例分析
    Android原生底层驱动应用面极广,但一直没有很好的办法进行质量追踪。本文借助星云精准测试的高可靠性的测试技术手段,针对Android原生底层驱动进行分析、插桩、编译、采集数据、数据分析等,逐步讲解精准测试是如何实现android原生底层驱动的对接。 在本文中,我们可以清晰地查看到如何进行技术对接的每一步,比如如何使用星云精准测试进行代码插桩、实现测试用例与采集底层驱动运行代码的数据追溯、对最终采集的数据进行一系列分析等。 ## 一、安卓源码精准测试流程概述 经分析android源码的编译主要依靠Android.bp为纽带连接起来;在编译时,只需要在想要编译的模块目录下执行mm命令即可自动的根据当前目录下的Android.bp文件对其所包含的模块进行编译。 ![](https://upload-images.jianshu.io/upload_images/13279626-c47f4b53e8ec7489.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 主要流程大致为:先将ZOA通信库源码复制进去并加入某一层次的Android.bp中,再通过对包含所有Android.bp编译信息的ninja文件的解析可以得到Shell认可的插桩json文件,Shell通过json文件对对应目录的代码进行插桩,插桩完成后,把对ZOA通信库的引用加入该模块的Android.bp中再放入ZoaInstru.h头文件后就可以正常编译出插桩程序了。 ## 二、对安卓源码进行精准测试的准备工具 1.安卓原生8.1.0系统源码,放于/data/source2/目录下 2.shell.tar.gz插桩工具包放于/data/目录下 3.ZOAMQLib通信库源码放于/data/source2/ frameworks/av/目录下 4.谷歌官方装有原生8.1.0系统手机一部 本例是对/data/source2/ frameworks/av/camera模块进行插桩编译,首先source build/envsetup.sh配置环境变量,再lunch后输入2选择aosp_arm64-eng,再mm编译模块 ## 三、精准测试插桩工具部署 在存放精准测试插桩工具包的/data/目录下执行命令 `tar -zxvf shell.tar.gz` 将精准测试插桩工具包解压 `cd /data/shell/bin` 进入shell包bin目录下打开并修改Server.cfg的[SERVER]字段的ip为星云精准测试服务端ip,对[LOCAL]字段的ip,客户端若与服务端在同一主机则保持127.0.0.1,若在不同主机则写明客户端ip。 ## 四、ZOA通信库加入安卓体系 本次选择av模块进行精准测试的插桩编译验证模块,在对av模块进行深入了解后,解析出其Android,bp的连接其结构大致如此,每一个最终节点就代表会生成一个动态库或者静态库。 av大致结构与ZOA通信库加入安卓体系示意图: ![](https://upload-images.jianshu.io/upload_images/13279626-4a69a659abf0f1e5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 注:由于第二层mediadrm模块库目录过多不便展开,但原理又是相同,所以仅对该模块展示骨架信息;绿色部分代表会产生一个库文件,mediadrm只是骨架结构所以未标识。 本次是将写好对应的Android.bp文件的ZOA通信库源代码目录整个复制到av目录下,并在av目录下的Android.bp文件中加入ZOA通信库的目录。 `cd /data/source2/frameworks/av/` 进入av模块 `vi Android.bp` 打开av模块的Android.bp文件,并将ZOAMQLib目录加入其中 ZOA通信库加入av模块的Android.bp图示: ![](https://upload-images.jianshu.io/upload_images/13279626-3600fb2bd0493e87.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 然后在ZOAMQLib目录下直接执行mm命令,编译出安卓体系下的ZOA通信库。 ## 五、插桩编译流程 ### 1.生成json文件 android源码在进行编译时他会将所有的Android.bp中的信息提取出来并添加一些编译信息来生成一个build.ninja文件。该文件中含有编译的模块、源代码和编译参数等信息。 通过android自带的ninja工具可以将该build.ninja文件转化为包含源代码路径、源代码名字和编译参数信息的json文件;再通过工具可以将要插桩模块的部分提取出来生成该模块的插桩json文件 生成json文件的命令: `/data/source2/prebuilts/build-tools/linux-x86/bin/ninja -t compdb g.cc.cc > compile_commands.json` 其中/data/source2/为安卓源代码路径 ### 2.插桩代码 shell编译器可以通过该json文件对该模块进行插桩或还原操作。 插桩代码命令 shell的路径/shell -p json文件的路径/ compile_commands.json 还原代码命令 shell的路径/shell -r json文件的路径/ compile_commands.json 本次插桩与还原命令: ``` /data/shell/bin/shell -p /data/source2/compile_commands.json /data/shell/bin/shell -r /data/source2/compile_commands.json ``` 插桩成功后在客户端重新加载版本数据: ![](https://upload-images.jianshu.io/upload_images/13279626-e1446112f3fb3e18.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ### 3.编译链接 #### 链接通信库 `cd /data/source2/frameworks/av/camera` 进入camera目录下 `vi Android.bp` 打开camera模块的Android.bp文件并在shared_libs中加入ZOA通信库的名字 camera的Android.bp加入ZOA通信库链接图示: ![](https://upload-images.jianshu.io/upload_images/13279626-fb7c76d8024f7e18.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) #### 加入头文件 `cp /data/shell/include/ZoaInstru.h /data/source2/frameworks/av/camera/include/` 将ZOA的头文件加入插桩的camera的头文件夹中 然后就可以按照正常的编译流程来进行编译,执行mm编译该模块。 #### 插桩编译图示: ![](https://upload-images.jianshu.io/upload_images/13279626-39e719412589806d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ## 六、测试方式 本例是将安卓原生8.1.0代码进行插桩后,放入谷歌官方8.1.0系统并获得root权限的手机中进行测试 本次插桩的是av模块的camera部分,所以我们将 camera模块库: `/data/source2/out/soong/.intermediates/frameworks/av/camera/libcamera_client/android_arm64_armv8-a_shared_core/libcamera_client.so` ZOA通信库: `/data/source2/out/soong/.intermediates/frameworks/av/ZOAMQLib/libZOAMQLib/android_arm64_armv8-a_shared_core /libZOAMQLib.so` 这两个库放进手机的/system/lib64/目录中开机进行相机测试。 测试概念图: ![](https://upload-images.jianshu.io/upload_images/13279626-3de1f8bdefc9acfb.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 将被测手机开机后用usb线连接到电脑上,采用adb端口映射的方法将程序运行时产生的动态数据传输到星云精准测试工具上,再通过示波器进行波形展示。 数据传输图: ![](https://upload-images.jianshu.io/upload_images/13279626-e3e8778533cef921.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 在星云精准测试工具客户端打开示波器界面,建立测试用例并选择测试用例后点击 开始 并对手机进行相机功能的操作就可以在接收到动态数据并示波器看到波形了。 示波器接收数据图: ![](https://upload-images.jianshu.io/upload_images/13279626-efff5bfab6ee85d2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ## 七、精准测试-基础功能 ### 1.覆盖率 在对测试用例录制完成后就可以在主界面看到覆盖率等相关信息。 在函数列表中随便点开一个函数就可以查看该函数的各项覆盖率。 1.SCO覆盖率 SCO覆盖率即为语句块覆盖率,在函数内顺序执行遇见if、for、while等就算为一个语句块。 SC0覆盖率图示: ![](https://upload-images.jianshu.io/upload_images/13279626-bb3b2c51b808a6a1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 2.MCDC覆盖率 MCDC 修订条件判定覆盖,精准测试中对mcdc做了量化展示,分别统计单一条件个数,针对每一个条件判断是否满足mcdc覆盖如果满足如上图绿色表示条件满足mcdc覆盖,蓝色表示不满足。并对MCDC做了详细信息的展示(选择MCDC覆盖,点击判定,显示MCDC的详细信息) MCDC覆盖率图示: ![](https://upload-images.jianshu.io/upload_images/13279626-95decb3d233a8fa9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 注: 1.覆盖率信息一共有七种,分别为SCO语句块覆率、True、Flase、Both等条件覆盖率、Branch条件分支覆盖率、CDC条件判定覆盖率、MCDC修正条件判定。 2.精准测试默认是不关联源码的,如需要关联源代码使用,请将源码复制到客户端本地,在版本上右键选择修改源码路径,然后添加源码路径来关联源码。 ### 2.函数调用关系图 函数调用图,只有函数调用的关系,能够比较清楚地看清函数调用的层次关系。当点击其中的某个函数时,能显示以该函数为中心,调用该函数的上三层和下三层调用(可点击设置层级进行层级的调整)。 当接收过动态数据后还能将各项数据显示在图像界面中。 ![](https://upload-images.jianshu.io/upload_images/13279626-a636d613a887db4d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ### 3.程序控制流程图 控制流程图基础功能是展示函数的控制流程,即控制流程图,用于表示函数的控制流程、显示测试覆盖率结果、实现半自动高效率测试用例设计,进行逻辑流程查错,以及源码、测试用例和相关文档之间的双向自动追溯等。 ![](https://upload-images.jianshu.io/upload_images/13279626-a40dd5c2973f1b3c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ### 4.简易控制流程图 简易控制流程图功能,以语句块的形式清晰的展示函数内部的控制逻辑,界面上可以直观的看出控制流各节点的测试覆盖情况,在展示中,简易控制流程图还可以通过颜色对每个程序块进行覆盖率标识,在缩略图中整个模块的覆盖率非常直观。(背景色为绿色表示有测试用例覆盖到该块)关联源码后点击语句块可定位到代码具体行。 ![](https://upload-images.jianshu.io/upload_images/13279626-1f891dd5b017cf60.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ### 5.双向追溯 由于精准测试的测试用例与执行过的函数绑定,可以在测试台通过选择不同的测试用例来正向追溯找到它执行过的函数;或者通过选择不同的函数或代码来反向追溯找到执行过它的测试用例。 正向追溯图示: ![](https://upload-images.jianshu.io/upload_images/13279626-e17a3f6aa189eea6.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 该正向追溯是通过在左上侧选择测试用例来在下方展示该测试用例运行过的函数 反向追溯图示: ![](https://upload-images.jianshu.io/upload_images/13279626-e9061304eccf1e51.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 反向追溯既可以通过左下角的函数来追溯运行过该函数的测试用例,还可以通过选择代码块来追溯运行过该块的测试用例。 ## 八、精准测试-高级分析功能 ### 1.智能回归测试用例选取 在第一个版本测试完成后对第二个版本进行插桩后就在星云精准测试工具生成了第二个工程版本。此时我们要做的不是立马对新版本进行测试,而是使用我们星云精准测试的回归功能对新插桩的版本进行回归,它会根据版本之间代码的变化的来分析出与该函数相关的测试用例,然后根据测试用例内函数改变的多少进行回归优先级的排序,智能的推荐出需要重新跑的测试用例,以及显示出不需要跑的测试用例。 智能回归示例: cd /data/source2/frameworks/av/camera进入到camera目录下 vi ICamera.cpp打开该源码进行修改 在getParameters函数中加入if(1==1);条件 ![](https://upload-images.jianshu.io/upload_images/13279626-ebc89c40a107b28e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 然后对camera模块进行插桩,再在客户端使用选取回归测试用例功能进行回归 由于getParameters函数内新增条件发生变化,所以运行过该函数的测试用例的回归计数就加一,然后该测试用例就被推荐出来需要重新去跑一遍。 回归图示: ![](https://upload-images.jianshu.io/upload_images/13279626-1836bf2a49e2fb56.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 对精准测试而言,其是采用在测试阶段,将测试用例和它所执行过的函数绑定的方法。在版本迭代时会将上一个版本的测试用例继承下来,通过回归跟上个版本进行比较,哪个函数有了变化,那么与其相关的测试用例的功能都可能会发生变化,所以在回归时会推荐出要重新测试的测试用例;而当一个测试用例里面关联的所有函数都没发生变化时他的功能也不会发生变化,那么此时再去测试一遍该用例是没有意义的事情。所以,在新版本插桩完毕后和以前的进行回归后就可以看出哪些用例需要重新跑哪些完全不用再跑。 ### 2.最后执行时序 该部分是执行插桩程序进行动态数据接收时保存的最后五十个语句块执行的时序关系图 ![](https://upload-images.jianshu.io/upload_images/13279626-4af19fe12fe9bb17.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 它可以点击每一步次序查看执行块的代码 ### 3.聚类分析 聚类算法中个数的设置是需要手动设置的,一般看颗粒度的粗细进行设置。聚类算法是通过测试用例的代码相似程度得出结果的,所以可以帮助我们划分出来有哪些测试用例的代码相似程度比较高, 本次共设计7个测试用例,两次拍照、两次录视频、一次随便侧、一次打开相机、一次打开相机后闲置。 选择分类个数为5后,聚类结果为: ![](https://upload-images.jianshu.io/upload_images/13279626-3612565541876b82.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 切换为图形模式为: ![](https://upload-images.jianshu.io/upload_images/13279626-736b826c0a594527.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ## 10、Web报表 ### 1.覆盖率按日增长曲线图 使用折线图清晰的展现每天该版本覆盖率的变化情况 ![](https://upload-images.jianshu.io/upload_images/13279626-4cb7cd5a6aeaf55c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 左下角雷达图展示了预期的各项覆盖率与实际各项覆盖看的差距 右下角对比了当前版本与最新版本各项覆盖率的差异 ### 2.测试漏洞的智能分析 在一个程序中,往往有成百上千的函数,这些函数有的是关联整个程序核心、有的则是开发人员弃而不用,但一直保留迟迟不肯删除的,针对这些大量的函数,“精准测试”采用通过静态、动态指标的综合分析,在大量的程序函数中,通过计算直接筛选潜在的高危的测试漏洞,通过报表给予展示。 当一个函数复杂度很高但覆盖率却很低的时候其出现风险的概率就可能比较高 ![](https://upload-images.jianshu.io/upload_images/13279626-e904cb065f2288b9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 当函数扇入扇出越大时,意味着其关联函数越多,结合其覆盖率信息也可能是风险较高。 ![](https://upload-images.jianshu.io/upload_images/13279626-712db92bd266a138.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
  • [问题求助] pb模型转om模型时StopGradient算子不支持问题
    StopGradient算子在om模型中只是透传数据,并不是必须数据处理步骤。所以当在pb模型转om模型遇到StopGradient算子不支持的问题时,总的思想是在pb模型生成的时候就去掉StopGradient算子。ckpt模型转pb模型时去掉输出无关算子    见 https://blog.csdn.net/u011511601/article/details/80262707   2. keras的h5模型转pb模型去掉输出无关算子   见 https://github.com/amir-abdi/keras_to_tensorflow在h5转pb的时候,如果使用weight和json文件,可能报错:ValueError: No model found in config file.大致是认为keras保存的权重和json文件中没有模型信息。这个和keras的模型保存有关。keras的模型保存网上有很多帖子,例如:https://blog.csdn.net/jclian91/article/details/83038861如果weight和json的保存方式无法转为pb模型,那么我们可以使用model.save()方法保存方法来保存模型。具体做法:找到模型保存为weight和json文件的地方(model.save_weights()和model.to_json()),或者模型加载的地方(model.load_weights())调用mode.save()保存模型。运行应用程序的训练命令,触发模型的保存这样保存的模型使用 https://github.com/amir-abdi/keras_to_tensorflow 中转pb的命令时就不会报错了
  • [热门活动] 关于预处理
    baseline中给的json和custom,是不是只用改动custom的数据预处理部分,json不动就可以了
  • [其他语言] 欧拉OS如何安装php json?
    已经成功安装了php,但缺少JSON扩展。尝试yum install php70u-json,不成功
  • [技术干货] 借用官方demo已经实现北侧应用json解析和BASE64解密
    借用官方demo已经实现北侧应用json解析和BASE64解密;看效果图一、应用接收端:二、设备上报端:需要的加QQ:593021743分享
  • [问题求助] 电信OC平台,数据流用json
    数据流有json和二进制码流如果使用json格式上传,有相关资料吗
  • [分享交流] 欢迎体验华为云CLI命令行工具HCloud
    华为云命令行工具 HCloud CLI由华为云专家贵哥个人作品,欢迎大家下载使用并留言反馈意见。华为云命令行工具 CLI(Huawei Cloud CLI)是基于华为云开放 API 建立的管理工具。借助此工具,您可以通过调用华为云开放 API 来管理华为云产品。该命令行工具与华为云开放 API 一一对应,灵活性高且易于扩展。为什么命令行 CLI公有云产品作为一个平台, 主要的用户是 企业IT管理员、企业应用开发者。 Web UI 界面易用, 但操作难以复用、难以保障用户每次操作的顺序的准确性。 而 RESTful API 提供了更强大的功能, 同时门槛也提升了不少。  为了让用户使用熟悉的命令行、Shell 脚本甚至 TCL、Python 这样的动态语言来快速、方便的操作华为云, 提供 华为云命令行 CLI 工具。华为云CLI工具, 基于开放 RESTful API, 无需服务器侧做任何操作, 即可将当期的开放API提供更易用的 CLI。 同时,基于元数据和自动更新, API增加、修改等可快速无感更新 CLI 工具。参考: 华为云 CLI 在命令格式和参数上参考了 阿里云 CLI 和 Google Cloud CLI( https://cloud.google.com/sdk/gcloud/reference/ ), 并吸收华为CC08的MML等能力和架构。特性:HCloud CLI 命令行工具, 基于 GO-lang 开发, 基于元数据驱动+引擎, 采用 YAML、JSON、Handlebar 等, 具备如下特性: 单一可执行文件, 绿色安装, 随便拷贝安装 多操作系统支持, 包括 Linux、Windows、Mac 等 自动更新命令描述。 系统自动从华为主网站更新命令元数据描述每次用户启动会话更新, 压缩传输, 低于 1s 版本更新元数据为 YAML 和 JSON 文件, 安全可靠 可扩展。 您可基于该命令行工具对华为云原生 API 进行封装,扩展出您想要的功能参数校验能力, 如 enum 类型、数字的范围等多种输出格式, 支持 json、table、csv、 value 等多种可自定义的格式。用户指南华为云 CLI 安装指导华为云 CLI 支持华为云 CLI 采用 GO-lang 开发, 只有一个可执行文件, 可以支持几乎所有操作系统, 包括 Windows、Linux 和 Mac OS 等。安装指导直接从网站下载对应操作系统的可执行文件, 并放到 PATH 中合适的目录即可。 如 Linux, 请下载 hcloud , 并放入 /usr/local/bin 目录即可。命令描述文件华为云 CLI 自动从中心网站下载命令描述文件。 命令描述文件为 yaml 和 json 格式的文本文件, 并存放在用户数据目录中。Linux:  ~/.hcloud 目录Windows: C:\User\Your Account\AppData\hcloud 目录华为云 CLI 命令描述文件压缩传输, 文件大约不到 100KB。 华为云 CLI 在用户当前会话过期后, 至少三天进行一次检查新版本。华为云 CLI 命令格式与参数指南典型命令格式在华为云 CLI 中, 典型的命令格式如 hcloud ecs start  a44e57e8-a37c-4bcc-b388-a98ab0a51867  --verbosity=debug --format="json"。 其中主要分成如下几部分:hcloud , 华为云CLI命令ecs start, 命令组、命令指令a44e57e8-a37c-4bcc-b388-a98ab0a51867, 命令参数, 可能没有, 也可能有许多多, 采用空格分开 --verbosity=debug --format="json" , 全局辅助参数在下面分别进行详细介绍。命令组、命令指令除了几个特别的命令, help、logout 等外, 其它的命令都由两个部分组成: 命令组、命令指令。   命令组一般与服务相关, 如 ecs、vpc、cce、cse 等, 命令指令一般是动作, 如 list、create、delete、start、shutdown 等, 也有时候包含子服务和动作, 如 cluster/list, cluster/create 等。 一般来说, 命令组和命令指令都是小写单词。   详细的命令组、命令指令的列表, 请参见华为云 CLI 命令参考指南, 比较常见的如下:hcloud ecs list hcloud ecs create hcloud ecs start hcloud ecs shutdown hcloud ecs delete hcloud vpc list hcloud vpc create hcloud cce cluster/list hcloud cce cluster/delete hcloud cce cluster/create hcloud cce deployment/list命令参数###参数名称与顺序   在华为云CLI命令参数, 支持多种表达形式:按顺序的写法长名称短名称如下面的三条命令的含义相同:hcloud iam login szfugui  Password mydomain hcloud iam login --username=szfugui --password=Password --domain=mydomain hcloud iam login -u=szfugui -p=password -d=mydomain采用名称(无论长名称还是短名称)  时, 参数没有顺序依赖, 可以交换顺序, 不影响命令执行。    无论单值顺序模式, 还是长短名称模式, 都必须是单一字符串。 为了确保参数的正确性, 建议参数包含在 双引号(“”)内, 如: --format="table(id)"。参数默认值部分命令参数有默认值, 请参考各命令的文档。 必填参数如果非 --body 与--source参数时, 部分参数可能是必须输入的, 如果没有输入, 则命令行会提示参数输入不完整。全局辅助参数华为云 CLI 的全局辅助参数, 没有短名称, 也没有序号, 必须采用全名的模式来书写。 如 --verbosity=debug。 与普通命令参数存在此差异。 除此外, 其它要求与普通命令参数一致。全局辅助参数主要有:自定义请求体 body 参数--body="{'id':'自定义请求体'}" 。 在 华为CLI 中, 命令创建者为了简化使用, 抽取了部分参数作为命令行参数, 可以快速实现命令。 但由于参数太多或者不常用, 部分信息采用"默认值",而无法直接修改。 --body参数可以完整控制 RESTful 的请求体。   当 --body参数出现时, 命令本身的命令参数将不再生效, 由body覆盖。自定义请求体 source 参数--source参数与 --body参数非常相似, 唯一的是从磁盘文件中读取, 而不是直接在命令行上输入。 如:hcloud ecs create --source=createvm.json当 --source参数出现时, 命令本身的命令参数将不再生效, 由body覆盖。  如果一个命令同时存在 --body和--source,则--body优先, --source不再生效。输出格式控制 format 参数通用输出格式参数 --format , 在所有的命令都支持该参数。 如未指定该参数, 则    当前共支持:raw  将命令的 RESTful 响应体完整的输出, 不进行任何的处理(只进行友好显示格式化)。json 采用命令定义的友好json输出格式。 具体输出格式通过命令的 metadata 中的 "output/json" 章节定义table 采用表格的形式进行展示。 具体的输出列由命令的 metadata 中的 output/table  章节定义csv 采用文本形式进行展示, 各列之间采用逗号(,)分隔。 第一行是标题行。具体的输出列由命令的 metadata 中的 output/table  章节定义value 只显示值, 一般在脚本/script中常用。 与 csv 相似, 只是没有标题行。具体的输出列由命令的 metadata 中的 output/table  章节定义详细内容, 见 华为云 CLI 输出格式系统输出控制 verbosity--verbosity 控制系统输出,当前支持的级别包括 debug, info, warning, error, critical, none.  比较常用的是 --verbosity=debug, 进行命令调试, 可以观察到系统内部的大量临时数据、网络传输数据等。长任务等待控制 wait--wait=true  或者  --wait=false  命令控制长事务操作的结果。 例如创建虚拟机等需要较长时间,     --wait=true  将查询创建VM 的 job 是否完成, 等待完成后才返回。     不同的任务的操作时长不相同, 有部分命令很快就执行完成, 但有的命令, 如创建 CCE Cluster 则可能需要超过10分钟。helpusage: Display detailed helpparam: versionusage: Print version information and exit华为云 CLI 输出格式使用说明命令指引通用输出格式参数 --format , 在所有的命令都支持该参数。 如未指定该参数, 则    当前共支持:raw  将命令的 RESTful 响应体完整的输出, 不进行任何的处理(只进行友好显示格式化)。json 采用命令定义的友好json输出格式。 具体输出格式通过命令的 metadata 中的 "output/json" 章节定义table 采用表格的形式进行展示。 具体的输出列由命令的 metadata 中的 output/table  章节定csv 采用文本形式进行展示, 各列之间采用逗号(,)分隔。 第一行是标题行。具体的输出列由命令的 metadata 中的 output/table  章节定义value 只显示值, 一般在脚本/script中常用。 与 csv 相似, 只是没有标题行。具体的输出列由命令的 metadata 中的 output/table  章节定义原生格式 raw--format=raw, 不支持任何其它参数。     Raw 原生格式不需要任何参数与配置, 直接将 RESTful API 的输出 BODY 进行 JSON 格式化后, 进行展示。 JSON 格式--format=json, 不支持任何其它参数。     Json 格式是经过命令开发人员手工优化的输出, 其定义在命令定义文件的 output/json 章节。 采用 Handerbar 模板, 对原生的数据(包括各种内部数据、输入输出数据等)进行聚合、优化、整合等, 进行友好展示结果。TABLE表格格式--format=table, 可以不带参数, 也可以对展示列进行指定。    表格格式采用类似文本表格的模式, 对输出数据进行二维展示。 hcloud ecs list --format=table ┌─────┬────────────────┬─────────────────┬────────────────────────┬───────┐ │Index│       Id       │      Name       │       IP Address       │Status │ ├─────┼────────────────┼─────────────────┼────────────────────────┼───────┤ │    1│73ac0862-09f8...│crc-cluster-15536│192.168.0.10|49.4.87.246│ACTIVE │ │    2│a44e57e8-a37c...│abchow-docker    │192.168.0.128           │SHUTOFF│ └─────┴────────────────┴─────────────────┴────────────────────────┴───────┘表格中“列”的定义, 在 output/table 中进行定义。 支持指定最大宽度、Label、数据来源、对齐模式(默认左对齐,支持居中对齐、右对齐)等。根据需要, 可以只显示其中的一列或者几列, 可以指定需要显示的列, 采用 --format="table(col1,col2,col3)" 的格式进行指定, 如:hcloud ecs list --format="table(index,id,name,status)" ┌─────┬────────────────────────────────────┬─────────────────┬───────┐ │Index│                 Id                 │      Name       │Status │ ├─────┼────────────────────────────────────┼─────────────────┼───────┤ │    1│73ac0862-09f8-4912-af76-04052ef42f74│crc-cluster-15536│ACTIVE │ │    2│a44e57e8-a37c-4bcc-b388-a98ab0a51867│abchow-docker    │SHUTOFF│ └─────┴────────────────────────────────────┴─────────────────┴───────┘有指定列的时候, 配置中指定的“最大宽度”不发生作用, 将字符串的全部数据展示出来, 以满足用户的完整需求。CSV 文本格式--format=csv, 可以不带参数--format=csv(col1,col2,col3), 也可以对展示列进行指定。 CSV文本模式时, 采用逗号(,)对标题和值进行分隔, 便于其它脚本script对输出进行处理。  命令示例如下:hcloud ecs list --format="csv(index,id,name,status)" Index,Id,Name,Status 1,73ac0862-09f8-4912-af76-04052ef42f74,crc-cluster-15536,ACTIVE 2,a44e57e8-a37c-4bcc-b388-a98ab0a51867,abchow-docker,SHUTOFFVALUE 纯值格式--format=value, 可以不带参数--format=value(col1,col2,col3), 也可以对展示列进行指定。 VALUE文本模式时,如果有多列, 采用逗号(,)对进行分隔, 便于其它脚本script对输出进行处理。  命令示例如下:hcloud ecs list --format="csv(index,id,name,status)" 1,73ac0862-09f8-4912-af76-04052ef42f74,crc-cluster-15536,ACTIVE 2,a44e57e8-a37c-4bcc-b388-a98ab0a51867,abchow-docker,SHUTOFF如果只有单列:hcloud ecs list --format="value(id)" 73ac0862-09f8-4912-af76-04052ef42f74 a44e57e8-a37c-4bcc-b388-a98ab0a51867最佳实践虚拟机域名访问全流程用户登录系统hcloud iam login 用户名 密码 {   "result": "201 Created",   "expires_at": "2019-02-08T15:04:19.073000Z" }如果是子账号登录hcloud iam login 子账号 密码 域名称/主账号 {   "result": "201 Created",   "expires_at": "2019-02-08T15:06:09.017000Z" }查询当前虚拟机情况hcloud ecs list --format=table ┌─────┬────────────────┬─────────────────┬────────────────────────┬───────┐ │Index│       Id       │      Name       │       IP Address       │Status │ ├─────┼────────────────┼─────────────────┼────────────────────────┼───────┤ │    1│73ac0862-09f8...│crc-cluster-15536│192.168.0.10|49.4.87.246│SHUTOFF│ │    2│a44e57e8-a37c...│abchow-docker    │192.168.0.128           │SHUTOFF│ └─────┴────────────────┴─────────────────┴────────────────────────┴───────┘当前磁盘镜像查询hcloud ims list --id=a347c189-4d3a-4096-bd72-0ad2be959470 --format=table ┌─────┬────────────────────────────────────┬─────────────────────────┬───────┬───────┬────────┬──────┐ │Index│                 Id                 │          Name           │OS Type│Min_ram│Min_disk│Status│ ├─────┼────────────────────────────────────┼─────────────────────────┼───────┼───────┼────────┼──────┤ │    1│a347c189-4d3a-4096-bd72-0ad2be959470│Ubuntu 18.04 server 64bit│Linux  │1024   │40      │active│ └─────┴────────────────────────────────────┴─────────────────────────┴───────┴───────┴────────┴──────┘获取当前存在的VPC和子网hcloud vpc list --format=table ┌────────────────────────────────────┬────────┬──────────────┬──────┐ │                 Id                 │  Name  │     Cidr     │Status│ ├────────────────────────────────────┼────────┼──────────────┼──────┤ │1f30f26a-f6cd-4626-bf41-da4864529616│        │192.168.0.0/16│OK    │ │2d203648-d1cd-4782-a083-0d5323f8ca72│        │192.168.0.0/16│OK    │ │45825956-13e0-4e04-9364-606f94ce3011│        │192.168.0.0/16│OK    │ │4a0ff926-978b-4dae-be68-37640d513a1c│        │192.168.0.0/16│OK    │ │4c3de781-6762-405c-a802-05f2e8c1fdcc│vpc-paas│192.168.0.0/16│OK    │ │5066abd7-5c81-4298-9772-3fad6ddd90a3│myvpc   │172.20.0.0/16 │OK    │ │5c4d190b-55d6-4f70-822e-fc76ac31266a│        │192.168.0.0/16│OK    │ │842c2ab8-0326-48be-97ac-f5a14b809f9e│        │192.168.0.0/16│OK    │ │87eeadef-2716-4e51-a81b-8e7a5d2be023│        │192.168.0.0/16│OK    │ │995bd92b-e1e2-40b3-a7bd-03e97c9b0560│        │192.168.0.0/16│OK    │ │99b0eec9-565f-4f41-a52a-a21263d1c235│        │192.168.0.0/16│OK    │ │9d1b88bc-5f94-445d-9fc3-c5a66332d4d9│        │192.168.0.0/16│OK    │ │b7b6eb7e-19e5-47d2-ab8b-0e2fb6dc33a9│        │192.168.0.0/16│OK    │ │c813be70-48f2-4d89-9153-4b4832a875e0│        │192.168.0.0/16│OK    │ │f8f4dc7d-4784-487c-a079-eafa3d5cfed8│        │192.168.0.0/16│OK    │ │fbf6db89-32a4-415a-885b-a54e08b0384f│        │192.168.0.0/16│OK    │ └────────────────────────────────────┴────────┴──────────────┴──────┘获取 VPC 下的子网hcloud vpc subnet/list --format=table ┌────────────────────────────────────┬───────────┬────────────────────────────────────┬───────────────┬────────────┬────┬──────┐ │                 Id                 │   Name    │                VPC                 │     Cidr      │  Gateway   │DHCP│Status│ ├────────────────────────────────────┼───────────┼────────────────────────────────────┼───────────────┼────────────┼────┼──────┤ │18214a77-c396-409a-b181-8d0b240f4a0b│subnet1    │1f30f26a-f6cd-4626-bf41-da4864529616│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │1dbd8f82-15ab-4f5d-8937-b1a1dc0d1b61│subnet1    │45825956-13e0-4e04-9364-606f94ce3011│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │26cfab59-10e6-4503-be50-aec829820109│subnet1    │fbf6db89-32a4-415a-885b-a54e08b0384f│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │2aa5d37e-205c-4256-920f-951f514dc522│subnet1    │995bd92b-e1e2-40b3-a7bd-03e97c9b0560│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │3cdfa0d0-c39c-4a6a-a4f8-926744e572c2│subnet1    │5c4d190b-55d6-4f70-822e-fc76ac31266a│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │423b253a-d5f3-4915-8990-2d2c302b68c6│mysubnet   │5066abd7-5c81-4298-9772-3fad6ddd90a3│172.20.1.0/24  │172.20.1.1  │true│ACTIVE│ │4d62391d-e6f9-435e-8fba-8a2e3682f03c│subnet1    │87eeadef-2716-4e51-a81b-8e7a5d2be023│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │6cbfe2f6-36a1-46d7-beef-19ae0e4b3351│subnet1    │b7b6eb7e-19e5-47d2-ab8b-0e2fb6dc33a9│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │7446c808-68df-4e6d-9f80-b5b1a86d049f│subnet1    │4a0ff926-978b-4dae-be68-37640d513a1c│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │7**5d85-94ae-4f7b-8833-d31eaf62e827│subnet1    │3413fe9e-83bf-4a9b-b020-c8999adc89cb│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │889e7f27-231a-4bf6-a3cf-8339e6746ba5│subnet1    │c813be70-48f2-4d89-9153-4b4832a875e0│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │9dfcb3e7-9be9-464d-8f53-fe42787beb94│subnet1    │2d203648-d1cd-4782-a083-0d5323f8ca72│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │c9f75b54-078d-4cdc-b31f-0e9d9f30a837│subnet1    │56284d2a-518e-4800-85bb-2cd3dacad53e│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │cc00a4f0-ca72-4119-a6be-9012f6c2ac6a│subnet-paas│4c3de781-6762-405c-a802-05f2e8c1fdcc│192.168.0.0/24 │192.168.0.1 │true│ACTIVE│ │d0834208-0025-46c0-bc45-9c9345b1d065│subnet1    │f8f4dc7d-4784-487c-a079-eafa3d5cfed8│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │e2926843-60d0-4d43-ac47-a9e48fb255d7│subnet1    │9d1b88bc-5f94-445d-9fc3-c5a66332d4d9│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │e3192175-096f-4343-b4ae-e473f1c50a1b│subnet1    │99b0eec9-565f-4f41-a52a-a21263d1c235│192.168.20.0/24│192.168.20.1│true│ACTIVE│ │f8576dc0-0ef2-4603-8dcf-f0eec6e7bd65│subnet1    │842c2ab8-0326-48be-97ac-f5a14b809f9e│192.168.20.0/24│192.168.20.1│true│ACTIVE│ └────────────────────────────────────┴───────────┴────────────────────────────────────┴───────────────┴────────────┴────┴──────┘查询指定 VPC 下的子网列表hcloud vpc subnet/list 4c3de781-6762-405c-a802-05f2e8c1fdcc  --format=table ┌────────────────────────────────────┬───────────┬────────────────────────────────────┬──────────────┬───────────┬────┬──────┐ │                 Id                 │   Name    │                VPC                 │     Cidr     │  Gateway  │DHCP│Status│ ├────────────────────────────────────┼───────────┼────────────────────────────────────┼──────────────┼───────────┼────┼──────┤ │cc00a4f0-ca72-4119-a6be-9012f6c2ac6a│subnet-paas│4c3de781-6762-405c-a802-05f2e8c1fdcc│192.168.0.0/24│192.168.0.1│true│ACTIVE│ └────────────────────────────────────┴───────────┴────────────────────────────────────┴──────────────┴───────────┴────┴──────┘创建一个VMhcloud ecs create myvm --image=a347c189-4d3a-4096-bd72-0ad2be959470 --vpc=4c3de781-6762-405c-a802-05f2e8c1fdcc --subnet=cc00a4f0-ca72-4119-a6be-9012f6c2ac6a {     "begin_time" : "2019-02-07T21:37:10.619Z",     "end_time" : "2019-02-07T21:38:15.807Z",     "error_code" : null,     "fail_reason" : null,     "status" : "SUCCESS",     "entities" : {         "sub_jobs_total" : 1,         "sub_jobs" : [             {                 "job_id" : "8aace0c6689a2a300168c9e4a26d2313",                 "job_type" : "createSingleServer",                 "begin_time" : "2019-02-07T21:37:10.765Z",                 "end_time" : "2019-02-07T21:38:09.710Z",                 "error_code" : null,                 "fail_reason" : null,                 "status" : "SUCCESS",                 "entities" : {                     "server_id" : "a8077071-1e1e-4ef2-bcf2-ec9b3adf6e09"                 }             }         ]     },     "job_id" : "8aace0c6689a2a300168c9e4a1dc2310",     "job_type" : "createServer" }检查VM创建情况:hcloud ecs list --format=table ┌─────┬────────────────────────────────────┬─────────────────┬────────────────────────┬───────┐ │Index│                 Id                 │      Name       │       IP Address       │Status │ ├─────┼────────────────────────────────────┼─────────────────┼────────────────────────┼───────┤ │    1│a8077071-1e1e-4ef2-bcf2-ec9b3adf6e09│myvm             │192.168.0.129           │ACTIVE │ │    2│73ac0862-09f8-4912-af76-04052ef42f74│crc-cluster-15536│192.168.0.10|49.4.87.246│ACTIVE │ │    3│a44e57e8-a37c-4bcc-b388-a98ab0a51867│abchow-docker    │192.168.0.128           │SHUTOFF│ └─────┴────────────────────────────────────┴─────────────────┴────────────────────────┴───────┘使用完成后停机并删除该VMhcloud ecs shutdown a8077071-1e1e-4ef2-bcf2-ec9b3adf6e09 hcloud ecs delete a8077071-1e1e-4ef2-bcf2-ec9b3adf6e09 hcloud ecs list --format=table ┌─────┬────────────────────────────────────┬─────────────────┬────────────────────────┬───────┐ │Index│                 Id                 │      Name       │       IP Address       │Status │ ├─────┼────────────────────────────────────┼─────────────────┼────────────────────────┼───────┤ │    1│73ac0862-09f8-4912-af76-04052ef42f74│crc-cluster-15536│192.168.0.10|49.4.87.246│ACTIVE │ │    2│a44e57e8-a37c-4bcc-b388-a98ab0a51867│abchow-docker    │192.168.0.128           │SHUTOFF│ └─────┴────────────────────────────────────┴─────────────────┴────────────────────────┴───────┘
  • [问题求助] 电信IOT平台软件升级-关于UpgradeDesc.json文件中的 versionCheckCode问题
    今天跑了一下电信IOT的软件升级流程,虽然最后的结果是升级成功,但是发现在与平台的交互过程中,平台下发的新版本通知包中,不包含“升级包校验码”,开始还以为是自己升级任务配置的有问题,后来发现是升级描述文件里面的versionCheckCode填充的有问题,一开始按照参考文档里面填充了一长串数据,结果就出现了上述的情况,后来把versionCheckCode后面的数据长度控制在2以后,平台下发的新版本通知包中,就包含了“升级包校验码”,但是是ascii码的形式,如果按照协议文档里面给“升级包校验码”预留的2字节长度来看,那versionCheckCode位置填充的数据应该是一个小于等于uint8大小的数据,那是不是代表这个所谓的versionCheckCode对应的就是一个对升级包进行CRC8计算后生成的一个校验码呢?还是通过其他算法计算出来的一个校验码呢?希望已经将电信IOT平台软件升级FOTA功能应用在项目中的大神能来分享一下经验,指点一下迷津,万分感谢
  • [热门活动] 有什么方法可以重写改造SON返回,如BigDecimal默认给8位精度
    当BigDecimal没有指定精度时,json返回的精度没有预期,有什么方法可以重写JSON格式的生成?
  • [技术干货] CSE 支持接口响应序列化为JSON时过滤掉为null的字段吗?
    如题,想做一个动态查询的接口,要求响应是随着请求的字段动态变化的,所以考虑接口响应转为JSON时序列化掉为null的字段CSE 支持接口响应序列化为JSON时过滤掉为null的字段吗?
  • [干货分享]接口测试快速上手
    用时约5分钟1. 简介:本快速上手引导以Swagger Petstore的两个接口作为测试对象,介绍如何编写、执行HTTP接口测试用例,测试验证接口的功能。章节2实验准备介绍测试对象,即Swagger Petstore的两个接口,章节3.1介绍如何通过URL模式完成HTTP接口功能测试,章节3.2介绍如何通过Swagger模式完成HTTP接口功能测试。3.1和3.2使用不同模式完成一样的接口测试,可二选一操作,建议按3.1操作,然后快速浏览3.2以了解Swagger模式。2. 准备:2.1 熟悉本上手引导的测试对象Swagger Petstore项目是Swagger提供的一个样例Web项目,供开发者学习Swagger的功能,定义了一个Petstore服务器端实例,使用REST Service形式定义后端服务接口,运行在Swagger网站中。本实验课使用到Swagger Petstore的2个接口:接口名称addPetgetPetById接口含义添加一个宠物到宠物商店根据传入的宠物ID返回单个宠物接口URLhttp://petstore.swagger.io/v2/pethttp://petstore.swagger.io/v2/pet/{petId}参数:petId:宠物ID样例:http://petstore.swagger.io/v2/pet/1111111  HTTP方法类型POSTGET接口HTTP Request Body样例:  {    "id": 1111111,    "category": {      "id": 0,      "name":   "string"    },    "name": "doggie",    "photoUrls": [      "string"    ],    "tags": [      {        "id": 0,        "name":   "string"      }    ],    "status":   "available"  }不涉及接口HTTP Request Header1. Request Body是JSON格式(本实验均使用JSON格式):  Content-Type:application/json  2. Request Body是XML格式:  Content-Type:application/xml1. 期望Response Body返回JSON格式(本实验均使用JSON格式):Accept: application/json  2. 期望Request Body返回XML格式:  Accept: application/xml接口HTTP Response Code200:添加宠物成功405:输入不合法200:成功找到对应ID的宠物400:输入不合法404:对应ID的宠物不存在接口HTTP Response HeaderContent-Type:application/jsonContent-Type:application/jsonContent-Type:application/jsonContent-Type:application/jsonContent-Type:application/json接口HTTP Response Body样例:  {    "id": 1111111,    "category": {      "id": 0,      "name":   "string"    },    "name": "doggie",    "photoUrls": [      "string"    ],    "tags": [      {        "id": 0,        "name":   "string"      }    ],    "status":   "available"  }样例:{    "code": 400,    "type":   "unknown",    "message": "bad   input"  }            样例:  {    "id": 1111111,    "category": {      "id": 0,      "name":   "string"    },    "name": "doggie",    "photoUrls": [      "string"    ],    "tags": [      {        "id": 0,        "name":   "string"      }    ],    "status":   "available"  } 不涉及                 样例:{    "code": 1,    "type": "error",    "message": "Pet not   found"  }            2.2 了解Swagger接口描述文件 如不做2. HTTP接口功能测试 – Swagger模式,则可跳过本章节。Swagger是一种广泛使用的开发API的工具组合,包含API描述规范和开发框架,用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。Swagger接口描述文件基于OpenAPI标准描述REST接口,目前比较流行的是Swagger 2.0版本。下图是Swagger Petstore应用的的Swagger接口描述文件片段,描述了getPetById接口。Swagger Petstore的Swagger接口描述文件下载地址是http://petstore.swagger.io/v2/swagger.json 更多Swagger学习资源:1. https://swagger.io/2. http://petstore.swagger.io3. 快速上手内容:3.1 HTTP接口功能测试 – URL模式简介:此实验将带领创建一个接口测试用例,包含两个测试步骤(两个接口请求),脚本验证Swagger Petstore AddPet接口在正确输入的情况下是否成功添加Pet、是否可以通过GetPetById接口获取此Pet。难度:容易步骤:创建测试用例说明:本引导均使用DevCloud新版页面,请从以下入口切换至新版页面。 1. 注册登录DevCloud云测首页 https://devcloud.huaweicloud.com/testman/home,点击项目列表某个项目进入项目;如果没有项目,请先创建项目。2. 点击项目顶部菜单栏中的测试->接口测试,进入接口测试页面。3. 点击“新建”按钮,新建测试用例4. 在“新建测试用例”窗口中输入名称和编号(或仅输入名称,由系统自动生成编号),点击“保存并编写脚本”,保存后系统自动打开“脚本编辑页面”例如:测试用例名称:Petstore_AddPet_正确输入测试用例编号:Petstore_AddPet_001创建接口测试请求5. 在“脚本编辑页面”中,点击“+URL请求”新建测试步骤按钮,添加一个新的测试步骤。说明:此步骤将添加一个POST请求至Swagger Petstore的AddPet接口,发送指定的Request Body,在测试检测点中验证Pet创建成功。在测试步骤的URL输入框中输入AddPet接口的URL  http://petstore.swagger.io/v2/pet点击测试步骤左上角GET旁边的下拉按钮,修改HTTP请求方法为POST添加请求头Content-Type:application/json点击“请求体”,添加如下请求体{  "id": 1111111,  "category": {    "id": 0,    "name": "string"  },  "name": "doggie",  "photoUrls": [    "string"  ],  "tags": [    {      "id": 0,      "name": "string"    }  ],  "status": "available"}内置参数和测试检查点点击“检查点”添加检查点${code} == 200,验证请求响应码等于200。说明:$code是DevCloud接口测试的内置参数,代表请求响应码。鼠标放在右上角?号图标上可查看测试检测点的具体说明。DevCloud内置参数列表见https://support.huaweicloud.com/usermanual-testman/testman_ug_00008.html调试接口测试请求点击“调试”按钮,调试测试脚本调试结束后系统显示调试结果,包含请求的URL、Request Header、Request Body、Response Body、Response Code、Response Header信息。检查调试信息,验证编写的测试脚本符合预期。参数传递和响应提取6. 在“脚本编辑页面”中,点击“+URL请求”新建测试步骤按钮,添加第二个测试步骤。说明:此步骤将添加一个GET请求至Swagger Petstore的GetPetById接口,获取上一个测试步骤中创建的Pet,在测试检测点中验证接口返回的是期望的Pet。点击“+URL请求”新建测试步骤按钮,添加一个新的测试步骤。在测试步骤请求URL中输入http://petstore.swagger.io/v2/pet/${petId}说明:此URL中的${petId}将使用DevCloud接口测试的参数传递功能。在实际测试中,当后序的测试步骤依赖前序的测试步骤的输出时,需要使用参数传递。此实验步骤中,URL中的petId依赖于前序测试步骤创建的Pet的Id,因此使用参数传递,即把前序测试步骤的Request Body中的id参数化为petId,后序测试步骤可以在URL、检查点值等处使用参数引用petId。点击前序测试步骤的“参数传递”,添加以下参数传递的定义,参数类型Long,参数名petId,熟悉$body.id说明:与${code}一样,${body}也是DevCloud接口测试的一个内置参数,代表HTTP Response Body请求响应体。如果响应体格式为JSON,则可以使用JSON操作符提取JSON字段,如${body}.id提取响应体JSON的id字段。DevCloud内置参数列表见https://support.huaweicloud.com/usermanual-testman/testman_ug_00008.html在第二个测试步骤中添加请求头Accept:application/json,要求接口返回JSON格式的Response Body在第二个测试步骤中添加两个检查点,第一个检查点验证Response Code为200,第二个检查点验证Response Body内容是否符合期望。第二个检查点中再次使用到了步骤1中声明的参数,作为检查点的比较值。说明:检查点是测试用例或脚本中验证测试输出结果是否符合预期的表达式,也称测试验证点或测试断言。DevCloud接口测试内置30多个检查点比较操作符,详见https://support.huaweicloud.com/usermanual-testman/testman_ug_00009.html点击“调试”,验证编写的测试脚本符合预期。点击“返回”按钮,返回接口测试用例列表,在列表中可以看到刚创建的测试用例。点击此测试用例的“执行”操作,可以执行测试用例。用例执行完毕后,点击此测试用例的“查看执行历史”,可以查看执行记录和日志。点击此测试用例名称,可以编辑测试脚本。总结:至此,一个简单的包含两个测试步骤(两个接口请求)的自动化测试脚本即编写完成,脚本验证AddPet接口在正确输入的情况下是否成功添加Pet、是否可以通过GetPetById接口获取此Pet。思考:1. 如何验证AddPet接口创建的Pet的name字段与创建时的输入一致?答案:在第一个测试步骤中添加新测试检查点 ${body}.name equals doggie2. 如何验证AddPet接口拒绝非法格式的输入?答案:创建一个新的测试用例,在AddPet接口请求的Request Body中输入非法格式的JSON,在检查点中添加${code} == 405,如果用例执行结果为成功,则验证了AddPet接口可以拒绝定义的非法格式JSON输入。以此类推,测试用例可以定义出更多非法字符、非法参数等非法输入场景,验证AddPet接口拒绝非法格式功能的健壮性。对非法场景定义的越全面,接口就测试得越全面。更多功能,如接口测试关键字、全局参数、局部参数、分环境管理全局参数、测试套件、逻辑操作、流水线驱动的持续接口测试,请参阅云测帮助文档中的接口测试相关介绍https://support.huaweicloud.com/cloudtest/index.html 或产品中的页内帮助3.2HTTP接口功能测试 – Swagger模式简介:和3.1相同,此实验将创建一个接口测试用例,包含两个测试步骤(两个接口请求),脚本验证Swagger Petstore AddPet接口在正确输入的情况下是否成功添加Pet、是否可以通过GetPetById接口获取此Pet。与实验1的区别是,本实验通过基于Swagger接口描述文件创建测试步骤。难度:中等实验步骤:1. 注册登录DevCloud云测首页 https://devcloud.huaweicloud.com/testman/home,点击项目列表某个项目进入项目;如果没有项目,请先创建项目。2. 点击项目顶部菜单栏中的测试->接口测试,进入接口测试页面。3. 点击“脚本模板”页签下的“导入模板”前提准备:如果没有Swagger Petstore的Swagger接口描述文件,请打开浏览器访问http://petstore.swagger.io/v2/swagger.json,作为文件保存到本地电脑。在“导入脚本模板”对话框中,点击“选择文件”,选择保存的Swagger Petstore接口描述文件,点击“确定”导入。导入后,Swagger Petstore的接口描述文件中的每个接口生成一个脚本模板,基于这些脚本模板可以为测试用例快速创建测试步骤。脚本模板名称对应Swagger文件中的operationId,路径对应接口path。如果希望使用Swagger文件的接口描述的summary作为脚本模板名称,可以在【设置】->【功能开关】中切换效果如下4. 点击“测试用例”页签下的“新建”按钮,新建测试用例5. 在“新建测试用例”窗口中输入名称和编号(或仅输入名称,由系统自动生成编号),点击“保存并编写脚本”,保存后系统自动打开“脚本编辑页面”例如:测试用例名称:Petstore_AddPet_正确输入_2测试用例编号:Petstore_AddPet_002从左侧脚本模板中搜索“addPet”(Add a new pet to the store)和“getPetById”(Find pet by ID;Returns a single pet),拖拽或点击“+”图标添加至右侧空白区域,添加为测试步骤。6. 在“addPet”测试步骤的“body”字段中填入创建Pet的JSON文本,此文本对应addPet接口POST请求的Request Body。{  "id": 1111111,  "category": {    "id": 0,    "name": "string"  },  "name": "doggie",  "photoUrls": [    "string"  ],  "tags": [    {      "id": 0,      "name": "string"    }  ],  "status": "available"}点击“检查点”添加检查点${code} == 200,验证请求响应码等于200。说明:${code}是DevCloud接口测试的内置参数,代表请求响应码。鼠标放在右上角?号图标上可查看测试检测点的具体说明。点击“调试”按钮,调试测试脚本调试结束后系统显示调试结果,包含请求的URL、Request Header、Request Body、Response Body、Response Code、Response Header信息。检查调试信息,验证编写的测试脚本符合预期。7. 在“getPetById”测试步骤中,设置petId参数的值为${petId}说明:${petId}将使用DevCloud接口测试的参数传递功能。在实际测试中,当后序的测试步骤依赖前序的测试步骤的输出时,需要使用参数传递。此实验步骤中,参数中的petId依赖于前序测试步骤创建的Pet的Id,因此使用参数传递,即把前序测试步骤的Request Body中的id参数化为petId,后序测试步骤可以在参数、检查点值等处使用参数引用petId。点击前序测试步骤的“参数传递”,添加以下参数传递的定义在第二个测试步骤中添加两个检查点,第一个检查点验证Response Code为200,第二个检查点验证Response Body内容是否符合期望。第二个检查点中再次使用到了步骤1中声明的参数,作为检查点的比较值。点击“保存并调试”,验证编写的测试脚本符合预期。点击“返回”按钮,返回接口测试用例列表,在列表中可以看到刚创建的测试用例。点击此测试用例的“执行”操作,可以执行测试用例。用例执行完毕后,点击此测试用例的“查看执行历史”,可以查看执行记录和日志。点击此测试用例名称,可以编辑测试脚本。总结:至此,基于Swagger接口描述文件,创建了一个简单的包含两个测试步骤(两个接口请求)的自动化测试脚本,脚本验证AddPet接口在正确输入的情况下是否成功添加Pet、是否可以通过GetPetById接口获取此Pet。更多功能,如接口测试关键字、全局参数、局部参数、分环境管理全局参数、测试套件、逻辑操作、流水线驱动的持续接口测试,请参阅云测帮助文档中的接口测试相关介绍https://support.huaweicloud.com/cloudtest/index.html 或产品中的页内帮助
总条数:119 到第
上滑加载中