• [DevKit] 【Hyper Tuner调优实践 15】基于系统性能分析工具的Nginx调优实践
    调优介绍 Hyper Tuner是一款鲲鹏性能调优工具,本实践中使用Tuning Kit工具对nginx所在系统执行系统性能全景分析,找到性能瓶颈点,并根据分析结果进行优化修改,从而实现nginx自身性能增强。组网环境说明:本实践以TaiShan 200服务器(型号2280)+ "CentOS7.6组网举例。项目说明服务器TaiShan   200 服务器(型号2280)CPU2 * Kunpeng 920-4826OSCentOS Linux7(AltArch)应用Nginx前提条件1.服务器和操作系统正常运行。2.PC端已经安装SSH远程登录工具。3.目标环境上HyperTuner工具已经安装完成,并正常运行。调优思路1.向nginx发送大量请求,用HyperTuner工具对目标环境的空载系统进行全局的系统性能分析。对全景性能分析中,有异常的指标进一步分析,并根据优化建议进行优化修改。3.对优化后的代码再次进行全景性能分析,验证调优后的效果。操作步骤系统全景分析执行time ab -n200000 -c1000 url性能瓶颈分析在性能全景分析的结果中,查看网络IO中的网络设备统计,发现rxpck/s、txpck/s都比基准值高出很多,经分析可能是网卡收到报文之后立即产生中断,导致数值增大。性能瓶颈优化关闭网口中断聚合自适应(ethtool -C 网卡名称 adaptive-rx off adaptive-tx off)若数值无降低可修改中断聚合采纳数(ethtool -C 网卡名称  rx-usecs 200 rx-frames 16 tx-usecs 200 tx-frames 16)调优后结果关闭网口中断聚合后,查看网络IO中的网络设备统计,发现rxpck/s、txpck/s都有降低。本实践中,通过系统全景分析的采集,查看优化建议可能是网口中断聚合未关闭,关闭网口中断聚合后,网络IO性能得到明显提升。总结200000请求rxpck/stxpck/s网口中断聚合开启1000并发32315.4832289.90网口中断聚合关闭1000并发26,720.6526,661.48 
  • [问题求助] MDC 300F 系统时间每次开机都会重置,如何修改系统时间同步到网络时间,不让MDC重置?
    MDC 300F系统时间每次开机都会重置到2019/4/20 8:00:00,如何修改系统时间同步到网络时间,不让MDC重置?
  • [问题求助] 请问现在华为云管理网络设备数多么?一共有多少台设备?
    公有云是否不安全,有那么多人用么?
  • [整体安全] HiCert安全日报 - 2021-07-11
    - News -1.东京奥运会前奏:日本的网络安全备战和“假想敌们”https://mp.weixin.qq.com/s/ZTv6ldWXXi9XTmSNKjryYg2.苹果再成目标,WildPressure APT 组织锁定macOS系统https://mp.weixin.qq.com/s/SSSbnQqZFS9zDfzM_Y2nQw3.一款全新的勒索病毒Hive来袭,已有企业中招https://mp.weixin.qq.com/s/_50M83eu_aURayj6wF2Ywg4.教育部发布预警:高校招生录取期间,谨防诈骗https://mp.weixin.qq.com/s/JhWPEaxZ3mwsW6rsySmz6w5.自然资源部办公厅关于印发《国土空间用途管制数据规范(试行)》的通知https://mp.weixin.qq.com/s/FkuTtH1Ck69J5MJDzQspZQ6.PrintNightmare 漏洞的补丁管用吗?安全界和微软有不同看法https://mp.weixin.qq.com/s/fxN3Lf-MHQs1ZOWF3k-rpw7.“大数据杀熟”最高罚5000万元 深圳推动建立数据交易平台https://www.cnbeta.com/articles/tech/1151143.htm8.观察 | 赴美IPO企业需警惕!美国哪些法律会危害我国数据安全https://mp.weixin.qq.com/s/-2q78HiSKOuWZSU3eH5i5A
  • [执行问题] 【mindspore】【vgg模型】导入checkpoint与网络参数不符合
    【功能模块】 vgg16导入checkpoint报错 vgg定义来源:https://gitee.com/mindspore/mindspore/tree/master/model_zoo/official/cv/vgg16checkpoint文件来源:https://download.mindspore.cn/model_zoo/official/cv/vgg/vgg16_ascend_1.0_cifar10_official_classification_20200923/模型和参数加载:from src.config import imagenet_cfg as vgg_cfg network = vgg16(vgg_cfg.num_classes, vgg_cfg, phase="test") load_param_into_net(network, load_checkpoint(model_cfg.cnn_ckpt))【截图信息】 是因为checkpoint不支持imagenet这个数据集吗?
  • [问题求助] 小熊派的网络显示未注册EPS网络
    【功能模块】iot通讯模块【操作步骤&问题现象】1、iot studio内的通讯模组检测显示未注册EPS网络2、淘宝新买的移动nb卡,卡未过期。【截图信息】AT+CEREG?CEREG:0,2【日志信息】(可选,上传日志内容或者附件)
  • [活动体验] mindspore ResNet-50网络 图像分类 实践
    官方文档:https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/cv_resnet50.html 1.下载源码和数据集 ``` git clone https://gitee.com/mindspore/docs.git wget https://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz tar -zvxf cifar-10-binary.tar.gz ``` 修改cifar_resnet50.py 中的数据集路径,修改device类型为GPU ``` parser.add_argument('--device_target', type=str, default="GPU", help='Device choice Ascend or GPU') parser.add_argument('--dataset_path', type=str, default="/home/HwHiAiUser/datasets/cifar-10-batches-bin", help='Dataset path.') ``` 2.开始训练 ``` python3 cifar_resnet50.py ``` 由于代码没有打印训练过程的loss,耐心等待5min得到训练结果; 训练过程顺便看了下gpu使用率60% ![Screenshot from 2021-07-10 17-41-13.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202107/10/175542x84l9mwzoeaj8lns.png) 训练完成后,修改参数,开始验证 ``` parser.add_argument('--do_train', type=bool, default=False, help='Do train or not.') parser.add_argument('--do_eval', type=bool, default=True, help='Do eval or not.') parser.add_argument('--checkpoint_path', type=str, default="./train_resnet_cifar10-1_1875.ckpt", help='CheckPoint file path.') ``` ![Screenshot from 2021-07-10 17-40-49.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202107/10/180124bqzskyvynkcot8o4.png) 到此,成功体验mindspore框架的resnet模型,下一步就是还需进一步调试了。
  • [问题求助] 【isula实现网络通信功能
    看别的博客应该还具有这部分3: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue    link/ether 56:ac:92:eb:f6:16 brd ff:ff:ff:ff:ff:ff    inet 10.22.0.6/16 brd 10.22.255.255 scope global eth0       valid_lft forever preferred_lft forever    inet6 fe80::54ac:92ff:feeb:f616/64 scope link       valid_lft forever preferred_lft forever请问各位朋友,怎么样可以配置这个网卡eth0?
  • [交流分享] 凝思系统无法配置网络
    问题描述出现执行ifconfig eth0 up,报“SIOCSIFFLAGS 无效的参数”提示原因分析在安装系统的时候没有输入序列号,如下图解决方案1、重新安装系统,再输入序列号2、不需要重新安装系统,配置文件即可第二种方案步骤如下1、先给配置网络,我这边配置静态网络2、编译/etc/default/grub文件,添加GRUB_CMDLINE_LINUX="linx_serial=序列号,security=linx"保存3、执行update-grub,然后重启注意:先配置网络,再配置序列号后重启
  • [活动体验] MindSpore学习第一步,官网教程初体验 (lenet网络搭建)
    邮箱2879056956@qq.com
  • [技术干货] Single-Path-NAS网络精度调测经验总结-好名字学长
    代码来源https://gitee.com/mindspore/mindspore/pulls/18949 运行环境NPU: 8 Ascend 910运行结果NPU数据训练过程:epoch time: 111638.610 ms, per step time: 89.168 msepoch: 176 step: 1252, loss is 2.2206404epoch time: 111653.667 ms, per step time: 89.180 msepoch: 177 step: 1252, loss is 2.5303764epoch time: 111709.643 ms, per step time: 89.225 msepoch: 178 step: 1252, loss is 2.6840098epoch time: 111692.466 ms, per step time: 89.211 msepoch: 179 step: 1252, loss is 2.7241988epoch time: 111601.785 ms, per step time: 89.139 msepoch: 180 step: 1252, loss is 2.6430836epoch time: 111497.108 ms, per step time: 89.055 mstrain success验证结果:model ./ckpt_ 0/train_ spnasnet imagenet-146 1252.ckpt's accuracy is {'top_ 1 accuracy': 0. 7421075767263428,top 5_ accuracy': 0. 9162404092071611}推理结果:Total data:50000, top1 accuracy: 0.74218, top5 accuracy : 0.91618.思路解析1. 在最早开始调试的时候,本来是按照原始论文的设置要跑300个epochs,但是精度迟迟无法达标,并且设置weight_decay=1e-4次方时loss总是无法降低2. 之后尝试通过修改weight_decay=1e-5次方,将epoch=200的时候,精度有了一定稳定的提高。此时确定了weight_decay=1e-5更加适合网络3. 发现mindspore1.2.0补上了缺失的算子nn.SyncBatchNorm,用来同步在多卡并行的过程中bn层的mean和var参数,但是精度依然无法到达需要的指标4. 将目标放在了初始化的方面,经过多次尝试,发现对于single-path-nas来说,使用"HeNormal"初始化的精度是稳定地高于模型"HeUniform",因此确定了将"HeNormal"作为最后的初始化5. 我使用的是余弦学习率调整策略,在跑200轮的时候,最好的精度总是都坐在160轮左右的时候,之后就开始过拟合,因此我选择将epoch调整到180(此时最好的模型会掉在150轮左右),我尝试继续缩小epoch,但是这个时候精度却明显的低了,感觉到学习率衰减的策略对模型的收敛有挺大的影响,因此最后选择较为合适的epoch=1806. 精度还是稍微差一点,因为bn层本身是存在一定的正则化作用的,猜想imagenet本身的一些数据的标签和统计量,因此我选择取消了nn.SyncBatchNorm,使用普通的nn.BatchNorm2d,不同步不同卡上的bn层模型,为模型的收敛引进一部分扰动,最后终于达到了精度要求。经验总结:在一开始的时候不要选择过大的weight_decay,因为weight_decay本身就是一种正则化的约束,过强的正则化约束很可能会导致模型欠拟合对不同的模型,还是尽量要选择适合的初始化,虽然现在优化器和BN层的发展已经解决了很多由于初始化导致的训练不稳定等问题,但是选择合适的初始化的确能稳定提升精度epoch不要太多,合适就好。太多的epoch反而会影响模型的正常收敛因为BN层中有一定的统计量,从大的角度来说大的batchsize的确可以促进模型的稳定收敛,但是小的batchsize可以让模型有更好的泛化性,因此多卡并行时是否选择同步BN层的确会对模型的泛化有一定的影响
  • [技术干货] 【昇腾CANN文档速递·03期】带你解锁「训练网络精度调优」
    >>>汇总贴以上内容在“昇腾开发者微信公众号”同步上线,可扫码关注!>>>汇总贴
  • [问题求助] MDC系统时间每次开机都会重置,如何修改系统时间同步到网络时间,不让MDC重置?
    MDC系统时间每次开机都会重置到2019/4/20 8:00:00,如何修改系统时间同步到网络时间,不让MDC重置?(希望不要回复类似“请搜索产品文档有设置时间的工具", 请截图回答,因为这种回复找不到正解答案,谢谢!)
  • [问题求助] MDC系统时间每次开机都会重置,如何修改系统时间同步到网络时间,不让MDC重置?
    MDC系统时间每次开机都会重置到2019/4/20 8:00:00,如何修改系统时间同步到网络时间,不让MDC重置?
  • [推理] 关于mindspore的阶段
    我在train的时候已经训练好了checkpoint文件。然后在eval阶段我只是简单的调了train中的网络,并且加载了已经train好的checkpoint文件。这样会报错。请问报错的原因 会是因为什么?会是因为网络中的某些层 如bn和drouoout在训练和推理有些不一致导致的吗?可是我在train的时候也同时使用了交叉验证,交叉验证也需要model.eval。网络能正常。两个问题 1.在eval阶段,需要注意什么?能够直接加载网络和参数吗?2.在eval阶段需要在Model中使用优化器吗?