-
调优介绍 Hyper Tuner是一款鲲鹏性能调优工具,本实践中使用Tuning Kit工具对nginx所在系统执行系统性能全景分析,找到性能瓶颈点,并根据分析结果进行优化修改,从而实现nginx自身性能增强。组网环境说明:本实践以TaiShan 200服务器(型号2280)+ "CentOS7.6组网举例。项目说明服务器TaiShan 200 服务器(型号2280)CPU2 * Kunpeng 920-4826OSCentOS Linux7(AltArch)应用Nginx前提条件1.服务器和操作系统正常运行。2.PC端已经安装SSH远程登录工具。3.目标环境上HyperTuner工具已经安装完成,并正常运行。调优思路1.向nginx发送大量请求,用HyperTuner工具对目标环境的空载系统进行全局的系统性能分析。对全景性能分析中,有异常的指标进一步分析,并根据优化建议进行优化修改。3.对优化后的代码再次进行全景性能分析,验证调优后的效果。操作步骤系统全景分析执行time ab -n200000 -c1000 url性能瓶颈分析在性能全景分析的结果中,查看网络IO中的网络设备统计,发现rxpck/s、txpck/s都比基准值高出很多,经分析可能是网卡收到报文之后立即产生中断,导致数值增大。性能瓶颈优化关闭网口中断聚合自适应(ethtool -C 网卡名称 adaptive-rx off adaptive-tx off)若数值无降低可修改中断聚合采纳数(ethtool -C 网卡名称 rx-usecs 200 rx-frames 16 tx-usecs 200 tx-frames 16)调优后结果关闭网口中断聚合后,查看网络IO中的网络设备统计,发现rxpck/s、txpck/s都有降低。本实践中,通过系统全景分析的采集,查看优化建议可能是网口中断聚合未关闭,关闭网口中断聚合后,网络IO性能得到明显提升。总结200000请求rxpck/stxpck/s网口中断聚合开启1000并发32315.4832289.90网口中断聚合关闭1000并发26,720.6526,661.48
-
MDC 300F系统时间每次开机都会重置到2019/4/20 8:00:00,如何修改系统时间同步到网络时间,不让MDC重置?
-
- News -1.东京奥运会前奏:日本的网络安全备战和“假想敌们”https://mp.weixin.qq.com/s/ZTv6ldWXXi9XTmSNKjryYg2.苹果再成目标,WildPressure APT 组织锁定macOS系统https://mp.weixin.qq.com/s/SSSbnQqZFS9zDfzM_Y2nQw3.一款全新的勒索病毒Hive来袭,已有企业中招https://mp.weixin.qq.com/s/_50M83eu_aURayj6wF2Ywg4.教育部发布预警:高校招生录取期间,谨防诈骗https://mp.weixin.qq.com/s/JhWPEaxZ3mwsW6rsySmz6w5.自然资源部办公厅关于印发《国土空间用途管制数据规范(试行)》的通知https://mp.weixin.qq.com/s/FkuTtH1Ck69J5MJDzQspZQ6.PrintNightmare 漏洞的补丁管用吗?安全界和微软有不同看法https://mp.weixin.qq.com/s/fxN3Lf-MHQs1ZOWF3k-rpw7.“大数据杀熟”最高罚5000万元 深圳推动建立数据交易平台https://www.cnbeta.com/articles/tech/1151143.htm8.观察 | 赴美IPO企业需警惕!美国哪些法律会危害我国数据安全https://mp.weixin.qq.com/s/-2q78HiSKOuWZSU3eH5i5A
-
【功能模块】 vgg16导入checkpoint报错 vgg定义来源:https://gitee.com/mindspore/mindspore/tree/master/model_zoo/official/cv/vgg16checkpoint文件来源:https://download.mindspore.cn/model_zoo/official/cv/vgg/vgg16_ascend_1.0_cifar10_official_classification_20200923/模型和参数加载:from src.config import imagenet_cfg as vgg_cfg network = vgg16(vgg_cfg.num_classes, vgg_cfg, phase="test") load_param_into_net(network, load_checkpoint(model_cfg.cnn_ckpt))【截图信息】 是因为checkpoint不支持imagenet这个数据集吗?
-
【功能模块】iot通讯模块【操作步骤&问题现象】1、iot studio内的通讯模组检测显示未注册EPS网络2、淘宝新买的移动nb卡,卡未过期。【截图信息】AT+CEREG?CEREG:0,2【日志信息】(可选,上传日志内容或者附件)
-
官方文档:https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/cv_resnet50.html 1.下载源码和数据集 ``` git clone https://gitee.com/mindspore/docs.git wget https://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz tar -zvxf cifar-10-binary.tar.gz ``` 修改cifar_resnet50.py 中的数据集路径,修改device类型为GPU ``` parser.add_argument('--device_target', type=str, default="GPU", help='Device choice Ascend or GPU') parser.add_argument('--dataset_path', type=str, default="/home/HwHiAiUser/datasets/cifar-10-batches-bin", help='Dataset path.') ``` 2.开始训练 ``` python3 cifar_resnet50.py ``` 由于代码没有打印训练过程的loss,耐心等待5min得到训练结果; 训练过程顺便看了下gpu使用率60% ![Screenshot from 2021-07-10 17-41-13.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202107/10/175542x84l9mwzoeaj8lns.png) 训练完成后,修改参数,开始验证 ``` parser.add_argument('--do_train', type=bool, default=False, help='Do train or not.') parser.add_argument('--do_eval', type=bool, default=True, help='Do eval or not.') parser.add_argument('--checkpoint_path', type=str, default="./train_resnet_cifar10-1_1875.ckpt", help='CheckPoint file path.') ``` ![Screenshot from 2021-07-10 17-40-49.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202107/10/180124bqzskyvynkcot8o4.png) 到此,成功体验mindspore框架的resnet模型,下一步就是还需进一步调试了。
-
看别的博客应该还具有这部分3: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 56:ac:92:eb:f6:16 brd ff:ff:ff:ff:ff:ff inet 10.22.0.6/16 brd 10.22.255.255 scope global eth0 valid_lft forever preferred_lft forever inet6 fe80::54ac:92ff:feeb:f616/64 scope link valid_lft forever preferred_lft forever请问各位朋友,怎么样可以配置这个网卡eth0?
-
问题描述出现执行ifconfig eth0 up,报“SIOCSIFFLAGS 无效的参数”提示原因分析在安装系统的时候没有输入序列号,如下图解决方案1、重新安装系统,再输入序列号2、不需要重新安装系统,配置文件即可第二种方案步骤如下1、先给配置网络,我这边配置静态网络2、编译/etc/default/grub文件,添加GRUB_CMDLINE_LINUX="linx_serial=序列号,security=linx"保存3、执行update-grub,然后重启注意:先配置网络,再配置序列号后重启
-
代码来源https://gitee.com/mindspore/mindspore/pulls/18949 运行环境NPU: 8 Ascend 910运行结果NPU数据训练过程:epoch time: 111638.610 ms, per step time: 89.168 msepoch: 176 step: 1252, loss is 2.2206404epoch time: 111653.667 ms, per step time: 89.180 msepoch: 177 step: 1252, loss is 2.5303764epoch time: 111709.643 ms, per step time: 89.225 msepoch: 178 step: 1252, loss is 2.6840098epoch time: 111692.466 ms, per step time: 89.211 msepoch: 179 step: 1252, loss is 2.7241988epoch time: 111601.785 ms, per step time: 89.139 msepoch: 180 step: 1252, loss is 2.6430836epoch time: 111497.108 ms, per step time: 89.055 mstrain success验证结果:model ./ckpt_ 0/train_ spnasnet imagenet-146 1252.ckpt's accuracy is {'top_ 1 accuracy': 0. 7421075767263428,top 5_ accuracy': 0. 9162404092071611}推理结果:Total data:50000, top1 accuracy: 0.74218, top5 accuracy : 0.91618.思路解析1. 在最早开始调试的时候,本来是按照原始论文的设置要跑300个epochs,但是精度迟迟无法达标,并且设置weight_decay=1e-4次方时loss总是无法降低2. 之后尝试通过修改weight_decay=1e-5次方,将epoch=200的时候,精度有了一定稳定的提高。此时确定了weight_decay=1e-5更加适合网络3. 发现mindspore1.2.0补上了缺失的算子nn.SyncBatchNorm,用来同步在多卡并行的过程中bn层的mean和var参数,但是精度依然无法到达需要的指标4. 将目标放在了初始化的方面,经过多次尝试,发现对于single-path-nas来说,使用"HeNormal"初始化的精度是稳定地高于模型"HeUniform",因此确定了将"HeNormal"作为最后的初始化5. 我使用的是余弦学习率调整策略,在跑200轮的时候,最好的精度总是都坐在160轮左右的时候,之后就开始过拟合,因此我选择将epoch调整到180(此时最好的模型会掉在150轮左右),我尝试继续缩小epoch,但是这个时候精度却明显的低了,感觉到学习率衰减的策略对模型的收敛有挺大的影响,因此最后选择较为合适的epoch=1806. 精度还是稍微差一点,因为bn层本身是存在一定的正则化作用的,猜想imagenet本身的一些数据的标签和统计量,因此我选择取消了nn.SyncBatchNorm,使用普通的nn.BatchNorm2d,不同步不同卡上的bn层模型,为模型的收敛引进一部分扰动,最后终于达到了精度要求。经验总结:在一开始的时候不要选择过大的weight_decay,因为weight_decay本身就是一种正则化的约束,过强的正则化约束很可能会导致模型欠拟合对不同的模型,还是尽量要选择适合的初始化,虽然现在优化器和BN层的发展已经解决了很多由于初始化导致的训练不稳定等问题,但是选择合适的初始化的确能稳定提升精度epoch不要太多,合适就好。太多的epoch反而会影响模型的正常收敛因为BN层中有一定的统计量,从大的角度来说大的batchsize的确可以促进模型的稳定收敛,但是小的batchsize可以让模型有更好的泛化性,因此多卡并行时是否选择同步BN层的确会对模型的泛化有一定的影响
-
MDC系统时间每次开机都会重置到2019/4/20 8:00:00,如何修改系统时间同步到网络时间,不让MDC重置?(希望不要回复类似“请搜索产品文档有设置时间的工具", 请截图回答,因为这种回复找不到正解答案,谢谢!)
-
MDC系统时间每次开机都会重置到2019/4/20 8:00:00,如何修改系统时间同步到网络时间,不让MDC重置?
-
我在train的时候已经训练好了checkpoint文件。然后在eval阶段我只是简单的调了train中的网络,并且加载了已经train好的checkpoint文件。这样会报错。请问报错的原因 会是因为什么?会是因为网络中的某些层 如bn和drouoout在训练和推理有些不一致导致的吗?可是我在train的时候也同时使用了交叉验证,交叉验证也需要model.eval。网络能正常。两个问题 1.在eval阶段,需要注意什么?能够直接加载网络和参数吗?2.在eval阶段需要在Model中使用优化器吗?
推荐直播
-
如何快速入驻O3使能伙伴服务作业平台
2024/04/18 周四 16:00-16:40
红喜 O3伙伴服务工作台技术总架构师
本期邀请O3伙伴服务工作台技术总架构师,讲解O3伙伴服务工作台的设计理念,及演示工作台关键能力与价值点,带你2步快速入驻工作台。O3伙伴服务工作台,具备在线Online、开放Open、协同Orchestration的特征,作为伙伴服务的统一入口,支持伙伴以租户方式入驻,涵盖伙伴工程师、管理者等多角色,是一个以伙伴服务领域全旅程作业为中心,整合华为服务各专业领域能力,开放共享的一站式作业平台。
回顾中 -
通用人工智能(AGI)到来前夕如何实现企业降本增效和应用现代化
2024/04/19 周五 14:00-16:00
李京峰 T3出行VP/CTO
李京峰是T3出行CTO,本次他将分享通用人工智能(AGI)到来前夕,如何实现企业降本增效和应用现代化。
即将直播 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》
2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长;崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
去报名
热门标签