• [热门活动] 【有礼】NAIE与您相约HDC 2021,回帖抽空气净化器
    【活动时间】2021年4月22日~2021年5月9日 【参与方式】步骤1、拍照/截图+200字心得/建议/评价①  现场:参与深圳现场HDC活动的开发者,拍照记录大会现场的精彩瞬间,在社区评论照片,并发表参会心得;②  线上:无法到现场参会的开发者,可参与微认证课程、线上展厅、直播,截图并评论/建议;     微认证课程:限4月24-26日免费,完成课程、申请证书,给简历加满分, 点击领取     线上展厅:      点击进入      直播链接:      点击查看 步骤2、  以图文并茂的形式回帖到活动评论区。最多不超过5条评论,内容不可以重复。【活动奖品】(1)满88层时,随机送NAIE盲盒(10个)(2)满288层时,随机加送NAIE定制法兰绒抱枕(10个)(3)满588层时,随机加送PGG二代多功能脉冲颈椎按*仪(10个)(4)满888层时,随机加送华为智选空气净化器(5个)【活动规则】1、互动有礼的活动2021年4月29日23:59截止。2、为防止有恶意发帖行为,同一ID回帖不得超过5条,若超过将取消获奖资格。4、每个ID只参与一次评选,同一ID不重复中奖。5、本次回帖内容需满足华为云论坛发帖规范https://bbs.huaweicloud.com/forum/thread-23077-1-1.html【获奖公示】2021年4月30日公示如有问题请联系助理小爱
  • [问题求助] 【学习赛2021-硬盘异常检测】【NAIE平台吐槽】使用中困惑的地方
    ### 特征工程中 jupyternotebook 的CPU使用百分比 环境信息 ![naie-comp-2021-study-disk-use-suggestion-1.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/13/103932bisadiwhfpqryrrs.png)   CPU和内存的使用百分比显示 ![naie-comp-2021-study-disk-use-suggestion-2.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/13/103937szwv630weqmzw23v.png)   在进行特征工程中,加载数据时CPU立刻爆红 100%。 ![naie-comp-2021-study-disk-use-suggestion-3.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/13/103943pu4sb0xvrezg2epc.png) 有一些疑问:CPU爆红显示100%,意味着什么?此时的100%指的是 8core 都100%了吗?为什么加载数据这么消耗CPU资源?   ### 特征工程-加载数据-浏览器的自动填充功能会一直添加 我使用的浏览器是 chrome 89.0.4389.90(64位),里面存储了华为云虚拟机ecs-dc29的信息。 在 特征工程-加载数据 中,就会自动添加ecs-dc29,效果如下所示: ![微信截图_20210321163934.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/21/164321gfv5kxsuqx9wgzga.png) 这是什么原因?为何会一直添加?
  • [经验交流] 课程笔记 降低机器学习入门门槛:NAIE AutoML端到端流程和技术洞察
    ### 课程名称 降低机器学习入门门槛:NAIE AutoML端到端流程和技术洞察   ### 课程目录 ![naie-devrun-20201215-naie-automl-p2p.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202102/24/230117sj5zz7herqmkgwxm.png)   ### 课程链接 * 降低机器学习入门门槛:NAIE AutoML端到端流程和技术洞察 https://bbs.huaweicloud.com/live/DevRun_live/202012152000.html * 【12月15日DevRun开发者沙龙直播】降低机器学习入门门槛:NAIE AutoML端到端流程和技术洞察 https://bbs.huaweicloud.com/forum/thread-92795-1-1.html * 网络人工智能-所有课程链接 https://bbs.huaweicloud.com/forum/thread-48711-1-1.html   ### 学习笔记 1. 机器学习automl:提高效率,降低门槛 2. AutoML落地业务的全流程:从专家定义问题,到模型最终部署的闭环过程 3. 机器学习和深度学习的AutoML技术区别 1. 机器学习 1. 数据预处理 2. 特征工程 3. 特征提取 4. 模型选择 5. 超参优化 2. 深度学习 1. 架构搜索 2. 超参优化 3. 数据增强 4. 模型压缩 4. 典型软件 1. 开源:auto-sklearn 2. 商业:Google AutoML Tables 5. NAIE平台经典学习AutoML流程 1. ![naie-devrun-20201215-naie-automl-p2p-2.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202102/24/230134fih5dg7txvf5nnot.png) 6. 数据预处理: AutoML系统的输入 1. 数据质量评估 2. Schema自动识别 3. 数据缺失和异常 4. 无效特征识别 5. 标签识别 7. 数据:不均衡数据是常态,是影响模型性能的关键因素之一 1. 自动识别不平衡样本 2. 自动采样 1. 过采样,欠采样 2. 分层采样 3. 主动学习 8. 自动特征构造和特征选择 |类别|类别|常用方法| |------|------|------| |特征构造|单元特征|标准化和归一化 OneHot编码,多项式变换| ||多元特征|增维:核函数 降维: PCA、 LDA、 SVD 衍生变量| ||空间特征|链路ID、 距离信息等| ||时序特征|时序数据转表格特征数据,方法和策略;均值、方差、斜率、最大值、最小值、中位值| ||图特征|Node2Vec、 embedding| |特征选择|过滤法|根据相关系数来选择特征| ||包装法|将各种特征进行组合,并训练模型后评估,选择最优的特征组合| ||嵌入法|训练模型,使用特征重要性来过滤| 9. 关键技术 1. 模型选择 1. 基于元特征学习的模型推荐:数据元特征协同过滤推荐 2. 基于模型评价的模型选择:随机选择、多臂老虎机、 UCB1算法(上置信算法,在Exploration和Exploitation均衡) 3. 将模型选择作为一组超参,共同优化。 2. 超参优化 1. 确定合适的搜索空间 1. 算法超参 2. 数据预处理方法和超参 3. 特征预处理方法和超参 4. 模型选择方法和超参 2. 超参优化方法 1. 网格搜索 2. 随机搜索 3. 贝叶斯优化(GP/RF) 3. 贝叶斯优化并行方法 1. 通过调整采集函数支持并行 4. 模型集成 1. 将AutoML输出的多个较优模型整合为一个模型 5. meta-learning 1. 更广泛的采用meta-learning技术来推荐模型和处理流程是当前主要研究方向之一 10. 选择合适的特征工程方法,是AI落地业务的主要挑战之一。   ### 相关笔记 * [学习资源 AutoML之huawei-noah vega](https://bbs.huaweicloud.com/forum/thread-108799-1-1.html)   ### 学习赛推荐 * [华为网络AI学习赛2021-KPI异常检测](https://competition.huaweicloud.com/information/1000041344/introduction) * [华为网络AI学习赛2021-硬盘异常检测](https://competition.huaweicloud.com/information/1000041370/introduction) * [华为网络AI学习赛2021-日志异常检测](https://competition.huaweicloud.com/information/1000041371/introduction)   ### 备注 1. 感谢老师的教学与课件 2. 欢迎各位同学一起来交流学习心得^_^ 3. 笔记只包含了部分知识点,若是对相关内容感兴趣的话,建议观看视频
  • [技术干货] 使用NAIE云服务提交成绩没有结果文件怎么办
    ###很多小伙伴在训练完提交成绩的时候没有结果文件选择,下面总结出方法来排除问题 #### 检查是否选择对数据集 在使用数据集数据时,使用数据集名一定要与之一致 ``` kpi_df = get_data_reference(dataset="DatasetService", dataset_entity="disk_test_dataset").to_pandas_dataframe() ``` ![检查数据集.PNG](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202102/24/192158cjgb7s0mccwfglo2.png) #### 检查结果文件路径是否选择对 生成结果文件时,一定要注意路径(不指定会保存在默认路径) ``` model_path = os.path.join(Context.get_output_path(),"model", kpi+'.pkl') with open(model_path, 'rb') as f: pass ``` 使用moxing模块去保存结果时,一定要找对本地文件所在路径(注意相对路径可能导致找取文件错误) ``` mox.file.copy('本地文件路径',os.path.join(Context.get_output_path(), '文件名')) #将本地目录文件拷贝到远端output目录 ``` #### 检查保存路径是否正确 提交成绩时会从output获取文件,这时要使用Context.get_output_path(),没有文件也可能使用其它方法获取对应路径 比如Context.get_model_path() 会获取在model文件 ``` mox.file.copy('本地文件路径',os.path.join(Context.get_output_path(), '文件名')) #将本地目录文件拷贝到远端output目录 ```
  • [热门活动] 2021HDC.Cloud NAIE参会指南
       现场大会(附线上直播)  这是一场不容错过的年度ICT领域开发者盛会我们诚邀您参与开发训练营(附线上直播)4月24-26日深圳(西丽)大学城哈工大T6教学楼307点击查看扫地僧见面会4月25日-26日深圳(西丽)大学城清华大学C1-307点击查看网络人工智能展厅4月24日-26日深圳(西丽)大学城国际会议中心点击查看线上活动  若您无法来现场参与大会可以选择观看大会在线直播、参加线上活动网络AI线上考场3月26日-4月29日点击参与RPA动手实验室4月1日 - 4月29日点击参与扫地僧线上话题讨论4月2日 - 4月 7日点击参与我和2021HDC.Cloud  NAIE有个约会4月22日-5月9日点击查看申请门票  【申请时间】2021年3月19日~2021年4月22日 【申请步骤】步骤1、  在本帖下方回复主题,留言NAIE相关话题(话题自选,内容不限,话题参考如下)步骤2、  申请HDC大会门票, 点击填写信息(信息仅用于HDC门票发放)步骤3、 扫码添加小爱微信号,等待审核结果通知话题参考:想了解数据中心节能方案,来解决xxx问题学习RPA机器人应用,解决公司xxx问题我想学习网络AIOps智能运维的技能,解决xxx问题想要看xxx服务的课程视频希望NAIE能怎么样快速为企业赋能NAIE可以怎么样帮助我的xxx项目落地要求NAIExxx功能可以快速改进【添加记得备注HDC】
  • [活动分享] 体验官有奖体验第33期 |华为云NAIE联邦学习服务体验及评测 by Mike Cao
    账号:vipmike007群内名字: Mike Cao好的体验1 把枯燥的tensorflow 视图化,模块化,更容易上手,2. edge端挂了重启可以继续跑了,不用重新配置了,相当于断点续传3. 功能还是挺好,设计也非常合理需要提升的地方,小问题略多如下,详细见测评报告(可能根据华为专家后面的反馈所有更改)不太好的体验1.    创建实例的名字不能有下划线,这个有些不太合理  2.    创建的时候版本号不能选择,默认是0.0.1 建议第一个版本也可以改 3.    demo.zip 里面的model_fed.h5 在readme.md里面没有解释,我搜了https://www.tensorflow.org/tutorials/keras/save_and_load才知道,又因为这个打开时乱码,建议给一些提示如何解密查看,防止别人认为有泄露隐私的嫌疑 4.    边缘环境不支持MacBook Pro. 不支持提前给个提示也好。。 5.    边缘环境节点start.bat 不支持输入版本号:默认就0.0.1了。如果自己做了1.0.0的版本也不能用 6.    莫名遇到查询监控信息失败,请联系管理员的错误,但是没看到任何地方有信息为什么失败   7.    边缘环境看了下对内存还是有一定的要求的,单一个demo环境就占据了1.5G的内存,如果跑生产,建议给一个guidance 多大才是合适的  8.  运行后可能遇到各种问题,出来的错误日志太少,只能求助于华为。
  • [活动公告] 【已结束】【2020年终盛典】 #聂壮壮老师坐堂#当5G遇上AI,解读ta们背后的数据故事
    --------活动已结束--------2020 华为12月29日(周二)早上9点到下午5点30分,进行全天线上直播,汇聚多位华为重量级专家看行业趋势、玩闯关游戏、赢贺岁礼包直播地址回顾中......专家介绍四重福利,助力云筑2020 年终盛典直播启幕!!!福利一:成功报名本次直播盛典,必得200码豆福利二:12月29日参与直播盛典互动,直播间内抽取平板电脑、手表、耳机等数十件奖励!福利三:参与直播现场连线,完成闯关答题,赢取六重“包您一年系列”大礼!福利四:邀友报名直播盛典,Ta得超级贺岁礼包,你也同样获得!- 如何邀请好友?1.点击本页面上方“立即报名”按钮 > 2.登录/注册华为云账号 > 3.填写信息完成活动报名 > 4.报名成功弹窗中点击分享有礼(或进入我的直播中点击分享有礼按钮) > 5.按照引导将活动分享至你的好友,并引导ta完成本活动报名参与专家坐堂互动在本帖下方任意回复以下一项内容,即有机会获得FreeBuds 悦享版 无线耳机和定制双肩包。有效参与楼层的5%、50%、95%必得三合一数据线。*奖品样式为示意,请以实物为准(任选其一)参与互动1)  观看直播后发表您的个人观点2)  观看直播后向专家提出问题3)  参与微话题互动:讨论话题:你觉得5G如何应用在消费者市场 ?注:发布的内容必须与本次直播话题或微话题相关,且必须包含个人思考的内容。水帖将做删除处理,抄袭内容一经发现将取消评选资格。回复时间截至2021年1月10日。活动规则1、如本帖的有效回复人数大于等于20人,则由专家和华为云工作人员共同评选出3个优质回复,发布者可获得定制双肩包一个。如有效回复人数大于等于30人,则额外评选出一个最优回复,发布者可获得华为freebuds 悦享版 无线耳机一个。如有效回复人数小于20人,则只发放三合一数据线。2、每位参与本帖活动的用户只能获得一次奖品,每人最多回复同一内容5次,如果有恶意灌水的行为将取消获奖资格3、如您参与云筑2020年终盛典,为保证您顺利领取活动奖品,请您提前填写下方奖品收货信息链接,如截止2021年1月17日您没有填写,视为放弃奖励  填写地址请戳我>>4、本次活动奖品将于2021年1月31日前统一发出,请您耐心等待;5、本次活动抽奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/),奖项评比将由专家和华为云工作人员共同完成。如您对评奖方式有异议,请勿参加本次活动。点击前往云筑2020 年终盛典更多活动
  • [活动分享] 体验官有奖体验第33期 |华为云NAIE联邦学习服务体验及评测
    微信群昵称:知心萝卜华为云账号:luobosir时人不识凌云木,直待凌云始道高
  • [课程打卡] 【7天玩转网络AI模型】hw93601516打卡
    模型包打包
  • [参赛指导] 【参赛指导3】如何完成比赛(订阅比赛数据->训练AI模型->提交成绩)?
       现在开始比赛啦!1.进入比赛环境   在NAIE参赛界面点击"进入服务"按钮或者NAIE官网中直接进入"模型训练服务":2.创建项目3.订阅比赛数据   进入项目中,在"数据集"模块界面点击'数据订阅':   在数据集界面的"AI比赛数据集"目录下根据比赛名称找到数据集并订阅:订阅完成后数据集可见:4.训练AI模型 训练AI模型可以组合使用"特征工程"和"模型训练"模块: 操作流程都是1.创建开发环境--->2.创建特征/训练工程 注:开发环境如果连续三天不用,系统会自动释放,重新创建即可。推荐环境不用时及时释放,按需创建。 通过项目的'编辑'按钮进入webide开发界面:创建file或者上传本地file(支持压缩包上传解压哦!),完成训练代码开发调试创建训练任务:训练任务的参数配置需要注意保障与实际相符:否则影响代码执行及训练结果训练完成后,可在webide界面检查任务训练结果输出:5.提交成绩NAIE参赛界面,点击'提交成绩',选择比赛时创建的项目、模型训练工程、训练任务和结果文件(csv文件),点击“提交成绩”进行提交:提交的成绩会作为团队最新成绩刷新到比赛官网6.查看排行榜在比赛官网点击“排行榜”可以查看当前团队成绩排名,排名每2H更新一次。
  • [热门活动] 已结束~【华为云•云上会考2020】{NAIE}考场二 打卡赢800元购物卡
       活动时间   2020年12月21日~2021年1月17日   考试参与流程   步骤一、报名考场点击报名【7天网转网络AI模型开发】步骤二、打卡考场完成第2天的打卡截图,并回复到本贴留言区,即可参与抽奖   获奖公示   请获奖用户在1月30日前联系小爱(微信号:NAIE666)领取奖品!序号华为云账号备注奖品13puffcatNx0.1500元25shenfanhuaweiNx0.2100元38yizhanglNx0.3300元51hw41593299Nx0.450元64G-washingtonNx0.5800元77liuyanhuNx0.650元89caocaoNx0.7500元102WXIAOSNx0.8100元114yzq13470495155Nx0.9500元127hw12320743Nx1.0100元   活动规则    1、为防止有恶意发帖行为,同一ID回帖不得超过2条,若超过将取消获奖资格。2、每个ID只能参与一次评选,同一ID不可重复中奖。3、本次回帖内容需满足华为云论坛发帖规范https://bbs.huaweicloud.com/forum/thread-23077-1-1.html 详见截图示例如评论区沙龙所示
  • [热门活动] 已结束~【华为云•云上会考2020】{NAIE}考场—答题赢得分 即可抽取新年福袋
      活动时间   2020年12月21日~2021年1月17日   考试参与流程   步骤一、请检视是否已领取准考证完成报名【华为云·云巅对话2020】直播盛典 ,即视为领取准考证。没有领取准考证的同学,将无法参加抽取本次“云上会考2020”系列活动的新年福袋。详见截图示例 步骤二、领取考卷打开考卷,完成答题。完成答题的同学请按照步骤三完成交卷,点击前往答题。        详见截图示例 步骤三、完成交卷将问卷完成页截图回复至本帖下方,即可领取{NAIE考场}的得分奖励。您可以重复答题,我们将取您在活动期间获得的最高分作为本考场内的最终得分。您在本次活动中的累计得分请前往【华为云•云筑2020年终盛典】页面并登录查看。        详见截图示例 锦囊:在帖子下方回复“答案”可查看本考场考卷答案的提示,请合理利用锦囊获取高分~[hide]第一题:BC肯定是第二题:使用过NAIE云服务的小伙伴都知道答案了第三题:自信点,把“否”字去掉第四题:我觉得应该是BC第五题:如果你不确定答案,点开看:https://bbs.huaweicloud.com/forum/thread-76120-1-1.html第六题:答案在NAIE云服务的【AI服务】https://www.hwtelcloud.com/第七题:这道题相信大多数人都能蒙对第八题:NAIE数据服务的数据上云已经满足【本地离线上传】和【云地在线采集】两种方式第九题:如果不是,那你告诉我数据接入是谁的数据采集能力?第十题:Oracle不支持 [/hide]    活动奖励    完成答题并回复完成页截图的同学可以领取{NAIE航司}考场的得分。您在本次年终活动中所获得的得分达到以下要求可参加抽取对应奖项。600分可抽取新年超级福袋内含笔记本电脑等14件礼品450分可抽取新年高级福袋内含mate 30E Pro等9件礼品 300分可抽取新年中级福袋内含荣耀平板电脑等6件礼品150分可抽取新年初级福袋内含华为手表等3件礼品     必读攻略             1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。         2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。         3、收货信息填写说明:              1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。              2)填写时间截至2021年1月31日。              3)在年终盛典系列活动中完成一次填写即可。我们最终将会按照您最后一次填写的信息发放奖励。              4)收货信息请【点击此处填写】         4、活动反馈请戳https://bbs.huaweicloud.com/forum/thread-95495-1-1.html         5、活动规则请戳https://bbs.huaweicloud.com/forum/thread-94606-1-1.html    更多精彩活动             NAIE考场二         https://bbs.huaweicloud.com/forum/thread-96362-1-1.html         华为云·云筑2020年终盛典         https://developer.huaweicloud.com/activity/2020_newYear.html
  • [使用指南] 在NAIE训练平台跑MindSpore cifar样例代码
    1、登录NAIE训练平台(https://www.hwtelcloud.com/products/mts),如果没有华为云帐号,需要先注册一个华为云帐号,区域选择北京4,点击“免费试用”,可以免费试用3个月。2、进入NAIE训练平台之后,在首页,点击创建“创建项目”;3、创建好项目之后,点击菜单“模型训练”,然后点击“创建”;4、输入“模型训练名称”,选择WebIDE的规格,此处也可以选择简易编辑器,如果选择WebIDE,需要大概等待4分钟左右,但是有更好的编程体验,选择简易编辑器马上就创建好,但是编码体验比WebIDE要差一些;5、WebIDE创建好之后,点击“编辑”进入算法,在WebIDE中右击选择“NAIE Upload”,导入样例代码中的2个py文件,可以在这里下载https://bbs.huaweicloud.com/forum/thread-59601-1-1.html;6、点击模型训练工程那行进入模型训练工程详情页面,点击“创建训练任务”;7、入口文件选择cifar.py,AI引擎选择“Ascend-Powered-Engine”-> "MindSpore-0.2-python3.7-aarch64",计算节点规格选择“24核 | 96GiB | 1 * Ascend 910”,点击“开始训练”就可以提交训练任务;8、训练时可以查看日志。
  • [使用指南] NAIE注册操作指导
    1、注册华为云帐号登录华为云(http://console.huaweicloud.com)注册一个帐号,按照提示操作即可。2、订购NAIE训练服务使用华为云帐号登录NAIE服务(https://www.hwtelcloud.com/),登录成功之后右上角区域选择:北京四。界面操作流程:AI服务 ->模型与训练服务-> 模型训练 -> 模型训练服务点击“免费试用”即可。3、订购NAIE数据集服务;https://www.hwtelcloud.com/界面操作流程:AI服务 -> 数据服务 -> 数据集服务点击“立即使用”。4、创建IAM用户;如果一个帐号下有多人使用,可以在帐号下创建多个IAM用户,方法如下:步骤1 使用华为云账号登录华为云(https://www.huaweicloud.com/);步骤2 打开右上角的“控制台”;步骤3 将鼠标移动到右上角,登录的用户名上,在下拉菜单中选择“统一身份认证”;步骤4 在左侧导航窗格中,单击“用户”,在“用户”界面右上角,单击“创建用户”;步骤5 输入用户名,选择凭证类型(注:为了能够登录控制台,凭证类型需要设置为密码),选择用户组,输入账号描述,点击下一步步骤6 选择密码生成方式(推荐选择“首次登录时设置”),输入邮箱后,点击确定,完成IAM用户的创建。密码生成方式如下:方式一 选择首次登录时设置,则系统会将访问链接发送到输入的邮箱。通过邮箱访问链接完成密码的设置。如果选择自定义,则需要手动设置密码)。方式二 选择自定义。表示由创建者设置IAM用户的密码,如下所示。注:“是否重置密码”表示IAM用户首次登陆华为云时是否需要重新设置密码。补充说明:当前支持的语言: Python3.6;支持的AI引擎:MindSpore、TensorFlow、PyTorch、MXNet、Caffe、Scikit_Learn、XGBoost、Spark_MLib;
  • [使用指南] NAIE平台编译mmdetection
    1)修改requirements.txt,内容如下:naie torch==1.1.0 pillow==6.2.2 tqdm mmcv Cython==0.29.15 numpy albumentations>=0.3.2 imagecorruptions matplotlib pycocotools==2.0 six terminaltables torchvision asynctest codecov flake8 isort yapf kwarray其中torch,mmcv,cython,numpy,pycocotools,torchvision是必须的,其他的理论上可以不用加2)在入口函数,执行训练之前添加一行代码:os.system("cd mmdetection\n python setup.py develop")即可编码mmdetection的依赖库训练代码os.system("cd mmdetection\n python tools/train.py configs/cascade_rcnn_r50_fpn_1x.py --gpus=1")