• [AI大赛] 【AI大赛来袭/百万现金等你来拿!】2020SODiC算法赛-生活垃圾图片分类(基于物体检测的垃圾分类)
    “华为云杯”2020 深圳开放数据应用创新大赛224万奖金、60个奖项、30万华为云资源、优质offer推荐人才发展政策扶持、创投机构对接,通通虚位以待!报名链接:https://competition.huaweicloud.com/information/1000038439/introduction赛题说明(基于物体检测,玩转不一样的垃圾分类)本赛题以垃圾分类为主题,利用人工智能技术,对居民生活垃圾图片进行检测,找出图片中有哪些类别的垃圾,并指示出垃圾在图片中的位置。还可以参与老带新邀请有礼:参与活动获百分百好礼,更有机会赢取荣耀30 5G手机!活动详情:https://bbs.huaweicloud.com/forum/thread-52312-1-1.html
  • [技术干货] 华为AI开发平台ModelArts本地化部署实操
    转自----https://bbs.huaweicloud.com/blogs/158101华为AI开发平台ModelArts本地化部署实操准备Linux环境,我的环境是LSB Version:    :core-4.1-amd64:core-4.1-noarchDistributor ID: CentOSDescription:    CentOS Linux release 7.4.1708 (Core)Release:        7.4.1708Codename:       Core默认是python2.7版本用yum安装一些必须的软件包yum install zlib-develyum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c++  openssl-devel libffi-devel python-devel mariadb-devel去python官网下载python3安装包,我下载的是Python-3.6.2.tgz解压python3安装包 tar zxvf Python-3.6.2.tgz创建一个文件夹,用来存放python编译代码mkdir /usr/local/src/python将解压的python3安装包移动到下面文件夹中/usr/local/src进入到python3解压包中,执行以下命令[root@ Python-3.6.2]# ls[root@ Python-3.6.2]# ./configure --prefix=/usr/local/src/python --with-ssl执行安装命令make && make install检查[root@ Python-3.6.2]# /usr/local/src/python/bin/python3 -VPython 3.6.2[root@ Python-3.6.2]# /usr/local/src/python/bin/pip3 -Vpip 20.0.2 from /usr/local/src/python/lib/python3.6/site-packages/pip (python 3.6)进行链接替换,生效python3.6查看python2和pip安装路径[root@ Python-3.6.2]# which python/usr/bin/python[root@ Python-3.6.2]# which pip/usr/bin/pip进行软链接切换[root@ Python-3.6.2]# ln -s /usr/local/src/python/bin/python3 /usr/bin/python -f[root@ Python-3.6.2]# ln -s /usr/local/src/python/bin/pip3 /usr/bin/pip -f[root@ Python-3.6.2]# python -VPython 3.6.2[root@ Python-3.6.2]# pip -Vpip 9.0.1 from /usr/local/src/python/lib/python3.6/site-packages (python 3.6)[root@ bin]# ln -s /usr/local/src/python/bin/easy_install-3.6 /usr/bin/easy_install -fyum源的影响,因为yum源是用到python2进行下载,因安装了python3,要把yum指定python版本[root@ bin]# vim /usr/bin/yum[root@ bin]# vim /usr/libexec/urlgrabber-ext-down将第一行的#!/usr/bin/python 指向python2   #!/usr/bin/python2pip安装gunicornpip install gunicorn如果在系统中好不到命令,是因为可执行文件,没有设置软链接,因为python2和python3共存,要手动配置文件find / -name gunicorn找到对应路径,一般在python安装路径下,设置软链接ln -s /usr/local/src/python/bin/gunicorn /usr/bin/gunicorn -f更新pip,如果没有pip,则要下载安装yum -y install epel-releaseyum -y install python-pippip -V 查看版本更新pippip install --upgrade pip[root@ Python-3.6.2]# pip -Vpip 20.0.2 from /usr/local/src/python/lib/python3.6/site-packages/pip (python 3.6)更改pip源永久性设置,是在用户根目录(~,而非系统根目录 / )下添加配置~/.pip/pip.conf目录添加可信源,如果目录文件不存在,可直接创建。因国外源下载速度慢,可自行搬梯子,可忽略。。。。。。[root@localhost ~]# cd [root@localhost ~]# mkdir .pip[root@localhost ~]# cd .pip[root@localhost .pip]# vim pip.conf写入如下内容清华pip源[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]trusted-host = https://pypi.tuna.tsinghua.edu.cnmodelArtsSDK下载下载地址:https://cnnorth1-modelarts-sdk.obs.cn-north-1.myhwclouds.com/modelarts-1.1.3-py2.py3-none-any.whl,用最新版本的SDK安装SDKpip install modelarts-1.1.3-py2.py3-none-any.whl安装完modelArts,需要安装依赖包pip install certifi >= 14.05.14pip install six >= 1.10pip install python_dateutil >= 2.5.3pip install setuptools >= 21.0.0pip install urllib3 >= 1.15.1pip install requests >= 2.19.1pip install esdk-obs-python == 3.0.5pip install Flask==1.0.2pip install Flask-Cors==3.0.4pip install gunicorn==19.8.1pip install mxnet-model-server==0.3pip install psutil==5.4.6pip install prometheus_client==0.3.1pip insatll numpy==1.15.0pip install h5py==2.8.0pip insatll tensorflow==1.8.0pip install Pillow==5.2.0pip insatll scipy==1.2.1pip insatll audioread==2.1.6pip install resampy==0.2.1pip install librosa==0.6.3pip install scikit-learn==0.19.1pip install SoundFile==0.10.2更新setuptoolspip install --upgrade setuptools配置config.json认证模式在SDK安装后,“config.json”被放在“<python安装目录>/site-packages/modelarts/config/”目录下,不同操作系统可能略有不同。我的config是在以下路径中/usr/local/src/python/lib/python3.6/site-packages/modelarts/configmkdir .modelarts将文件夹中的config.json存放在home/.modelarts目录中修改config.json 中的数据,将北京1区,修改成你modelArts所在区。我的是在北京4区,在输入账号名,用户名,密码{"contexts": [{"name": "default","context": {"cluster": "cn-north-4","user": "user1"}}],"clusters": [{"name": "cn-north-4","cluster": {"region": "cn-north-4","verify_ssl": "false"}}],"users": [{"name": "user1","user": {"account": "输入账号名","username": "输入用户名","password": "输入密码"}}]}查看是否有报错的那个版本GLIBCXX_3.4.20,CXXABI_1.3.8strings /usr/lib64/libstdc++.so.6 | grep GLIBCstrings /usr/lib64/libstdc++.so.6 | grep CXXABI如果没有GLIBCXX_3.4.20,CXXABI_1.3.8这两个版本,就需要执行第15步和第16步下载gcc高版本cd /usr/localwget ftp://gcc.gnu.org/pub/gcc/releases/gcc-6.2.0/gcc-6.2.0.tar.bz2wget中ftp中的gcc版本可以用gcc-6.2.0版本的tar jxvf gcc-6.2.0.tar.bz2 -C /usr/local/src#安装C和C++的静态库yum install -y glibc-static libstdc++-static#安装旧版本的gcc、c++编译器yum install gcc gcc-c++#转到gcc源程序根目录cd /usr/local/src/gcc-6.2.0#下载一些必备的依赖程序./contrib/download_prerequisites#跳转到编译后的程序文件存放目录mkdir /usr/local/build/gcc-6.2.0cd /usr/local/build/gcc-6.2.0#调用gcc源程序的configure(后面的参数选项可根据需要自行修改),用于配置gcc/usr/local/src/gcc-6.2.0/configure --enable-checking=release --enable-languages=c,c++ --disable-multilib#编译安装GCC源程序make && make install查找libstdc++.so.6路径find / -name libstdc++.so.6* 查找到文件路径/usr/local/lib64/libstdc++.so.6.0.22将libstdc++.so.6.0.22拷贝到/usr/lib64cp /usr/local/lib64/libstdc++.so.6.0.22 /usr/lib64删除老的版本rm -rf /usr/lib64/libstdc++.so.6设置新的软链接ln -s /usr/lib64/libstdc++.so.6.0.22 /usr/lib64/libstdc++.so.6代码测试先从OBS桶中拉取modelArts训练好的模型from modelarts.session import Session #session鉴权,配置config.json认证模式 session = Session(config_file='/home/.modelarts/config.json') Model.configure_tf_infer_environ(device_type='CPU') #从OBS下载文件夹,将训练完的数据 #session.download_data(bucket_path="/hpobs/datasetoutput/",path="/home/sdk/")本地推理预测from modelarts.session import Session from modelarts.model import Model from modelarts.config.model_config import ServiceConfig,Params,Dependencies,Packages import time start_time=time.time() #session鉴权,配置config.json认证模式 session = Session(config_file='/home/.modelarts/config.json') Model.configure_tf_infer_environ(device_type='CPU') #从OBS下载文件夹,将训练完的数据 #session.download_data(bucket_path="/hpobs/datasetoutput/",path="/home/sdk/") #导入模型 model_instance = Model(session,model_id="你自己的模型id") configs = [ServiceConfig(model_id=model_instance.model_id, weight="100",specification="local",instance_count=1)] # 部署为本地服务Predictor predictor_instance = model_instance.deploy_predictor(configs=configs) # 本地推理预测 predict_result = predictor_instance.predict(data="/home/22.jpg", data_type="images") print(predict_result) print('training took %fs!' % (time.time()-start_time))代码结果:{"detection_classes": ["no"], "detection_boxes": [[5.624889850616455, 217.21824645996094, 1162.009521484375, 1067.123291015625]], "detection_scores": [0.9998134970664978]}结束
  • [问题求助] 如何打开串口解决“8 10串口只打印启动信息Atlas 200 AI加速模块的串口会被禁用,无法登录系统”
    hi:       串口8 10 只打印启动信息   无法登陆系统,在系统下怎样操作  可以解除该项限制
  • [问题求助] 使用ai市场mindspore的算法训练后无法生成模型
    麻烦修改成符合模型包规范,谢谢
  • [技术干货] 从软件开发到 AI 领域工程师
    前言4 月热播的韩剧《王国》,不知道大家有没有看?我一集不落地看完了。王子元子出生时,正逢宫内僵尸作乱,元子也被咬了一口,但是由于大脑神经元尚未形成,寄生虫无法控制神经元,所以医女在做了简单处理后,判断不会影响大脑。这里提到了人脑神经元,它也是 AI 神经网络的研究起源,具体展开讲讲。人脑中总共有 860 亿个神经元,其中大脑皮层有 160 亿个神经元。大脑皮层的神经元数量决定了动物的智力水平,人的大脑皮层中神经元数量远高于其他物种,所以人类比其他物种更聪明。大象的脑子总共有 2570 亿个神经元,但是其中 98% 的神经元都存在于大象的小脑中,而大象的大脑皮层只有 56 亿个神经元,无法与人类相比。大脑皮层中的神经元数量越大,能耗也越大。人脑每天消耗的能量占**全部耗能的 25%,这也就是为什么我们每天都要吃多餐,很容易饿的原因。人之所以能够很快超越其他物种,主要是因为人类掌握了烹饪技术,能够在短时间内摄入大量卡路里以支持大脑运转,其他物种则将摄入的卡路里用于维护身体运转,不得不牺牲大脑皮层的神经元数量。之所以先谈大脑神经元原理,也是为了引出本文的重点–现代 AI 技术。在正式进入 AI 技术前,我先讲讲软件工程师这份工作,因为现在有很多软件工程师准备转入 AI 行业。博文:https://bbs.huaweicloud.com/blogs/159533
  • [问题求助] 使用ai市场算法,mindspore的resnet50进行训练报错
    算法链接:https://console.huaweicloud.com/modelarts/?region=cn-north-4#/aiMarket/aiMarketModelDetail/overview?modelId=6b454013-dab9-4028-8c7a-47375067202c&type=algoFile "/home/work/user-job-dir/resnet50/code/train_mindspore.py", line 74, in <module>algo.start()File "/usr/local/lib/python3.7/site-packages/moxing/mindspore/builtin_algorithms/image_classification/image_classification.py", line 122, in startself.train_prepare(self.args_opt)File "/usr/local/lib/python3.7/site-packages/moxing/mindspore/builtin_algorithms/image_classification/image_classification.py", line 119, in train_prepares3_data_download(self.flags)File "/usr/local/lib/python3.7/site-packages/moxing/mindspore/builtin_algorithms/image_classification/data_util.py", line 221, in s3_data_downloadsync_s3_data_download()File "/usr/local/lib/python3.7/site-packages/moxing/mindspore/sync_process.py", line 93, in wrapper_sync_process(url, device_id, length, target, path, is_error)File "/usr/local/lib/python3.7/site-packages/moxing/mindspore/sync_process.py", line 63, in _sync_processraise RuntimeError("SYNC:Failed to synchronous process because something wrong!")RuntimeError: SYNC:Failed to synchronous process because something wrong![ModelArts Service Log]modelarts-pipe: total length: 15253[Modelarts Service Log][modelarts_logger] modelarts-pipe found[Modelarts Service Log]Training completed.[ModelArts Service Log]modelarts-pipe: will create log file /tmp/log/trainjob-mindspore.log[ModelArts Service Log]modelarts-pipe: will write log file /tmp/log/trainjob-mindspore.log[ModelArts Service Log]modelarts-pipe: param for max log length: 1073741824[ModelArts Service Log]modelarts-pipe: param for whether exit on overflow: 0[ModelArts Service Log]modelarts-pipe: total length: 38
  • [公告] 0门槛0套路,华为云ModelArts免费算力限时抢
    玩AI,一定需要会编程吗?如果什么都自己做了,那还要AI来做什么? AI算力稀缺且昂贵,分分钟烧了一顿饭钱怎么办?有了这个神器+免费算力,AI开发,你上你也行!  一个让开发者上手快、训练快、部署快的一站式AI开发管理平台 —— 华为云ModelArts,通过数据标注、模型训练、部署上线简易开发流程,ModelArts能帮助开发者提升效率,大幅度降低企业AI开发应用的门槛及成本。 0门槛0套路,免费算力限时抢4月15日起,华为云ModelArts推出“免费算力限时抢”活动,致敬开发者,平台三大AI开发版块,无需任何操作即可拥有使用免费规格的权限。☞点击此处立即体验☜  免费体验自动学习:在开发AI自动学习项目中,将获赠限时免费的CPU/GPU算力时长,让你尽情享受AI开发的乐趣。免费体验Notebook:用户可以限时免费体验在主流深度学习框架MXNet、TensorFlow、Keras、PyTorch上完成代码开发以及模型构建。开发者能即刻用起自己熟悉的框架,实现AI开发平台无缝转场。免费体验AI全流程开发:限时免费体验端到端AI开发全生命周期,感受一站式AI开发的便捷。并且,ModelArts上的模型搭建可一键部署到云、边、端,为AI开发提供全流程可视化管理。 0代码0费用,玩转AI并不难ModelArts,我不会写代码,boss让我给公司产品图片做分类管理,怎么办?好办!ModelArts零代码实现AI深度学习,简单四步走,轻松搞定图像分类。 创建项目:进入华为云ModelArts控制台,选择导航栏“自动学习”里的“图像分类”,创建图像分类项目,创建新OBS目录,用于存储图片数据。数据标注:上传部分学习图片,勾选同类图片,添加分类标签名,重复执行。模型训练:选择开始训练,稍作等待即可。部署上线:选择部署,上传待分类图片,选择“预测”,AI便可帮你自动归类 华为云ModelArts,让我们携手走进AI新世界快扫码添加小助手,回复“免费算力”加入社群与全国开发者朋友们一同交流、体验! 小编Tip:1.     限时免费规格的单次体验时长为1小时,不限次数,如数据量大,建议选择收费规格;2.     仅在“华北-北京四”区域提供了免费规格,请注意您使用的区域;3.     算力资源有限,当使用人数较多时,可能会需要排队等待;4.     只能在1个训练作业中使用免费规格,该训练结束后,其他训练才能启用免费规格;5.     详情可移步至华为云官网活动页(链接)查看。
  • [问题求助] 如何同时使用chip里面的两个AI core
    普通情况下,只有一个AIcore在工作,占用率始终超不过50%,如何同时启动同一chip里面的两个AI core
  • [技术干货] 如何解锁AI落地新姿势?华为云大咖有话说
  • [问题求助] 模型包的variables文件夹
    modelarts中对于AI工程师模块:当是使用自己的模型时,需要按照模型包规范准备,但是自己所保存的是keras的h5模型,在按照网上的指导将其转换为pb格式后,虽有pb文件但是在variables文件夹中内容为空,请问要怎么办?这是在完成声音分类时遇到的问题,而且关于声音分类的算法在AI市场中也没有找到,请问有哪些是可以参考的
  • [活动分享] #华为云开发者AI青年班#
    4月20日16:30正式开课喔,赶紧来报名吧华为云开发者青年班第二期 AI实战营重磅上线!面向全国在校大学生的精品实战课程,由华为云高级技术专家亲自指导,学、练、赛全流程内容,让你轻松Get AI技能开发者青年班的6大亮点10天时间Get AI技能华为云高级技术专家助阵面试直通卡千元丰厚奖励ModelArts学生套餐免费得华为云个人品牌打造点击下方链接报名参加活动:https://developer.huaweicloud.com/signup/da745160e9d04efaaa04dea55dd450e9
  • [运营干货] 好望商城商品logo规范
    1.商品Logo大小要求分辨率120*120,长宽比保证1:1。支持JPG/JEPG/PNG格式,大小不超过5M2. 商品Logo配图风格要求推荐使用“1.产品图片”和“2.面性icon”,优选“面性icon”,无图片和icon时使用中“3.文字描述”。产品图片:内部图片推荐使用非白色背景,尺寸为106*106,长宽比为1:1。面性icon:内部icon推荐使用面性风格,icon保持居中,且尺寸为66*66。文字描述:文字取产品名称中的前两个字,且保持居中,文字大小为38px。其中商品logo右下角,标注企业logo,如,企业logo尺寸为26*26,保持居中3.商品Logo上传范例4. 商品Logo模板请参见附件“商品Logo模板”,您可以基于此快速定制符合规范的logo。
  • [Atlas300] Atlas300AI加速卡的root用户默认密码是多少【已解决】
    感谢华为研发销售哥们,Atlas300是EP模式,并不能套用文档Atlas200DK的方式升级,直接官网下载对应ddk版本的Atlas300驱动即可。无需root。-----------------------------------------------------------------------分割线----------------------------------------------------------------------------------------文档上说是Mind@123 但并不对主要是为了给atlas300升级minisdk或者换句话说 如果root默认密码就是Mind@123 那么如何重置这个密码
  • [内容拦截申诉] [网络人工智能板块]#网络约AI,有你更精彩#F1TT打卡分享HDC网络人工智能 误拦截,请通过,谢谢
    发文的版块名:更多产品——网络人工智能发文的标题名:#网络约AI,有你更精彩#F1TT打卡分享HDC网络人工智能帖子内容链接:https://bbs.huaweicloud.com/forum/thread-48994-1-1.html
  • 个人使用ModelArts的一点感受和建议,希望官方能考虑一下哈。
    2020/3/29 11:05ModelArts采用NoteBook形式,非常好,但是我个人认为Jupyter Lab形式更好,是对NoteBook的升级版吧,先上图,形式如下:   · 主界面   · 命令行界面·编辑界面个人认为Jupyter Lab有如下优点:(1)界面友好,功能强大。类似于PyCharm的界面,优势在于既能看到项目工程下文件,又可以上传文件、新建文件(支持新建markdown, 也支持tensorboard, 格式比NoteBook多了很多),更重要的是做到了图像可视化,工程下的文件一目了然,再也不需要ls了,而且所见即所得,即使使用命令行ls命令,看到的文件和自己在左侧文件栏看到的一样,方便操作。(2)百度云和滴滴云的其他厂商纷纷采用。Jupyter Lab作为NoteBook的升级版,界面友好,都能够和PyCharm抗衡了(虽然离PyCharm还有差距),百度Ai Studio和滴滴云都采用了Jupyter Lab的形式。PS:而且滴滴云提供了众多框架,最新的TensorFlow2.0也有,如下图所示,不过滴滴云的显卡不如华为云,滴滴云的是Tesla P4 8GB,但百度的是Tesla V100,而且是清一色的Tesla V100,当然,华为云提供了包括Tesla V100、Tesla P100在内的更多选择,但毕竟Tesla V100更强嘛。(3)社区生态不完善。如今各大厂商纷纷推出自己的框架,但真正能被广泛使用的屈指可数,究其根本是生态不完善,开发者比较少,这就需要在最开始大力推广,积累人气。· ModelArts有项目例程提供学习,但项目例程比较老了(可能是我没找到新的好的例程),不能跟上时代发展了,我记得看到了ModelArts有人工智能界“Hello World”称号的手写数字识别,这个入门很好,但不能足够吸引用户。·例程位置不太好找,其实包括ModelArts都不太好找,从华为云主界面到找到ModelArts还是比较费劲的(当然,这可能是因为华为云涉及各种服务众多,整合在一起,所以不太好找到想要的ModelArts),而且用户自己运行里程也不是很方便。相比之下,百度做到比较好,百度专门开设网站百度大脑AI Studio,直接搜索就可进入,进入之后,便是飞桨平台介绍和相应例程,例程紧跟社会热点,有口罩检测、人脸识别、肺炎CT影响分析等等,而且配有详细的介绍文档,还能类似GitHub一键Fork, 便能将工程存到用户个人账户下,紧跟着就是启动环境(强劲的Tesla V100, 而且免费赠算力,使用12小时,赠12小时,基本上属于免费,这很类似于谷歌的免费算力平台,可惜谷歌的国内不能使用),给用户从零开始到真正实现的一站式服务,我觉得很贴心,当然,也有不足,百度的只能运行自家框架,这方面华为就更加开放了,提供了多种主流框架,但滴滴云提供的框架好像更多一些哈。2. 个人使用感受(1)安装第三方库不是很方便。华为云可以pip install 库名 安装第三方库,速度快,但是我看创建环境好像是用的anaconda,为什么不支持conda install 呢(可能支持,只是我不会用,还请指正)?其实我想用conda install 是因为conda提供一些很好的库,比如cudnn, cudatoolkit等等,这些pip install 都没有哈。PS: 主要是我想用TensorFlow2.0.0, 但cudnn不匹配,故有感而发,我好想conda install呀。(2)界面沉浸式不足(沉浸式是我自己起的名字,下面解释)。在使用命令行的时候,不能做到Ctrl + V粘贴命令,只能使用右键粘贴,感觉不十分方便,而且右键显示的是浏览器自身的命令,如下图:个人感觉就是不够沉浸式,我觉得最好给人一种在使用专业IDE的感觉才好,这方面滴滴云不错,是这样的:上图命令是使用Ctrl + C 和Ctrl + V做到命令复制,就感觉很好,像在自己的电脑上使用Jupyter Lab一样,仿佛不是在云端,而就是在本地。(3)在命令行中使用cd 命令时,不能显示路径,永远都是sh-4.3$,不能清楚前面的文件夹是什么,这和在自己电脑使用感受很不同, 有时候还需要cd ..退回看看是否进入了正确的文件夹,这就比较烦,这点百度云比较好,能显示路径,而且界面清楚(比如左侧显示文件类别,还能上传数据集(无文件大小限制))结语:华为云ModelArts界面由于采用NoteBook, 而非百度大脑AI Studio或者滴滴云采用的Jupyter Lab, 个人界面不够友好。教程和例程比较少,不如百度大脑AI Studio丰富且紧跟社会热点。使用方面和本地IDE差距较大,不如在本地也是使用NoteBook那样方便,比如在上面说的命令行复制命令方面。滴滴云目前可以免费使用两周,百度大脑AI Studio使用12小时,赠12小时(好像是中国的Google Colab,而且是Tesla V100啊),华为云也有现在这个体验活动,可以领200元代金券,优惠力度感觉可以加大,可以考虑百度这样的使用即赠时长吗?    暂时想到就这些了,有机会再来补充吧,也希望ModelArts能越来越好,毕竟我第一个接触的云平台就是它了,而且课堂上还使用过呢。