• [其他] 模型开发简介
    AI模型开发的过程,称之为Modeling,一般包含两个阶段:开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码其部分过程可参考下图:ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型。请参考以下指导在ModelArts上训练模型:您可以将训练数据导入至数据管理模块进行数据标注或者数据预处理,也支持将已标注的数据上传至OBS服务使用,请参考准备数据。训练模型的算法实现与指导请参考准备算法章节。使用控制台创建训练作业请参考创建训练作业章节。使用订阅算法创建训练作业示例请参考使用AI Gallery订阅的算法构建模型。使用自定义算法构建模型示例请参考使用自定义算法在ModelArts上构建模型。关于训练作业日志、训练资源占用等详情请参考查看训练作业日志。停止或删除模型训练作业,请参考停止、重建或查找作业。模型超参自动调优指南,请参考自动模型优化(AutoSearch)。如果您在训练过程中遇到问题,文档中提供了部分故障案例供参考,请参考训练故障排查。当前ModelArts同时存在新版训练和旧版训练。新版训练在旧版训练的基础上进行了功能增强、调度优化等,推荐用户使用新版训练进行模型训练。新旧训练的差异请参考新旧版本训练差异。
  • [其他] 有趣CartoonGan图像动漫化
    一键来玩 https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=113791e2-7a16-4d62-be1f-6a3cf6c5bde1cartoongan 图像动漫化本案例是 CartoonGAN: Generative Adversarial Networks for Photo Cartoonization 的论文复习案例拷贝数据之后,将你想动漫化的图像放到cartoongan-pytorch/test_img/文件夹下,运行后面代码即可可以切换不同生成风格,Hosoda/Shinkai/Paprika/Hayao参考:cid:link_1可以现场体验啊哈哈哈2月25日,第二场华为云开发者日HDC.Cloud Day即将落地深圳,为开发者带来开年技术盛宴。华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,打造开发者专属的技术盛宴。汇聚来自千行百业、高校及科研院所的开发人员,全方位服务与赋能开发者围绕华为云生态开启“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的创新应用推介,为开发者提供沉浸式学习与交流的平台,与开发者共创、共享、共赢未来。
  • [互动交流] 容器中如何禁止下载上传功能
    各位老师,请问 我现在在服务器的docker环境里,起了容器(centos或者ubuntu) 让用户进行作为client机器访问集群,如何禁止用户在此容器里 的下载或者上传操作呢?我能想到的是 容器里 禁止安装rzsz等工具,请问有没有通过 端口号直接禁止相关操作的行为,或者其他方式?
  • [赛事资讯] AI开发“众筹模式” 为矿山行业找场景和应用
    1月6日,由中国煤炭学会、中国矿业大学(北京)、华为技术有限公司联合举办的第一届全国煤炭行业矿山AI大模型大赛决赛暨颁奖典礼在北京举行。科技部战略规划司副司长邢怀滨,国家能源局煤炭司副司长任立新,矿山安全监察局安全基础司副司长陆南,国家信息中心信息化和产业发展部主任单志广、中国工程院院士袁亮、中国煤炭学会秘书长王蕾、中国矿业大学(北京)研究生院常务副院长徐志强、华为云AI领域首席科学家田奇、华为煤矿军团解决方案总裁蒋旺成、华为煤矿军团市场与产业发展总裁刘维等出席。▲与会嘉宾与决赛选手合影本次大赛以矿山智能化场景创新为核心,充分发挥参赛选手的能动性,面向全国征集智能AI应用场景。为实现矿山“少人无人、安全、高效”的目标搭建一个技术交流、人才培养、机遇共创的建模平台,汇聚矿业领域智能化人才,迸发创新思想。袁亮院士表示,本次大赛是一次非常积极的探索和尝试,对煤炭这样的传统行业,具有重要的创新引领作用。国家能源局煤炭司副司长任立新说,本次比赛是现代科技赋能传统煤炭产业的一股青春动力,学生团队充满智慧的大模型,必将成为一把把打开煤炭智能生产建设的金钥匙。他进一步指出,2023年是煤矿智能化建设即将迈向第二阶段目标的关键时期,希望以本次大赛为契机,进一步推进煤炭行业创新发展,不断加快煤矿智能化建设,为推动煤炭工业高质量发展、保障国家能源安全做出积极贡献。科技部战略规划司副司长邢怀滨表示,智能矿山是重要的人工智能应用场景,人工智能技术赋能可以使矿山运营生产更加便捷、安全、高效。希望此次大赛涌现出来的新产品、新技术、新创意,能够有效转化应用,在促进产业转型升级和实现高质量发展中发挥实效。“(矿山AI大模型大赛)从人才评奖与奖励、专业培训等多方面,助力我国煤炭科技创新工作,为国家经济发展所需的能源稳定提供了保障作用,同时推进人类社会发展进步做出了更大的贡献。”中国煤炭学会秘书长王蕾说。AI大模型大赛对齐矿山行业需求首届矿山AI大模型大赛基于最真实的场景,关注矿山一线生产的问题与挑战,对齐安全生产的目标;基于最前沿的技术,通过华为矿山AI大模型平台完成比赛,对齐技术发展趋势;最年轻的开发者,全国高校的在校学生均可参赛,最大限度剔除参赛门槛,对齐行业人才的需求。本届大赛入围决赛的一共有15支队伍,有来自中国矿业大学、中国矿业大学(北京)、安徽理工大学、山东科技大学等矿业领域的高校,也有来自于中国科技大学、浙江大学等综合高校。经过路演答辩,大赛角逐出特等奖1支、一等奖2支、二等奖4支、三等奖8支。▲国家部委领导为获得特等奖的中国矿业大学(北京)IMP-Lab-1队颁奖▸ 获得特等奖的是来自中国矿业大学(北京)的IMP-Lab-1队,他们基于华为矿山AI大模型,用机器视觉+机器人拣选的方式,以煤矸杂同步检测技术取代人工,实现高效预抛废,延长矿山设备寿命,减人提效。▸ 获得一等奖的是来自中国矿业大学(北京)海底小纵队和来自西安科技大学小朝阳队,前者基于华为矿山AI大模型,实现了露天矿非结构化道路边缘检测和道路内小目标和多尺度目标检测,提升了矿山生产的安全性;后者基于华为矿山AI大模型,为煤炭分质利用提供一套煤岩显微组分智能识别方案。本届大赛一共吸引了389支队伍、1460人报名参加。华为煤矿军团解决方案总裁蒋旺成介绍,参赛团队为AI助力矿山行业智能化,创新出数百个应用场景,其中一部分已经在实际生产中应用。“众筹模式”成为矿山智能化的活水华为煤矿军团市场与产业发展总裁刘维说,未来二三十年人类社会将有一次重大的技术革命,那就是人工智能的广泛应用。智能矿山的核心就是通过人工智能算法来沉淀专家经验,替代人从事危险、复杂、重复的劳动,让煤矿生产更加安全、智能、高效。同时,人工智能实践过程中,需要解决根技术、场景、人才、生态的四大鸿沟。首先是根技术鸿沟,AI技术在全球能源行业渗透率不到3%。每家想要应用AI技术的企业,可能都需要一些技术水平高的人进行独立的架构设计与调参,就像每家工厂都需要聘请设计师来设计螺丝一样,是一种相当粗放原始的手工作坊模式。▲华为煤矿军团市场与产业发展总裁刘维发言华为矿石AI大模型是一种行业预训练模型,相当于提供了一套自动化工具,用户不再需要手工设计和制作螺丝,只需要放入原材料就能自动生产场景模型,这就大幅简化了开发工作量。其次是场景鸿沟。在矿山行业,场景千差万别,除了挖矿本身,还有挖矿前的勘测规划,挖矿后的运输、通风、安全保障,以及过程中间的经营管理等等。这么多的场景,光靠一家企业是无法穷举和实现的。所以,华为通过本次AI大模型大赛提出了“众筹模式”,即通过集体的力量来构建AI场景地图和应用。第三是人才鸿沟,智能矿山对人才的需求非常迫切,既懂采矿又具备AI技术的人才可谓是凤毛麟角。这次矿山AI大模型大赛通过有效的平台机制,引导开发者团队、行业组织、生产企业、合作伙伴,对齐矿山行业一线。当这种“众筹模式”形成固定机制,发展出产业标准,人工智能在矿山行业就会成为“活水”:新的技术不断涌入、新的人才随时加入、新的生态逐渐形成,同时产业问题将不断得到解决。最后是开放合作的生态。矿山生产,涉及开采、机电、通风等多门类专业,全国有大大小小4000多家煤矿,以及其他上万座非煤矿山,地质条件和自动化程度截然不同。要构建良好的行业生态,需要行管部门、生产企业、装备制造商、应用系统开发者,以开放的姿态共同推进创新合作,促进智能矿山建设高效规模化开展。“此次大赛是人工智能在行业深度融合落地的率先探索。让我们把握数字经济发展大机遇,以工业互联网架构为基础,将数据带出矿山,把智能送下矿井,让智能矿山建设行稳而致远。”刘维说。
  • 这两门可能会让程序员失业的技术,你了解过吗?
    程序员最近可能有点焦虑,因为:先是 Copilot 火了,帮你自动写代码,改Bug;然后 ChatGPT 火了,不光能聊天,更能说需求让它写代码,紧接着各大公司不断发布各种低代码服务,不用程序员也能做产品了。所以,现在程序员们心里可能都有一万只草泥马奔腾而过:都是程序员,为什么要自己人卷自己人?我该怎么办?说到这里,可能大家都知道了我们想说的两门技术就是“AI”和“低代码”。有人说它们是未来5年的趋势;有人说他们会让大部分程序员失业;有人说他们会让程序员的效率大幅提升;….但是不管哪种,作为程序员的我们必须警觉起来了,得抓紧了解这两门技术,俗话说的好:知己知彼,百战不殆。不能被趋势淘汰!那么现在机会来了!由华为云官方出品的“低代码AI应用开发实战营”开营了,即带你同时理论到实践学习 AI 和 低代码 两门技术,教你如何使用它们快速开发自己应用。合理使用,不仅不用担心会被淘汰,更可以更好的提升工作效率哦(摸鱼)!接下来我就相信给大家介绍一下这个实战营,先提醒一下:目前这个实战营在限时免费报名中,满7000人就截止(现在还剩1000左右个空位),所以有意向的开发者抓紧了!“低代码AI应用开发实战营”,是华为云低代码平台 AppCube 和 AI开发平台 ModelArts 联合开展的针对前端/AI/低代码领域开发者的课程活动,内容从理论到实战,全方位提升不同开发者的应用开发能力。(注:华为云AppCube低代码平台即将更名为Astro Zero,活动期间如发生平台名称变化,不影响开发者体验)我适合参加吗?本次实战营将分享时下火热的低代码和AI技术,并将两者结合赋能开发者,通过理论学习、案例体验、应用实战等环节,由浅入深提升开发者综合实力,了解最新行业技术趋势,增加就业筹码。因此强烈推荐以下3类从业者参与:AI开发者:学习如何基于华为云低代码能力,快速搭建前端页面,掌握构建完整AI应用的能力。前端开发者:学习如何使用华为云AI平台0代码搭建AI后端服务,掌握前后端交互能力,同时基于华为云低代码能力提升前端构建效率。企业业务/管理人员:0基础学习如何基于华为云低代码能力,低成本快速构建应用或产品MVP,将企业试错成本降低。学习完我能收获什么?了解什么是低代码开发,什么是AI开发及双方的应用场景了解如何结合低代码和AI能力开发出完整的应用,了解前后端开发逻辑和流程。开发出一个可以上线使用的AI应用(快去炫耀)证明实力的华为云实战营证书及各种丰富的礼品奖励活动流程有哪些?本次活动主要是以下4个流程:报名,领取免费学习资源理论课程学习,了解华为云低代码和AI平台能力低代码AI应用开发体验,熟悉完整开发流程自由设计开发,充分发挥想象同时我们还准备了多种精彩的活动,环环有奖励(华为手机、手表、耳机等!),步步有惊喜,欢迎大家报名参与!报名方式心动了吧,那要如何报名呢?点此链接进入活动官网即可了解活动详情并报名!
  • [互动交流] 6G智能无线通信系统大赛+模型提交相关问题
    请问如何上传已经训练完成的模型,点击进入modelarts后应该如何操作?
  • [其他] Workflow工作流
    Workflow(也称工作流,下文中均可使用工作流进行描述)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。区别于传统的机器学习模型构建,开发者可以使用Workflow开发生产流水线。基于MLOps的概念,Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念,产品上将工作流的开发和持续迭代分开。一条流水线由多个节点组成,Workflow SDK提供了流水线需要覆盖的功能以及功能需要的参数描述。用户在开发流水线的时候,使用SDK对节点以及节点之间串联的关系进行描述。对流水线的开发操作在Workflow中统称为Workflow的开发态。当确定好整条流水线后,开发者可以将流水线固化下来,提供给其他人使用。使用者无需关注流水线中包含什么算法,也不需要关注流水线是如何实现的。使用者只需要关注流水线生产出来的模型或者应用是否符合上线要求,如果不符合,是否需要调整数据和参数重新迭代。这种使用固化下来的流水线的状态,在Workflow中统称为运行态。总的来说,Workflow有两种形态:开发态:使用Workflow的Python SDK开发和调测流水线。运行态:可视化配置运行生产好的流水线。Workflow基于对当前ModelArts已有能力的编排。基于DevOps原则和实践,应用于AI开发过程中,提升AI应用开发与落地效率,以达到更快的模型实验和开发和更快的将模型部署到生产。工作流的开发态和运行态分别实现了不同的功能。开发态-开发工作流开发者结合实际业务的需求,通过Workflow提供的Python SDK,将ModelArts模块的能力封装成流水线中的一个个步骤。对于AI开发者来说是非常熟悉的开发模式,而且灵活度极高。Python SDK主要提供以下能力。调测:部分运行、全部运行、debug。发布:发布到运行态。实验记录:实验的持久化及管理。运行态-运行工作流Workflow提供了可视化的工作流运行方式。使用者只需要关注一些简单的参数配置,模型是否需要重新训练和模型当前的部署情况。运行态工作流的来源为:通过开发态发布或者通过AI Gallery订阅。运行态主要提供以下能力。统一配置管理:管理工作流需要配置的参数及使用的资源等。操作工作流:启动、停止、复制、删除工作流。运行记录:工作流历史运行的参数以及状态记录。
  • [其他] ModelArts自动学习流程介绍
    自动学习流程介绍使用ModelArts自动学习开发AI模型无需编写代码,您只需上传数据、创建项目、完成数据标注、发布训练、然后将训练的模型部署上线。具体流程请参见图1。图1 自动学习操作流程新版自动学习中,该流程可完全由workflow进行承载,如图2。开发者可以通过 Workflow 进行有向无环图(Directed Acyclic Graph,DAG)的开发,整个DAG的执行就是有序的任务执行模板,依次执行从数据标注、数据集版本发布、模型训练、模型注册到服务部署环节。图2 workflow运行流程项目类型介绍图像分类图像分类项目,是对图像进行分类。需要添加图片并对图像进行分类标注,完成图片标注后开始模型训练,即可快速生成图像分类模型。可应用于商品的自动分类、运输车辆种类识别和残次品的自动分类等。例如质量检查的场景,则可以上传产品图片,将图片标注“合格”、“不合格”,通过训练部署模型,实现产品的质检。物体检测物体检测项目,是检测图片中物体的类别与位置。需要添加图片,用合适的框标注物体作为训练集,进行训练输出模型。适用于一张图片中要识别多个物体或者物体的计数等。可应用于园区人员穿戴规范检测和物品摆放的无人巡检。预测分析预测分析项目,是一种针对结构化数据的模型自动训练应用,能够对结构化数据进行分类或者数据预测。可用于用户画像分析,实现精准营销。也可应用于制造设备预测性维护,根据设备实时数据的分析,进行故障识别。声音分类声音分类项目,是识别一段音频中是否包含某种声音。可应用于生产或安防场景的异常声音监控。文本分类文本分类项目,识别一段文本的类别。可应用于情感分析或新闻分类等场景。
  • [热门活动] AI作诗已完成
    ↵AI作诗已完成,.
  • [技术干货] ai作诗
    已完成这个实验非常好
  • 大漠
    c“大漠孤烟直,长河落日圆”
  • [其他] 雾中城堡
    。。。。。。。。。。
  • [其他] 模型开发简介
    AI模型开发的过程,称之为Modeling,一般包含两个阶段:开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码其部分过程可参考下图:ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型。请参考以下指导在ModelArts上训练模型:您可以将训练数据导入至数据管理模块进行数据标注或者数据预处理,也支持将已标注的数据上传至OBS服务使用,请参考准备数据。训练模型的算法实现与指导请参考准备算法章节。使用控制台创建训练作业请参考创建训练作业章节。使用订阅算法创建训练作业示例请参考使用AI Gallery订阅的算法构建模型。使用自定义算法构建模型示例请参考使用自定义算法在ModelArts上构建模型。关于训练作业日志、训练资源占用等详情请参考查看训练作业日志。停止或删除模型训练作业,请参考停止、重建或查找作业。模型超参自动调优指南,请参考自动模型优化(AutoSearch)。如果您在训练过程中遇到问题,文档中提供了部分故障案例供参考,请参考训练故障排查。说明:当前ModelArts同时存在新版训练和旧版训练。新版训练在旧版训练的基础上进行了功能增强、调度优化等,推荐用户使用新版训练进行模型训练。新旧训练的差异请参考新旧版本训练差异。本文档主要介绍新版训练流程。旧版训练文档,请参考训练管理(即将下线)。
  • [其他] 查看所有子账号的Notebook实例
    当子用户被授予“listAllNotebooks”和“listUsers”权限时,在Notebook页面上,打开“查看所有”,可以看到IAM项目下所有子用户创建的Notebook实例 。给子账号配置查看所有Notebook实例的权限使用主用户账号登录华为云的管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,需要设置两条策略。策略1:设置查看Notebook所有实例,如图1所示,单击“确定”。“策略名称”:设置自定义策略名称,例如:查看Notebook所有实例。“策略配置方式”:选择可视化视图。“策略内容”:允许,云服务中搜索ModelArts服务并选中,操作列中搜索关键词modelarts:notebook:listAllNotebooks并选中,所有资源选择默认值。策略2:设置查看Notebook实例创建者信息的策略。“策略名称”:设置自定义策略名称,例如:查看所有子用户信息。“策略配置方式”:选择可视化视图。“策略内容”:允许,云服务中搜索IAM服务并选中,操作列中搜索关键词iam:users:listUsers并选中,所有资源选择默认值。在统一身份认证服务页面的左侧导航选择“用户组”,在用户组页面查找待授权的用户组名称,在右侧的操作列单击“授权”,勾选步骤2创建的两条自定义策略,单击“下一步”,选择授权范围方案,单击“确定”。此时,该用户组下的所有用户均有权限查看该用户组内成员创建的所有Notebook实例。如果没有用户组,也可以创建一个新的用户组,并通过“用户组管理”功能添加用户,并配置授权。如果指定的子用户没有在用户组中,也可以通过“用户组管理”功能增加用户。子用户启动其他用户的SSH实例子用户可以看到所有用户的Notebook实例后,如果要通过SSH方式远程连接其他用户的Notebook实例,需要将SSH密钥对更新成自己的,否则会报错ModelArts.6786,更新密钥对具体操作请参见修改Notebook SSH远程连接配置。具体的错误信息提示:ModelArts.6789: 在ECS密钥对管理中找不到指定的ssh密钥对xxx,请更新密钥对并重试。
  • vs code安装远端notebook插件时的小技巧
    安装远端插件时不稳定,需尝试多次方法一:离线包安装方式(推荐)到VS Code插件官网vscode_marketplace搜索待安装的Python插件,Python插件路径。单击进入Python插件的Version History页签后,下载该插件的离线安装包,如图所示。图1 Python插件离线安装包在本地VS Code环境中,将下载好的.vsix文件拖动到远端Notebook中。右键点击该文件,选择Install Extension VSIX。方法二:设置远端默认安装的插件在VS Code的配置文件settings.json中添加remote.SSH.defaultExtensions参数,如自动安装Python和Maven插件,可配置如下。 "remote.SSH.defaultExtensions": [ "ms-python.python", "vscjava.vscode-maven" ],其中,插件名称可以点击VS Code的某个插件后获取,如下所示。方法三:VS Code官网排查方式cid:link_1小技巧(按需调整远端连接的相关参数): "remote.SSH.connectTimeout": 10, "remote.SSH.maxReconnectionAttempts": null, "remote.downloadExtensionsLocally": true, "remote.SSH.useLocalServer": false, "remote.SSH.localServerDownload": "always",
总条数:3403 到第
上滑加载中