• [其他] ChatGPT:利用尖端技术进行多域操作
    原文链接:https://systelusa.com/blog/exploring-the-possibilities-of-chatgpt-in-rugged-military-ai-applications/ ChatGPT是一款基于GPT-3大型自然语言模型构建的人工智能聊天机器人,自2022年11月OpenAI推出以来,它已风靡全球。  它是有史以来增长最快的消费类应用程序,在推出仅两个月后的1月份,估计每月活跃用户达1亿。  它在教育、娱乐、新闻、制造业、科技和艺术等多个行业和部门引发了激烈的辩论,引发了人们的兴趣和争议。  瑞安·雷诺兹(Ryan Reynolds)用它写了一个Mint Mobile广告(这是一个相当有效的广告),在线媒体公司Buzzfeed的股价飙升120%,因为有消息称该公司计划在人工智能驱动的内容上进行大量投资。  ChatGPT的基础自然语言模型和技术具有巨大的潜力,可以在战场上彻底改变人工智能。正如C4ISRNET最近报道的,像ChatGPT这样的生成型人工智能技术已被加入国防信息系统局(DISA)的观察名单。 人工智能的力量正在各个领域的国防工业的各个层面发挥作用。美国及其盟国正在进行人工智能军备竞赛,美国国防部的第三抵消战略表示,“人工智能的快速发展,以及机器人技术、自主性、大数据和与工业界加强合作,将定义下一代战争。”  ChatGPT的力量:增强军事情报和决策 ChatGPT是一种基于变压器的人工智能语言模型,它已经在互联网上的大量文本数据集上进行了训练,使其能够生成类似人类的文本。这种独特的能力使其成为军事应用的理想工具,例如生成真实场景、模拟实体之间的对话以及提供情报见解。凭借ChatGPT理解、响应和与人类互动的能力,它有可能显著提高军事情报和决策。 满足恶劣军事环境的要求:技术鲁棒性的重要性 在地球上最严峻的环境中可靠地部署人工智能需要专门的硬件。高性能边缘计算对于部署的人工智能任务的成功至关重要。 在带宽受限、通信退化的竞争环境中运行,使得基于云计算和人工智能的战术使用成为一种负担。计算处理能力必须驻留在前提下,以确保基于AI的应用程序所需的低延迟和接近实时的速度。  为了满足这些需求,人工智能必须部署在能够处理极端温度、冲击和振动的坚固计算平台上;并且防止灰尘和水进入以及电磁干扰(EMI)。  这些平台的设计还必须确保人工智能系统的可靠性和安全性,特别是在军事行动的关键背景下。 
  • [其他] 浅学AI开发平台ModelArts的AIP查询数据集列表
    表1 路径参数参数是否必选参数类型描述project_id是String用户项目ID。获取方法请参见获取项目ID和名称。表2 Query参数参数是否必选参数类型描述check_running_task否Boolean是否检测数据集中正在运行(包括初始化)的任务。可选值如下:true:检测数据集中正在运行(包括初始化)的任务false:不检测数据集中正在运行的任务(默认值)contain_versions否Boolean数据集是否包含版本。dataset_type否Integer数据集类型。可选值如下:0:图像分类1:物体检测3: 图像分割100:文本分类101:命名实体102:文本三元组200:声音分类201:语音内容202:语音分割400:表格数据集600:视频标注900:自由格式file_preview否Boolean查询数据集的同时是否支持预览。可选值如下:true:支持预览,同时返回一部分数据集文件列表,每个数据集返回4个。false:不支持预览(默认值)。limit否Integer指定每一页返回的最大条目数,取值范围[1,100],默认为10。offset否Integer分页列表的起始页,默认为0。order否String指定查询的排序顺序。可选值如下:asc:递增排序desc:递减排序(默认值)running_task_type否Integer指定需要检测的正在运行任务(包括初始化)的类型。可选值如下:0:自动标注1:预标注2:导出任务3:切换版本4:导出manifest5:导入manifest6:发布版本7:自动分组search_content否String模糊匹配名称,默认为空。sort_by否String指定查询的排序方式。可选值如下:create_time:按创建时间排序(默认值)dataset_name:按数据集名称排序support_export否Boolean是否过滤只支持导出的数据集(当前仅图像分类、物体检测、自由格式三种数据集支持导出),不传该参数或参数取值为false表示不过滤。可选值如下:true:过滤只支持导出的数据集false:不过滤只支持导出的数据集(默认值)train_evaluate_ratio否String根据版本切分比例筛选数据集。例如:“0.0,1.0”,根据逗号分隔最小和最大切分比例,筛选出切分比例在此范围内的版本。说明:如果参数值为空或无该参数,系统默认不根据版本切分比例筛选数据集。version_format否Integer根据数据集发布的版本格式筛选数据集,过滤出包含符合筛选条件的数据集列表。可选值如下:0:默认格式1:Carbon格式(仅表格数据集支持)2:CSV格式with_labels否Boolean返回数据集的标签。可选值如下:true:返回标签信息false:不返回标签信息(默认值)workspace_id否String工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。dataset_version否String数据集版本(用于区分标注任务解耦前的数据集和解耦后的数据集)。可选值如下:v1:数据集与标注任务解耦前的数据集(默认值)v2:数据集与标注任务解耦后的数据集all:所有数据集请求参数无响应参数状态码: 200表3 响应Body参数参数参数类型描述datasetsArray of DatasetAndFilePreview objects分页查询到的数据集列表。total_numberInteger数据集总数。表4 DatasetAndFilePreview参数参数类型描述annotated_sample_countInteger数据集已标注的样本总数。annotated_sub_sample_countInteger已标注的子样本数量。content_labelingBoolean语音分割数据集是否开启内容标注,默认开启。create_timeLong数据集的创建时间。current_version_idString数据集的当前版本ID。current_version_nameString数据集的当前版本名称。data_formatString数据格式。data_sourcesArray of DataSource objects数据来源列表。data_statisticsMap<String,Object>数据集的样本统计信息,包括样本元信息的统计,json格式。data_update_timeLong样本和标签的更新时间。data_urlString训练所用的数据路径。dataset_formatInteger数据集格式。可选值如下:0:文件型1:表格型dataset_idString数据集ID。dataset_nameString数据集名称。dataset_tagsArray of strings数据集关键标识列表,例如:["图片","物体检测"]。dataset_typeInteger数据集类型。可选值如下:0:图像分类1:物体检测3: 图像分割100:文本分类101:命名实体102:文本三元组200:声音分类201:语音内容202:语音分割400:表格数据集600:视频标注900:自由格式dataset_version_countInteger数据集的版本数量。deleted_sample_countInteger已删除的样本数量。deletion_statsMap<String,Integer>删除原因统计信息。descriptionString数据集的描述。enterprise_project_idString企业项目ID。exist_running_taskBoolean该数据集是否存在正在运行(包括初始化)的任务。可选值如下:true:数据集存在正在运行的任务false:数据集不存在正在运行的任务exist_workforce_taskBoolean数据集是否含团队标注任务。可选值如下:true:数据集包含团队标注任务false:数据集不包含团队标注任务feature_supportsArray of strings数据集支持的特性列表。当前只支持特性值“0”,表示限制OBS文件大小。import_dataBoolean是否导入数据。可选值如下:true:导入数据false:不导入数据import_task_idString导入任务ID。inner_annotation_pathString数据集内部标注结果的保存路径。inner_data_pathString数据集内部数据的保存路径。inner_log_pathString数据集内部日志的保存路径。inner_task_pathString数据集内部任务路径。inner_temp_pathString数据集内部临时文件的保存路径。inner_work_pathString数据集内部的输出目录。label_task_countInteger标注任务数量。labelsArray of Label objects数据集标签列表。loading_sample_countInteger正在加载的样本数量。managedBoolean是否是托管数据集。可选值如下:true:托管数据集false:非托管数据集next_version_numInteger数据集下个版本数。running_tasks_idArray of strings正在运行(包括初始化)任务ID列表。samplesArray of AnnotationFile objects样本列表。schemaArray of Field objectsSchema列表。statusInteger数据集状态。当前可选值:0:数据集创建中1:数据集正常2:数据集删除中3:数据集已删除4:数据集异常5:数据集同步中6:数据集发布中7:数据集版本切换中8:数据集导入中third_pathString第三方路径。total_sample_countInteger数据集样本总数。total_sub_sample_countInteger由父样本所产生的子样本总数,比如:从视频标注数据集中抽取的关键帧图片总数就是子样本总数。unconfirmed_sample_countInteger智能标注待确认的标注样本数。update_timeLong数据集的更新时间。versionsArray of DatasetVersion objects数据集版本信息列表,目前仅记录数据集当前版本信息。work_pathString数据集输出位置,用于存放输出的标注信息等文件。此位置为OBS路径,格式为“/桶名称/文件路径”。例如:“/obs-bucket”。work_path_typeInteger数据集输出路径类型。可选值如下:0:OBS桶(默认值)workforce_descriptorWorkforceDescriptor object团队标注信息。workforce_task_countInteger数据集的团队标注任务数量。workspace_idString工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。表5 DataSource参数参数类型描述data_pathString数据源所在路径。data_typeInteger数据类型。可选值如下:0:OBS桶(默认值)1:GaussDB(DWS)服务2:DLI服务3:RDS服务4:MRS服务5:AI Gallery6:推理服务schema_mapsArray of SchemaMap objects表格数据对应的schema映射信息。source_infoSourceInfo object导入表格数据源所需的信息。with_column_headerBoolean文件中首行是否是列名,用于表格数据集。可选值如下:true:文件首行为列名false:文件首行不为列名表6 SchemaMap参数参数类型描述dest_nameString目的方的列名。src_nameString来源方的列名。表7 SourceInfo参数参数类型描述cluster_idStringMRS集群ID。cluster_modeStringMRS集群运行模式。可选值如下:0:普通集群1:安全集群cluster_nameStringMRS集群名称。database_nameString导入表格数据集,数据库名字。inputString表格数据集,HDFS路径。ipString用户GaussDB(DWS)集群的IP地址。portString用户GaussDB(DWS)集群的端口。queue_nameString表格数据集,DLI队列名。subnet_idStringMRS集群的子网ID。table_nameString导入表格数据集,表名。user_nameString用户名,GaussDB(DWS)数据需提供此参数。user_passwordString用户密码,GaussDB(DWS)数据需提供此参数。vpc_idStringMRS集群所在的vpc的ID。表8 Label参数参数类型描述attributesArray of LabelAttribute objects标签的多维度属性,如标签为“音乐”,可能包含属性“风格”、“歌手”等。nameString标签名称。propertyLabelProperty object标签基本属性键值对,如颜色、快捷键等。typeInteger标签类型。可选值如下:0:图像分类1:物体检测3: 图像分割100:文本分类101:命名实体102:文本三元组关系标签103:文本三元组实体标签200:语音分类201:语音内容202:语音分割600:视频标注表9 AnnotationFile参数参数类型描述create_timeLong样本创建时间。dataset_idString数据集ID。depthInteger图像样本通道数。file_NameString样本名称。file_idString样本ID。file_typeString文件类型。heightInteger图像样本高度。sizeLong图像样本尺寸大小。tagsMap<String,String>样本的标签信息。urlString预览样本的OBS地址。widthInteger图像样本宽度。表10 Field参数参数类型描述descriptionStringSchema描述。nameStringSchema名称。schema_idIntegerSchema ID。typeStringSchema值类型。表11 DatasetVersion参数参数类型描述add_sample_countInteger新增样本数量。analysis_cache_pathString特征分析的缓存路径。analysis_statusInteger特征分析任务的当前状态。可选值如下:0:初始化1:运行中2:完成3:失败analysis_task_idString特征分析的任务ID。annotated_sample_countInteger版本已标注样本的数量。annotated_sub_sample_countInteger已标注的子样本数量。clear_hard_propertyBoolean发布时是否清空难例属性。可选值如下:true:清空难例属性(默认值)false:不清空难例属性codeString旋转裁剪等预处理任务的状态码。create_timeLong版本创建时间。cropBoolean是否对图片进行裁剪,只对标注框形状为bndbox的物体检测数据集有效。可选值如下:true:对图片进行裁剪false:不对图片进行裁剪(默认值)crop_pathString裁剪后的文件存放路径。crop_rotate_cache_pathString旋转裁剪任务执行的临时目录。data_analysisMap<String,Object>特征分析结果,json格式。data_pathString数据保存路径。data_statisticsMap<String,Object>数据集的样本统计信息,包括样本元信息的统计,json格式。data_validateBoolean发布前数据是否经过校验算法校验。可选值如下:true:数据经过校验false:数据未经过校验deleted_sample_countInteger已删除的样本数量。deletion_statsMap<String,Integer>删除原因统计信息。descriptionString版本描述信息。export_imagesBoolean发布时是否导出图片到版本输出目录。可选值如下:true:导出图片到版本输出目录false:不导出图片到版本输出目录(默认值)extract_serial_numberBoolean发布时是否需要解析子样本序号,用于医疗数据集。可选值如下:true:解析子样本序号false:不解析子样本序号(默认值)include_dataset_dataBoolean发布时是否包含数据集源数据。可选值如下:true:包含数据集源数据false:不包含数据集源数据is_currentBoolean是否为数据集当前版本。可选值如下:true:数据集当前版本false:非数据集当前版本label_statsArray of LabelStats objects发布版本的各标签统计信息列表。label_typeString发布版本的标签类型。可选值如下:multi:表示含有多标签样本single:表示所有样本均为单标签manifest_cache_input_pathString版本发布时的manifest文件缓存输入路径。manifest_pathString版本发布的manifest文件保存路径。messageString发布时记录的任务信息(如:错误信息等)。modified_sample_countInteger已修改的样本数量。previous_annotated_sample_countInteger父版本的已标注样本数量。previous_total_sample_countInteger父版本的样本总数。previous_version_idString父版本ID。processor_task_idString旋转裁剪等预处理任务ID。processor_task_statusInteger旋转裁剪等预处理任务状态。当前可取值如下:0:初始化1:运行中2:完成3:失败4:停止5:超时6:删除失败7:停止失败remove_sample_usageBoolean发布时是否清除数据集已有的usage信息。可选值如下:true:清除数据集已有的usage信息(默认值)false:不清除数据集已有的usage信息rotateBoolean是否对图片进行旋转。可选值如下:true:对图片进行旋转false:不对图片进行旋转(默认值)rotate_pathString旋转后的文件存放路径。sample_stateString样本状态。可选样本状态如下:__ALL__:已标注__NONE__:未标注__UNCHECK__:待验收__ACCEPTED__:验收通过__REJECTED__:已驳回__UNREVIEWED__:待审核__REVIEWED__:已审核__WORKFORCE_SAMPLED__:已验收采样__WORKFORCE_SAMPLED_UNCHECK__:采样待验收__WORKFORCE_SAMPLED_CHECKED__:采样已验收__WORKFORCE_SAMPLED_ACCEPTED__:采样已通过__WORKFORCE_SAMPLED_REJECTED__:采样已驳回__AUTO_ANNOTATION__:待确认start_processor_taskBoolean发布时是否启动数据分析任务。可选值如下:true:发布时启动特征分析任务false:发布时不启动特征分析任务(默认值)statusInteger数据集版本状态。可选值如下:0:创建中1:运行中2:删除中3:已删除4:错误tagsArray of strings版本关键标识列表,标注任务发布版本时将标注类型作为默认标签。如:["图片","物体检测"]。task_typeInteger发布版本的标注任务类型,同数据集类型。total_sample_countInteger版本样本总数。total_sub_sample_countInteger从父样本生成的子样本总数。train_evaluate_sample_ratioString发布版本时切分训练验证比例,默认为1.00,即全部分为训练集。update_timeLong版本更新时间。version_formatString数据集版本格式。可选值如下:Default:默认格式CarbonData:Carbon格式(仅表格数据集支持)CSV:CSV格式version_idString数据集版本ID。version_nameString数据集版本名称。with_column_headerBoolean发布的CSV文件的第一行是否为列名,对于表格数据集有效。可选值如下:true:发布的CSV文件的第一行是列名false:发布的CSV文件的第一行不是列名表12 LabelStats参数参数类型描述attributesArray of LabelAttribute objects标签的多维度属性,如标签为“音乐”,可能包含属性“风格”、“歌手”等。countInteger该标签的打标数量。nameString标签名称。propertyLabelProperty object标签基本属性键值对,如颜色、快捷键等。sample_countInteger包含该标签的样本数量。typeInteger标签类型。可选值如下:0:图像分类1:物体检测3: 图像分割100:文本分类101:命名实体102:文本三元组关系标签103:文本三元组实体标签200:语音分类201:语音内容202:语音分割600:视频标注表13 LabelAttribute参数参数类型描述default_valueString标签属性默认值。idString标签属性ID。nameString标签属性名称。typeString标签属性类型。可选值如下:text:文本select:单选下拉列表valuesArray of LabelAttributeValue objects标签属性值列表。表14 LabelAttributeValue参数参数类型描述idString标签属性值ID。valueString标签属性值。表15 LabelProperty参数参数类型描述@modelarts:colorString内置属性:标签展示的颜色,为色彩的16进制代码,默认为空。例如:“#FFFFF0”。@modelarts:default_shapeString内置属性:物体检测标签的默认形状(物体检测标签专用属性),默认为空。可选值如下:bndbox:矩形。polygon:多边形。circle:圆形。line:直线。dashed:虚线。point:点。polyline:折线。@modelarts:from_typeString内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。@modelarts:rename_toString内置属性:重命名后的标签名。@modelarts:shortcutString内置属性:标签快捷键,默认为空。例如:“D”。@modelarts:to_typeString内置属性:三元组关系标签的指向实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。表16 WorkforceDescriptor参数参数类型描述current_task_idString团队标注任务ID。current_task_nameString团队标注任务名称。reject_numInteger驳回的样本数。repetitionInteger每个样本由多少人标注,最少为1。is_synchronize_auto_labeling_dataBoolean是否同步更新智能标注数据。可选值如下:true:同步更新智能标注数据false:不同步更新智能标注数据is_synchronize_dataBoolean是否同步更新数据:如上传文件、同步数据源、导入的未标注文件同步分配至团队成员。可选值如下:true:同步更新数据至团队成员false:不同步更新数据至团队成员workersArray of Worker objects标注成员列表。workforce_idString标注团队ID。workforce_nameString标注团队名称。表17 Worker参数参数类型描述create_timeLong创建时间。descriptionString标注成员描述,长度为0-256位,不能包含^!<>=&"'特殊字符。emailString标注成员邮箱。roleInteger角色。可选值如下:0:打标者1:审核者2:团队管理者3:数据集拥有者statusInteger标注成员的当前登录状态。可选值如下:0:未发送邀请邮件1:已发送邀请邮件但未登录2:已登录3:标注成员已删除update_timeLong更新时间。worker_idString标注成员ID。workforce_idString所属标注团队ID。
  • [其他] 浅谈学习ModelArts+华为HiLens
    ModelArts是面向AI开发者的一站式开发平台,您可以使用ModelArts开发一个用于华为HiLens平台的算法模型,然后基于您自定义的算法模型和逻辑代码新建技能。本章节提供了一个手势识别技能的样例,介绍从模型训练到查看技能效果,新建一个全新技能的全流程,帮助您快速熟悉华为HiLens技能开发的使用过程。准备工作    已注册华为云帐号,且在使用华为HiLens前检查帐号状态,帐号不能处于欠费或冻结状态。    已购买HiLens Kit设备,并准备好网线,电脑,路由器,HDMI线,显示屏。    成功注册设备HiLens Kit设备至华为HiLens控制台,详情请参见注册HiLens Kit。    登录OBS服务,创建桶和文件夹,用于存放样例的训练数据。创建名称为“hilens-gesture”OBS桶,区域选择“华北-北京四”,创建如下文件夹:        “gesture-data”:用于存放训练模型的数据。        “gesture-data-output”:用于存放模型输出数据。        “gesture-data-record”:用于存放日志。        “gesture-convert-output”:用于存放转换模型后的输出文件。    创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证模型数据能正常访问,请务必保证创建的OBS桶与华为HiLens在同一区域。    占用OBS资源的操作均会收取一定费用,收费规则请参见对象存储服务 OBS。步骤1:准备数据华为HiLens在公共OBS桶中提供了手势识别技能的用于模型训练的示例数据,命名为“gesture_recognition_data”,因此本文的操作示例使用此示例模型进行技能开发。您需要执行如下操作,将模型文件上传至您的OBS目录下,即准备工作中您创建的OBS目录“hilens-gesture/gesture-recognition”。单击示例数据下载链接,将手势识别案例示例数据“gesture_recognition_data”下载至本地。在本地,将“gesture_recognition_data”压缩包解压。例如解压至本地“gesture_recognition_data”文件夹下,包括1个子文件夹“gesture-data”和1个“.py”文件。参考上传文件,利用OBS Browser+工具将“gesture_recognition_data/gesture-data”文件夹下的所有数据上传至“hilens-gesture/gesture-data”OBS路径下,OBS Browser+使用方法请参见OBS Browser+工具指南。步骤2:创建数据集登录ModelArts管理控制台,根据要求完成访问权限配置。在左侧菜单栏中选择“数据管理>数据集”。在数据集管理页面,单击“创建数据集”。在“创建数据集”页面,“数据集输入位置”选择步骤1:准备数据中上传的数据存储目录(OBS路径),需选择到具体图片存储的父目录。“数据集输出位置”,请指定一个空目录,且此目录不能是数据来源目录下的子目录。“标注类型”选择“图像分类”。参数填写完成后,单击“创建”,完成数据集创建。进入数据集管理页面,等待数据同步完毕,您可以单击数据集名称进入概览页面,了解进度。由于提供的样例数据集已完成数据标注,当数据集概览页面显示图片已标注,表示数据已同步完成。发布数据集。在数据集管理页面,单击“发布”,在弹出窗口中,根据界面提示进行配置。由于本示例使用的算法,必须使用切分的数据集进行训练,因此训练验证比例的参数必须设置,建议设置为“0.8”或“0.9”,表示训练集和验证集的比例为“8:2”或“9:1”。单击“确定”完成发布数据集步骤3:订阅算法ModelArts官方提供了一个“ResNet_v1_50”,算法用途为图像分类,您可以使用此算法训练,得到所需的模型。目前“resnet_v1_50”算法发布在AI Gallery中。您可以前往AI Gallery,订阅此算法,然后同步至ModelArts中。    登录ModelArts管理控制台,在左侧菜单栏中选择“AI Gallery”。进入新版AI Gallery。    单击图像分类-ResNet_v1_50,进入算法详情页。    由于AI Gallery发布了多个“ResNet_v1_50”,本示例选择支持GPU训练+Ascend310推理的算法。单击右侧的“订阅”,根据界面提示完成算法订阅。此算法由ModelArts官方提供,目前免费开放。订阅算法完成后,页面的“订阅”按钮显示为“已订阅”。单击详情页的“前往控制台”,此时弹出“选择云服务区域”对话框,选择ModelArts对应的区域,然后再单击“确定”。页面将自动跳转至ModelArts的“算法管理>我的订阅”中同步对应的算法。在ModelArts管理控制台的算法管理页面,算法将自动同步至ModelArts中。javascript:void(0)浅谈ModelArts+华为HiLens使用订阅算法创建训练作业算法订阅成功后,算法将呈现在“算法管理>我的订阅”中,您可以使用订阅的“ResNet_v1_50”算法创建训练作业,获得模型。    进入“算法管理>我的订阅”页面,选择订阅的“ResNet_v1_50”算法,单击左侧的小三角展开算法,在版本列表中,单击“创建训练作业”。创建训练作业在“创建训练作业”页面,参考如下说明填写关键参数。    “算法> 我的订阅”:系统默认选择订阅的算法,请勿随意修改。    “训练输入”:选择数据集,然后从下拉框中选择步骤2:创建数据集中创建好的数据集。数据集一定要选择切分训练集比例的版本,否则将会导致训练失败。    “训练输出”:选择训练结果的存储位置(OBS路径)。为避免出现错误,建议选择一个空目录用作“训练输出”。本样例选择准备工作中已创建的OBS桶“hilens-gesture”和文件夹“gesture-data-output”。    “超参”:建议采用默认值。如需进行调优,可参考算法详情页的训练参数说明    “资源类型”:建议选择GPU规格的资源类型,训练效率会更高一些。参数填写完成后,单击“提交”,确认规格,单击“确定”,完成训练作业创建。进入“训练管理>训练作业(New)”页面,等待训练作业完成。训练作业运行需要几分钟时间,请耐心等待。根据经验,选择样例数据集,使用GPU资源运行,预计3分钟左右可完成。当训练作业的状态变更为“已完成”时,表示已运行结束。可以单击训练作业名称,进入详情页面,了解训练作业的“配置信息”、“日志”、“资源占用情况”和“评估结果”等信息。也可以在配置的“训练输出位置”对应的OBS目录下获得训练生成的模型。步骤5:转换模型在ModelArts管理控制台中,选择左侧导航栏的“AI应用管理 > 模型转换”,进入模型转换列表页面。单击左上角的“创建任务”,进入任务创建任务页面。
  • [其他] 浅谈MoXing Framework快速入门
    MoXing Framework模块为MoXing提供基础公共组件,例如访问华为云的OBS服务,和具体的AI引擎解耦,在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。目前,提供的MoXing Framework功能中主要包含操作OBS组件,即下文中描述的mox.file接口。ModelArts管理控制台,在左侧菜单栏中选择“开发环境>Notebook”,进入“Notebook”管理页面进入Notebook单击“创建”进入“创建Notebook”页面,参考创建Notebook实例填写信息并完成Notebook实例创建。当Notebook实例创建完成后,且状态为“运行中”时,单击Notebook名称,或者单击“操作”列中的“打开”,进入“JupyterLab Notebook”开发页面。在JupyterLab的“Launcher”页签下,以TensorFlow为例,您可以单击TensorFlow,创建一个用于编码的文件。系统默认进入“JupyterLab”编码页面。调用mox.file输入如下代码,实现如下几个简单的功能。    引入MoXing Framework。    在已有的“modelarts-test08/moxing”目录下,创建一个“test01”文件夹。    调用代码检查“test01”文件夹是否存在,如果存在,表示上一个操作已成功。import moxing as moxmox.file.make_dirs('obs://modelarts-test08/moxing/test01')mox.file.exists('obs://modelarts-test08/moxing/test01')输入一行代码,单击下“Run”运行。也可以进入OBS管理控制台,检查“modelarts-test08/moxing”目录,查看“test01”文件夹是否已创建成功。更多MoXing的常用操作请参见常用操作的样例代码。引入MoXing Frameworkimport moxing as mox当引入MoXing+AI引擎相关的模块时,会涵盖所有Framework的功能,例如如下操作,这里的mox同时涵盖了所有moxing.tensorflow和moxing.framework下的所有API。import moxing.tensorflow as mox
  • 浅谈 AI开发平台ModelArts工具 PyCharm ToolKit介绍
    PyCharm ToolKit介绍由于AI开发者会使用PyCharm工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit插件下载请参见下载并安装ToolKit工具),协助用户完成代码上传、提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。使用限制    当前仅支持PyCharm 2019.2及以上版本,包括社区版和专业版。    使用PyCharm ToolKit远程连接Notebook开发环境,仅限PyCharm专业版。    使用PyCharm ToolKit提交训练作业,社区版和专业版都支持,PyCharm ToolKit 2.x版本仅限于提交旧版训练作业,PyCharm ToolKit latest版本仅限提交新版训练作业。    PyCharm ToolKit工具支持Windows、Linux或Mac版本的PyCharm。支持的功能表1 ToolKit(latest)功能列表 支持的功能说明对应操作指导SSH远程连接支持SSH远程连接ModelArts的Notebook开发环境。配置PyCharm ToolKit远程连接Notebook训练模型支持将本地开发的代码,快速提交至ModelArts并自动创建新版训练作业,在训练作业运行期间获取训练日志并展示到本地。提交训练作业(新版训练)停止训练作业查看训练日志OBS上传下载上传本地文件或文件夹至OBS,从OBS下载文件或文件夹到本地。OBS上传下载表2 ToolKit(2.x版本)功能列表 支持的功能说明对应操作指导SSH远程连接支持SSH远程连接ModelArts的Notebook开发环境。配置PyCharm ToolKit远程连接Notebook训练模型支持将本地开发的代码,快速提交至ModelArts并自动创建旧版训练作业,在训练作业运行期间获取训练日志并展示到本地。提交训练作业(旧版训练)查看训练作业详情启动或停止训练作业查看训练日志提交不同名称的训练作业部署上线支持将训练好的模型快速部署上线为在线服务。部署上线OBS上传下载上传本地文件或文件夹至OBS,从OBS下载文件或文件夹到本地。OBS上传下载Pycharm远程插件Toolkit
  • [其他] 提交训练作业常见问题
    报错信息:Exception: You have attempted to create more buckets than allowed原因分析:由于桶的数量超出限额,无法自动创建。解决方法:用户可以删除一个桶,或者直接指定一个已存在的桶(修改变量obs_bucket的值)。报错信息:"errorMessage":"The number of namespaces exceeds the upper limit"原因分析:SWR组织数超出限额,SWR组织默认最多只能创建5个组织。解决方法:用户可以删除一个SWR组织,或者直接指定一个已存在的SWR组织(修改变量image_organization的值)。
  • [其他] 模型开发简介
    AI模型开发的过程,称之为Modeling,一般包含两个阶段:开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码其部分过程可参考下图:ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型。请参考以下指导在ModelArts上训练模型:您可以将训练数据导入至数据管理模块进行数据标注或者数据预处理,也支持将已标注的数据上传至OBS服务使用,请参考准备数据。训练模型的算法实现与指导请参考准备算法章节。使用控制台创建训练作业请参考创建训练作业章节。使用订阅算法创建训练作业示例请参考使用AI Gallery订阅的算法构建模型。使用自定义算法构建模型示例请参考使用自定义算法在ModelArts上构建模型。关于训练作业日志、训练资源占用等详情请参考查看训练作业日志。停止或删除模型训练作业,请参考停止、重建或查找作业。模型超参自动调优指南,请参考自动模型优化(AutoSearch)。如果您在训练过程中遇到问题,文档中提供了部分故障案例供参考,请参考训练故障排查。当前ModelArts同时存在新版训练和旧版训练。新版训练在旧版训练的基础上进行了功能增强、调度优化等,推荐用户使用新版训练进行模型训练。新旧训练的差异请参考新旧版本训练差异。
  • [其他] 有趣CartoonGan图像动漫化
    一键来玩 https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=113791e2-7a16-4d62-be1f-6a3cf6c5bde1cartoongan 图像动漫化本案例是 CartoonGAN: Generative Adversarial Networks for Photo Cartoonization 的论文复习案例拷贝数据之后,将你想动漫化的图像放到cartoongan-pytorch/test_img/文件夹下,运行后面代码即可可以切换不同生成风格,Hosoda/Shinkai/Paprika/Hayao参考:cid:link_1可以现场体验啊哈哈哈2月25日,第二场华为云开发者日HDC.Cloud Day即将落地深圳,为开发者带来开年技术盛宴。华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,打造开发者专属的技术盛宴。汇聚来自千行百业、高校及科研院所的开发人员,全方位服务与赋能开发者围绕华为云生态开启“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的创新应用推介,为开发者提供沉浸式学习与交流的平台,与开发者共创、共享、共赢未来。
  • [互动交流] 容器中如何禁止下载上传功能
    各位老师,请问 我现在在服务器的docker环境里,起了容器(centos或者ubuntu) 让用户进行作为client机器访问集群,如何禁止用户在此容器里 的下载或者上传操作呢?我能想到的是 容器里 禁止安装rzsz等工具,请问有没有通过 端口号直接禁止相关操作的行为,或者其他方式?
  • [赛事资讯] AI开发“众筹模式” 为矿山行业找场景和应用
    1月6日,由中国煤炭学会、中国矿业大学(北京)、华为技术有限公司联合举办的第一届全国煤炭行业矿山AI大模型大赛决赛暨颁奖典礼在北京举行。科技部战略规划司副司长邢怀滨,国家能源局煤炭司副司长任立新,矿山安全监察局安全基础司副司长陆南,国家信息中心信息化和产业发展部主任单志广、中国工程院院士袁亮、中国煤炭学会秘书长王蕾、中国矿业大学(北京)研究生院常务副院长徐志强、华为云AI领域首席科学家田奇、华为煤矿军团解决方案总裁蒋旺成、华为煤矿军团市场与产业发展总裁刘维等出席。▲与会嘉宾与决赛选手合影本次大赛以矿山智能化场景创新为核心,充分发挥参赛选手的能动性,面向全国征集智能AI应用场景。为实现矿山“少人无人、安全、高效”的目标搭建一个技术交流、人才培养、机遇共创的建模平台,汇聚矿业领域智能化人才,迸发创新思想。袁亮院士表示,本次大赛是一次非常积极的探索和尝试,对煤炭这样的传统行业,具有重要的创新引领作用。国家能源局煤炭司副司长任立新说,本次比赛是现代科技赋能传统煤炭产业的一股青春动力,学生团队充满智慧的大模型,必将成为一把把打开煤炭智能生产建设的金钥匙。他进一步指出,2023年是煤矿智能化建设即将迈向第二阶段目标的关键时期,希望以本次大赛为契机,进一步推进煤炭行业创新发展,不断加快煤矿智能化建设,为推动煤炭工业高质量发展、保障国家能源安全做出积极贡献。科技部战略规划司副司长邢怀滨表示,智能矿山是重要的人工智能应用场景,人工智能技术赋能可以使矿山运营生产更加便捷、安全、高效。希望此次大赛涌现出来的新产品、新技术、新创意,能够有效转化应用,在促进产业转型升级和实现高质量发展中发挥实效。“(矿山AI大模型大赛)从人才评奖与奖励、专业培训等多方面,助力我国煤炭科技创新工作,为国家经济发展所需的能源稳定提供了保障作用,同时推进人类社会发展进步做出了更大的贡献。”中国煤炭学会秘书长王蕾说。AI大模型大赛对齐矿山行业需求首届矿山AI大模型大赛基于最真实的场景,关注矿山一线生产的问题与挑战,对齐安全生产的目标;基于最前沿的技术,通过华为矿山AI大模型平台完成比赛,对齐技术发展趋势;最年轻的开发者,全国高校的在校学生均可参赛,最大限度剔除参赛门槛,对齐行业人才的需求。本届大赛入围决赛的一共有15支队伍,有来自中国矿业大学、中国矿业大学(北京)、安徽理工大学、山东科技大学等矿业领域的高校,也有来自于中国科技大学、浙江大学等综合高校。经过路演答辩,大赛角逐出特等奖1支、一等奖2支、二等奖4支、三等奖8支。▲国家部委领导为获得特等奖的中国矿业大学(北京)IMP-Lab-1队颁奖▸ 获得特等奖的是来自中国矿业大学(北京)的IMP-Lab-1队,他们基于华为矿山AI大模型,用机器视觉+机器人拣选的方式,以煤矸杂同步检测技术取代人工,实现高效预抛废,延长矿山设备寿命,减人提效。▸ 获得一等奖的是来自中国矿业大学(北京)海底小纵队和来自西安科技大学小朝阳队,前者基于华为矿山AI大模型,实现了露天矿非结构化道路边缘检测和道路内小目标和多尺度目标检测,提升了矿山生产的安全性;后者基于华为矿山AI大模型,为煤炭分质利用提供一套煤岩显微组分智能识别方案。本届大赛一共吸引了389支队伍、1460人报名参加。华为煤矿军团解决方案总裁蒋旺成介绍,参赛团队为AI助力矿山行业智能化,创新出数百个应用场景,其中一部分已经在实际生产中应用。“众筹模式”成为矿山智能化的活水华为煤矿军团市场与产业发展总裁刘维说,未来二三十年人类社会将有一次重大的技术革命,那就是人工智能的广泛应用。智能矿山的核心就是通过人工智能算法来沉淀专家经验,替代人从事危险、复杂、重复的劳动,让煤矿生产更加安全、智能、高效。同时,人工智能实践过程中,需要解决根技术、场景、人才、生态的四大鸿沟。首先是根技术鸿沟,AI技术在全球能源行业渗透率不到3%。每家想要应用AI技术的企业,可能都需要一些技术水平高的人进行独立的架构设计与调参,就像每家工厂都需要聘请设计师来设计螺丝一样,是一种相当粗放原始的手工作坊模式。▲华为煤矿军团市场与产业发展总裁刘维发言华为矿石AI大模型是一种行业预训练模型,相当于提供了一套自动化工具,用户不再需要手工设计和制作螺丝,只需要放入原材料就能自动生产场景模型,这就大幅简化了开发工作量。其次是场景鸿沟。在矿山行业,场景千差万别,除了挖矿本身,还有挖矿前的勘测规划,挖矿后的运输、通风、安全保障,以及过程中间的经营管理等等。这么多的场景,光靠一家企业是无法穷举和实现的。所以,华为通过本次AI大模型大赛提出了“众筹模式”,即通过集体的力量来构建AI场景地图和应用。第三是人才鸿沟,智能矿山对人才的需求非常迫切,既懂采矿又具备AI技术的人才可谓是凤毛麟角。这次矿山AI大模型大赛通过有效的平台机制,引导开发者团队、行业组织、生产企业、合作伙伴,对齐矿山行业一线。当这种“众筹模式”形成固定机制,发展出产业标准,人工智能在矿山行业就会成为“活水”:新的技术不断涌入、新的人才随时加入、新的生态逐渐形成,同时产业问题将不断得到解决。最后是开放合作的生态。矿山生产,涉及开采、机电、通风等多门类专业,全国有大大小小4000多家煤矿,以及其他上万座非煤矿山,地质条件和自动化程度截然不同。要构建良好的行业生态,需要行管部门、生产企业、装备制造商、应用系统开发者,以开放的姿态共同推进创新合作,促进智能矿山建设高效规模化开展。“此次大赛是人工智能在行业深度融合落地的率先探索。让我们把握数字经济发展大机遇,以工业互联网架构为基础,将数据带出矿山,把智能送下矿井,让智能矿山建设行稳而致远。”刘维说。
  • 这两门可能会让程序员失业的技术,你了解过吗?
    程序员最近可能有点焦虑,因为:先是 Copilot 火了,帮你自动写代码,改Bug;然后 ChatGPT 火了,不光能聊天,更能说需求让它写代码,紧接着各大公司不断发布各种低代码服务,不用程序员也能做产品了。所以,现在程序员们心里可能都有一万只草泥马奔腾而过:都是程序员,为什么要自己人卷自己人?我该怎么办?说到这里,可能大家都知道了我们想说的两门技术就是“AI”和“低代码”。有人说它们是未来5年的趋势;有人说他们会让大部分程序员失业;有人说他们会让程序员的效率大幅提升;….但是不管哪种,作为程序员的我们必须警觉起来了,得抓紧了解这两门技术,俗话说的好:知己知彼,百战不殆。不能被趋势淘汰!那么现在机会来了!由华为云官方出品的“低代码AI应用开发实战营”开营了,即带你同时理论到实践学习 AI 和 低代码 两门技术,教你如何使用它们快速开发自己应用。合理使用,不仅不用担心会被淘汰,更可以更好的提升工作效率哦(摸鱼)!接下来我就相信给大家介绍一下这个实战营,先提醒一下:目前这个实战营在限时免费报名中,满7000人就截止(现在还剩1000左右个空位),所以有意向的开发者抓紧了!“低代码AI应用开发实战营”,是华为云低代码平台 AppCube 和 AI开发平台 ModelArts 联合开展的针对前端/AI/低代码领域开发者的课程活动,内容从理论到实战,全方位提升不同开发者的应用开发能力。(注:华为云AppCube低代码平台即将更名为Astro Zero,活动期间如发生平台名称变化,不影响开发者体验)我适合参加吗?本次实战营将分享时下火热的低代码和AI技术,并将两者结合赋能开发者,通过理论学习、案例体验、应用实战等环节,由浅入深提升开发者综合实力,了解最新行业技术趋势,增加就业筹码。因此强烈推荐以下3类从业者参与:AI开发者:学习如何基于华为云低代码能力,快速搭建前端页面,掌握构建完整AI应用的能力。前端开发者:学习如何使用华为云AI平台0代码搭建AI后端服务,掌握前后端交互能力,同时基于华为云低代码能力提升前端构建效率。企业业务/管理人员:0基础学习如何基于华为云低代码能力,低成本快速构建应用或产品MVP,将企业试错成本降低。学习完我能收获什么?了解什么是低代码开发,什么是AI开发及双方的应用场景了解如何结合低代码和AI能力开发出完整的应用,了解前后端开发逻辑和流程。开发出一个可以上线使用的AI应用(快去炫耀)证明实力的华为云实战营证书及各种丰富的礼品奖励活动流程有哪些?本次活动主要是以下4个流程:报名,领取免费学习资源理论课程学习,了解华为云低代码和AI平台能力低代码AI应用开发体验,熟悉完整开发流程自由设计开发,充分发挥想象同时我们还准备了多种精彩的活动,环环有奖励(华为手机、手表、耳机等!),步步有惊喜,欢迎大家报名参与!报名方式心动了吧,那要如何报名呢?点此链接进入活动官网即可了解活动详情并报名!
  • [互动交流] 6G智能无线通信系统大赛+模型提交相关问题
    请问如何上传已经训练完成的模型,点击进入modelarts后应该如何操作?
  • [其他] Workflow工作流
    Workflow(也称工作流,下文中均可使用工作流进行描述)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。区别于传统的机器学习模型构建,开发者可以使用Workflow开发生产流水线。基于MLOps的概念,Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念,产品上将工作流的开发和持续迭代分开。一条流水线由多个节点组成,Workflow SDK提供了流水线需要覆盖的功能以及功能需要的参数描述。用户在开发流水线的时候,使用SDK对节点以及节点之间串联的关系进行描述。对流水线的开发操作在Workflow中统称为Workflow的开发态。当确定好整条流水线后,开发者可以将流水线固化下来,提供给其他人使用。使用者无需关注流水线中包含什么算法,也不需要关注流水线是如何实现的。使用者只需要关注流水线生产出来的模型或者应用是否符合上线要求,如果不符合,是否需要调整数据和参数重新迭代。这种使用固化下来的流水线的状态,在Workflow中统称为运行态。总的来说,Workflow有两种形态:开发态:使用Workflow的Python SDK开发和调测流水线。运行态:可视化配置运行生产好的流水线。Workflow基于对当前ModelArts已有能力的编排。基于DevOps原则和实践,应用于AI开发过程中,提升AI应用开发与落地效率,以达到更快的模型实验和开发和更快的将模型部署到生产。工作流的开发态和运行态分别实现了不同的功能。开发态-开发工作流开发者结合实际业务的需求,通过Workflow提供的Python SDK,将ModelArts模块的能力封装成流水线中的一个个步骤。对于AI开发者来说是非常熟悉的开发模式,而且灵活度极高。Python SDK主要提供以下能力。调测:部分运行、全部运行、debug。发布:发布到运行态。实验记录:实验的持久化及管理。运行态-运行工作流Workflow提供了可视化的工作流运行方式。使用者只需要关注一些简单的参数配置,模型是否需要重新训练和模型当前的部署情况。运行态工作流的来源为:通过开发态发布或者通过AI Gallery订阅。运行态主要提供以下能力。统一配置管理:管理工作流需要配置的参数及使用的资源等。操作工作流:启动、停止、复制、删除工作流。运行记录:工作流历史运行的参数以及状态记录。
  • [其他] ModelArts自动学习流程介绍
    自动学习流程介绍使用ModelArts自动学习开发AI模型无需编写代码,您只需上传数据、创建项目、完成数据标注、发布训练、然后将训练的模型部署上线。具体流程请参见图1。图1 自动学习操作流程新版自动学习中,该流程可完全由workflow进行承载,如图2。开发者可以通过 Workflow 进行有向无环图(Directed Acyclic Graph,DAG)的开发,整个DAG的执行就是有序的任务执行模板,依次执行从数据标注、数据集版本发布、模型训练、模型注册到服务部署环节。图2 workflow运行流程项目类型介绍图像分类图像分类项目,是对图像进行分类。需要添加图片并对图像进行分类标注,完成图片标注后开始模型训练,即可快速生成图像分类模型。可应用于商品的自动分类、运输车辆种类识别和残次品的自动分类等。例如质量检查的场景,则可以上传产品图片,将图片标注“合格”、“不合格”,通过训练部署模型,实现产品的质检。物体检测物体检测项目,是检测图片中物体的类别与位置。需要添加图片,用合适的框标注物体作为训练集,进行训练输出模型。适用于一张图片中要识别多个物体或者物体的计数等。可应用于园区人员穿戴规范检测和物品摆放的无人巡检。预测分析预测分析项目,是一种针对结构化数据的模型自动训练应用,能够对结构化数据进行分类或者数据预测。可用于用户画像分析,实现精准营销。也可应用于制造设备预测性维护,根据设备实时数据的分析,进行故障识别。声音分类声音分类项目,是识别一段音频中是否包含某种声音。可应用于生产或安防场景的异常声音监控。文本分类文本分类项目,识别一段文本的类别。可应用于情感分析或新闻分类等场景。
  • [热门活动] AI作诗已完成
    ↵AI作诗已完成,.
总条数:3411 到第 页
上滑加载中