• [问题求助] ATC转换模型失败
    之前都可以运行成功,今天 运行ATC时运行的错误信息: atc --model=resnet50.onnx --framework=5 --output=resnet50 --input_shape="actual_input_1:1,3,224,224"  --soc_version=TsnsC ATC start working now, please wait for a moment. ATC run failed, Please check the detail log, Try 'atc --help' for more information E29999: Inner Error!         [GraphOpt][InitializeInner][InitTbeFunc] Failed to init tbe.[FUNC:InitializeInner][FILE:tbe_op_store_adapter.cc][LINE:1188]         [SubGraphOpt][PreCompileOp][InitAdapter] InitializeAdapter adapter [tbe_op_adapter] failed! Ret [4294967295][FUNC:InitializeAdapter][FILE:op_store_adapter_manager.cc][LINE:63]         [SubGraphOpt][PreCompileOp][Init] Initialize op store adapter failed, OpsStoreName[tbe-custom].[FUNC:Initialize][FILE:op_store_adapter_manager.cc][LINE:92]         [FusionMngr][Init] Op store adapter manager init failed.[FUNC:Initialize][FILE:fusion_manager.cc][LINE:323]         PluginManager InvokeAll failed.[FUNC:Initialize][FILE:ops_kernel_manager.cc][LINE:94]         OpsManager initialize failed.[FUNC:InnerInitialize][FILE:gelib.cc][LINE:139]         GELib::InnerInitialize failed.[FUNC:Initialize][FILE:gelib.cc][LINE:93]  
  • [技术干货] AI将会促生哪些新的职业
    [toc]引言在科技日新月异的今天,人工智能(AI)作为最具变革性的技术之一,正以前所未有的速度重塑着我们的世界。从智能家居到自动驾驶,从精准医疗到智能制造,AI技术的广泛应用不仅极大地提升了生产效率,还深刻改变了人们的生活方式。然而,AI技术的快速发展并不仅仅意味着对传统行业的颠覆,它更是一个催化剂,催生了一系列全新的职业领域,为人类社会带来了前所未有的发展机遇。随着算法的不断优化、算力的持续提升以及大数据的广泛积累,AI技术已经具备了强大的学习和推理能力。这种能力使得AI系统能够在许多领域超越人类,完成复杂而精细的任务。然而,AI的“智能”并非凭空而来,它背后离不开一群专业人士的辛勤工作和智慧结晶。正是这些专业人士,通过不断训练和优化AI模型、标注高质量的训练数据、设计有效的输入提示、审核AI生成的内容以及保障AI系统的安全运行,共同推动了AI技术的不断进步和广泛应用。以下是我列举的可能出现的职业编号职业内容1数据标注师专门打标大模型的训练数据、微调数据和 RLHF 数据。这是个体力活,对文化水平要求高,数据质量决定模型上限2AI训练师专职负责 AI 大模型的训练,包括作业监控和重启,部分工作类似之前的运维工程师,不过职责更细一点3AI应用开发工程师负责设计、开发和优化基于人工智能技术的应用程序和系统的专业人员。利用现有AI大模型的能力,解决复杂问题,提升产品智能化水平4AI提示词工程师利用自然语言处理(NLP)技术,向生成型人工智能(AI)工具提供输入文本,即提示,来获取或训练AI的输出5AI内容审核师专职负责内容安全,验证信息过滤训练数据中的有害内容,还有图像或视频的真实性以及来源是否具有版权。可能还需要监控大模型服务过程中的舆情问题,比如产出敏感内容,并监督与研究AI系统的道德发展6AI紧急设置停止工程师工程师设计和实施机制,以防止AI系统在发生故障或误用时继续运行探讨AI将会促生哪些新的职业,不仅是对未来科技发展趋势的一次展望,更是对人类社会职业结构变化的一次深刻洞察。本文将从多个维度出发,深入分析AI技术如何催生新的职业岗位,以及这些新职业对社会发展产生的深远影响。希望通过本文的探讨,能够激发更多人对AI技术的兴趣和关注,共同迎接AI时代带来的新机遇和新挑战。一、数据标注师:数据质量的守护者在人工智能的浩瀚宇宙中,数据是驱动一切智能应用的基石。然而,原始数据如同未经雕琢的璞玉,其价值与潜力需经过精心打磨方能显现。在这个过程中,数据标注师作为数据质量的守护者,扮演着不可或缺的角色。他们通过细致入微的工作,为AI模型提供了准确、丰富、有意义的学习素材,确保了AI系统的智能性与准确性。1.1. 定义与重要性数据标注师是专门负责将原始数据转化为机器学习算法可理解格式的专业人员。他们通过手动或辅助工具的方式,对图像、文本、音频、视频等多种类型的数据进行标注,为AI模型提供明确的标签、分类或结构信息。这一过程是AI训练与优化的关键环节,直接影响着模型的性能与效果。因此,数据标注师的工作对于提升AI系统的智能水平至关重要。例如下图,对图片中的动物进行分类除了对图像进行分类外,还有对文本语句进行打标等操作1.2. 精细化的标注工作数据标注工作往往要求极高的精确度和细致度。以图像标注为例,数据标注师需要准确识别并标注出图像中的目标对象、边界框、关键点等信息,确保每个标注都符合特定的规范与标准。这不仅需要扎实的专业知识,还需要良好的耐心与细心。对于文本数据,标注师则需根据任务需求进行分词、词性标注、命名实体识别等操作,以便模型能够更好地理解语言结构与语义信息。例如对汽车进行框选包括华为云ModelArts的找云宝项目,都需要对图像进行预先标注1.4. 质量控制的关键环节数据质量是AI模型性能的重要保障。数据标注师在标注过程中,需严格遵守质量控制流程,确保标注数据的准确性、一致性与完整性。他们需对标注结果进行反复审核与校验,及时发现并纠正错误与遗漏,确保每一份数据都能为模型训练提供有价值的支持。同时,数据标注师还需关注数据分布的均衡性,避免模型因数据偏差而产生偏见或歧视。并且对数据进行清洗,保证训练数据的可靠性1.5. 技术与工具的应用随着AI技术的不断发展,数据标注工具与平台也日益丰富与智能化。数据标注师需熟练掌握各种标注工具的使用技巧,提高标注效率与准确性。同时,他们还需关注新技术、新方法的动态,积极探索与应用自动化标注、半自动化标注等先进技术,以减轻人工负担并提升标注质量。自动化标注工具可谓是取之于AI,用之于AI。它可以通过AI初步生成一个工具,然后自动进行标注,接着人工校验,最终再喂给AI,让AI更加智能1.6. 持续学习与适应AI领域日新月异,新的应用场景与需求不断涌现。数据标注师需保持高度的学习热情与适应能力,紧跟技术前沿与行业趋势,不断提升自己的专业素养与技能水平。他们需了解不同领域的数据特点与标注要求,掌握多样化的标注技巧与方法,以应对日益复杂多变的标注任务。二、AI训练师:AI模型的幕后导师在人工智能(AI)日益渗透我们生活的每一个角落的今天,AI模型的性能与智能化水平直接决定了其应用场景的广度与深度。而在这场智能革命的背后,有一群鲜为人知却至关重要的角色——AI训练师,他们如同幕后导师一般,精心培育并引导着AI模型从稚嫩走向成熟。现在最流行的莫过于Transformer系列模型,现象级的代表模型有ChatGPT2.1. 定义与角色定位AI训练师,顾名思义,是负责训练和优化AI模型的专业人员。他们不仅精通机器学习、深度学习等前沿技术,还具备丰富的行业知识和实践经验。在AI系统的整个生命周期中,AI训练师扮演着至关重要的角色,从数据收集与处理、模型设计与训练,到性能评估与优化,每一个环节都离不开他们的精心操作与智慧投入。2.2. 数据工程师的延伸如果说数据是AI的“粮食”,那么AI训练师就是这些“粮食”的加工者与烹饪师。他们首先需要深入了解业务需求,明确模型需要解决的问题及预期目标。随后,从海量、复杂的数据中筛选出高质量、高相关性的数据作为训练集,这一过程往往涉及数据清洗、标注、增强等一系列复杂操作。通过精准的数据预处理,AI训练师为模型训练奠定了坚实的基础。2.4. 模型训练与优化在模型训练阶段,AI训练师需要根据问题特性选择合适的算法框架与模型结构,设置合理的超参数,并通过迭代训练不断优化模型性能。这一过程如同烹饪一道菜肴,需要不断调整火候、配料比例,以达到最佳口感。AI训练师需密切关注训练过程中的各项指标变化,如准确率、召回率、损失值等,及时发现问题并进行针对性调整。现在最为流行的微调方式当属:LoRA它在原始预训练语言模型(PLM)旁边增加一个旁路,做一个降维再升维的操作,来模拟所谓的内在秩。训练的时候固定 PLM 的参数,只训练降维矩阵 A 与升维矩阵 B。模型的输入输出维度不变,输出时将 BA 与 PLM 的参数叠加。用随机高斯分布初始化 A,用 0 矩阵初始化 B,保证训练的开始此旁路矩阵依然是 0 矩阵。2.5. 性能评估与调试模型训练完成后,AI训练师还需对模型进行严格的性能评估与测试。他们通过设计一系列测试用例,模拟真实场景下的应用需求,全面检验模型的鲁棒性、泛化能力及实时响应速度等指标。对于表现不佳的模型,AI训练师会深入分析原因,可能是数据问题、模型结构缺陷或训练策略不当等,并据此进行调试与优化。中文大模型跑分,最权威的网站当属:SuperCLUE,横向对比了10大基础能力和专业能力截至至2024年6月,得分排行榜如下,可以看到 GPT4 还是占据了榜首的位置2.6. 持续学习与创新随着AI技术的飞速发展,新的算法、框架与工具层出不穷。AI训练师需要保持高度的学习热情与敏锐的洞察力,紧跟技术前沿,不断探索与实践新的技术与方法。同时,他们还需具备创新思维,勇于挑战传统框架与模式,为AI模型的性能提升与应用拓展贡献智慧与力量。三、AI应用开发工程师:智能化时代的创造者在智能化浪潮席卷全球的今天,AI应用开发工程师作为这一时代的核心驱动力,正以前所未有的热情和创造力,塑造着我们的未来。他们不仅是技术的实践者,更是智能化解决方案的构思者与实现者,用代码编织着梦想,让AI技术真正融入人们的日常生活和工作中。例如之前很火的一个项目:AutoGPT。它由GPT-4驱动,将LLM“思想”连接在一起,以自主地实现您设置的任何目标。作为GPT-4完全自主运行的最早示例之一,Auto-GPT突破了人工智能的极限,将AI进程推向了新高度 -- 自主人工智能。网址为:cid:link_23.1 职业定义AI应用开发工程师是负责设计、开发和优化基于人工智能技术的应用程序和系统的专业人员。他们利用现有的AI大模型、算法库和工具集,结合业务需求,构建出能够解决复杂问题、提升效率、增强用户体验的智能化应用。从智能家居到自动驾驶,从智能客服到医疗辅助诊断,AI应用开发工程师的工作遍布各行各业,是推动社会智能化转型的重要力量。3.2 必备技能AI技术基础:掌握机器学习、深度学习、自然语言处理、计算机视觉等AI核心技术原理,了解不同算法的应用场景和优劣势。编程能力:精通至少一种编程语言(如Python、Java、C++等),能够熟练编写高质量的代码,实现AI算法和模型的部署与应用。数据处理与分析:具备数据清洗、预处理、特征工程等能力,能够高效处理大规模数据集,为AI模型提供高质量的训练数据。系统设计与优化:熟悉软件架构设计、性能优化、安全加固等技术,能够设计出高可用、可扩展、易维护的AI应用系统。业务理解能力:具备良好的沟通能力和业务敏感度,能够深入理解用户需求,将AI技术转化为解决实际问题的有效方案。3.3 工作范畴需求分析:与产品经理、业务团队紧密合作,收集并分析业务需求,明确AI应用的目标和功能。系统设计:根据需求分析结果,设计AI应用的整体架构、模块划分、接口定义等,确保系统的可维护性和可扩展性。模型选择与调优:根据业务需求选择合适的AI模型和算法,进行模型训练、评估和优化,确保模型的准确性和效率。系统集成与测试:将AI模型与前端展示、后端服务、数据库等组件进行集成,进行系统测试,确保应用的稳定性和安全性。运维与迭代:负责AI应用的日常运维工作,监控应用性能,收集用户反馈,持续优化应用功能和用户体验。3.4 行业影响与未来展望随着AI技术的不断成熟和普及,AI应用开发工程师的职业前景将更加广阔。未来,他们将在更多领域发挥重要作用,如智慧城市、智能制造、智能金融等,推动社会经济的全面智能化转型。同时,随着AI技术的深入发展,对AI应用开发工程师的专业技能和综合素质也将提出更高的要求,促使他们不断学习和进步,以适应快速变化的市场需求和技术趋势。例如最近取代滴滴司机的“萝卜快跑”就是一个很好的AI应用例子,通过AI代替人类。只要电力充足,AI不仅能够24小时工作,而且不易出错,更有着远低于人类的运营成本和更高的可靠性。四、AI提示词工程师:自然语言与AI的桥梁在人工智能与自然语言处理(NLP)的交融领域,AI提示词工程师扮演着至关重要的角色,他们是连接人类语言与AI系统之间的桥梁。通过精心设计的提示词(Prompts)或指令,AI提示词工程师能够引导AI模型理解复杂的人类意图,执行多样化的任务,并生成更加自然、准确的响应。4.1. 定义与角色定位AI提示词工程师专注于研究如何构建和优化自然语言提示词,以激发AI模型的最大潜能。他们不仅需深入理解NLP的基本原理和AI模型的工作原理,还需具备出色的语言组织能力和创新思维。通过巧妙地设计提示词,他们能够引导AI模型在特定场景下展现出更高级别的理解和生成能力。2023 年 11 月 8 日,新加坡政府科技局(GovTech)组织举办了首届 GPT-4 提示工程(Prompt Engineering)竞赛。数据科学家 Sheila Teo 最终夺冠,成为最终的提示女王(Prompt Queen)。之后,Teo 发布了一篇题为《我如何赢得了新加坡 GPT-4 提示工程赛》的博客文章,慷慨分享了其获胜法门。4.2. 精准引导与意图解析在构建AI系统时,如何确保模型能够准确理解用户的意图是一个核心挑战。AI提示词工程师通过设计清晰、具体的提示词,帮助模型在接收到输入时能够迅速捕捉关键信息,并据此作出相应的响应。他们不断优化提示词的结构和表达方式,以提高模型对复杂意图的解析能力,确保生成的输出既符合语法规范又贴近用户期望。例如,通过思维链(COT,Chain-of-Thought)技术,将一个问题拆解为多个步骤,最后给出答案,而不是让 模型直接给出答案。直接给答案的出错率更高。比如,你给 模型出了一个题目:“张三养了 10 条狗,每天照顾每条狗都要花半小时,请问他照顾这些狗要花费多长时间?”模型直接给答案的话可能会出错,当你提示 模型要“一步步地回答”时,它会告诉你:“张三养了 10 条狗,每天照顾每条狗都要花半小时,那就是 10 x 0.5 = 5 小时 / 天。5 小时 / 天 x 7 天 / 周 = 35 小时 / 周。答案是每周 35 小时。”思维链概念的开山之作是谷歌大脑研究员的Jason Wei在22年1月放到arxiv上面的文章,提出了思维链这个概念。简单来说,思维链是一种离散式提示学习,更具体地,大模型下的上下文学习(即不进行训练,将例子添加到当前样本输入的前面,让模型一次输入这些文本进行输出完成任务),相比于之前传统的上下文学习(即通过x1,y1,x2,y2,....x_test作为输入来让大模型补全输出y_test),思维链多了中间的一些闲言碎语絮絮叨叨,以下面这张图(图上的英文很简单,不用怕,初中水平就能看懂)为例子:4.4. 任务适应性与泛化能力随着AI应用场景的不断拓展,AI模型需要适应更多样化的任务需求。AI提示词工程师通过设计具有泛化能力的提示词,使模型能够在不同场景下保持稳定的性能表现。他们关注提示词的通用性和可迁移性,确保模型在面临新任务时能够迅速适应并给出合理的答案。同时,他们也不断探索新的提示词设计策略,以进一步提升模型的任务适应性和创造力。4.5. 创新提示词设计与优化AI提示词的设计是一个充满创意与挑战的过程。AI提示词工程师需不断尝试新的设计思路和方法,以激发模型产生更加新颖、有趣的输出。他们利用自然语言处理技术和数据分析工具,对提示词的效果进行量化评估和优化。通过反复迭代和调整,他们能够找到最适合当前任务场景的提示词组合,从而显著提升AI系统的整体性能。4.6. 跨学科合作与知识融合AI提示词工程师的工作往往需要与多个领域的专家进行合作。他们需与产品经理、数据科学家、UI/UX设计师等团队成员紧密配合,共同探索如何将自然语言与AI技术相结合,创造出更加优秀的用户体验。通过跨学科的知识融合和思维碰撞,他们能够不断拓展AI提示词的应用边界和可能性。五、AI内容审核师:数字世界的道德卫士在数字化浪潮席卷全球的今天,互联网已成为信息传播的主要渠道,其影响力之深、范围之广前所未有。然而,随着信息量的爆炸式增长,网络空间也面临着前所未有的挑战——内容质量的参差不齐、违法违规信息的泛滥,以及不良信息的潜在危害,这些都严重威胁着网络生态的健康与安全。在这一背景下,AI内容审核师应运而生,他们如同数字世界的道德卫士,守护着网络空间的清朗与秩序。5.1. AI内容审核师的诞生背景随着大数据、云计算、深度学习等技术的飞速发展,人工智能(AI)在内容审核领域展现出了巨大的潜力与优势。相较于传统的人工审核,AI内容审核能够实现24小时不间断工作,快速识别并过滤掉违法、色情、暴力、虚假等有害信息,极大地提高了审核效率与准确性。同时,面对海量数据,AI审核还能有效减轻人工审核的负担,使人力资源得以优化配置于更复杂、更具挑战性的任务上。5.2. AI内容审核师的角色定位AI内容审核师,虽名为“师”,实则更多是指挥与运用AI技术进行内容审核的专业人员。他们不仅需要具备深厚的技术功底,熟悉各类AI算法与模型,还需紧跟法律法规的更新,准确把握内容审核的标准与尺度。在数字世界中,他们既是技术的驾驭者,也是规则的守护者,通过不断优化AI审核系统,提升审核效能,确保网络空间的信息安全与健康。5.4. AI内容审核的技术挑战与应对尽管AI内容审核具有诸多优势,但其发展也面临着诸多挑战。一方面,随着网络黑产的日益猖獗,违法违规信息的伪装与变异手段层出不穷,给AI识别带来了巨大压力;另一方面,AI审核在理解与判断复杂情境、情感色彩等方面尚存不足,可能导致误判或漏判。针对这些挑战,AI内容审核师需持续跟进技术前沿,引入更先进的算法与模型,如自然语言处理(NLP)、图像识别、情感分析等,以提升审核的精准度与智能化水平。同时,加强人机协作,发挥人工审核在复杂情境判断中的优势,也是提升整体审核效能的重要途径。5.5. AI内容审核的未来展望随着技术的不断进步与应用的深化,AI内容审核将在未来发挥更加重要的作用。一方面,随着AI技术的日益成熟与普及,更多元化的内容形式(如视频、音频、VR/AR等)将得到更有效的审核;另一方面,AI内容审核将与区块链、大数据等前沿技术深度融合,构建起更加完善、高效的网络内容监管体系。在这个过程中,AI内容审核师将继续扮演关键角色,引领技术创新,推动网络空间治理迈向新高度。六、AI紧急设置停止工程师:AI安全的守护者在人工智能(AI)技术日新月异的今天,其广泛应用为各行各业带来了前所未有的变革与机遇。然而,随着AI系统的日益复杂和自主性的增强,潜在的安全风险也愈发凸显。为了确保AI系统的稳定运行,防止其因错误决策或外部攻击而引发不可预见的后果,AI紧急设置停止工程师应运而生,他们肩负着AI安全的守护重任,是确保AI技术健康发展的重要力量。6.1. 紧急停止机制的重要性AI紧急设置停止工程师的首要任务是设计并实施AI系统的紧急停止机制。这一机制能够在AI系统出现异常行为、超出预设范围或面临严重安全威胁时,迅速介入并终止其运行,从而避免潜在的风险和损失。紧急停止机制是AI安全体系中的最后一道防线,对于保障人类安全、维护社会稳定具有重要意义。6.2. 技术挑战与应对策略AI紧急设置停止工程师面临的技术挑战主要包括两个方面:一是如何准确识别AI系统的异常行为,确保在关键时刻能够迅速做出反应;二是如何在保证系统安全性的同时,尽量减少对正常业务的影响。为此,他们需要深入研究AI算法的工作原理,掌握其潜在的风险点,并设计出一套高效、精准的异常检测与响应机制。同时,加强与其他技术团队的协作,共同提升AI系统的整体安全性与稳定性。6.4. 紧急设置停止工程师的职责与技能AI紧急设置停止工程师不仅需要具备扎实的技术功底,熟悉AI算法、机器学习、网络安全等相关领域的知识,还需要具备敏锐的洞察力和判断力,能够在复杂多变的环境中迅速做出决策。他们的职责包括但不限于:设计并实施紧急停止机制、监控AI系统的运行状态、分析潜在的安全风险、制定应急预案以及参与安全事件的应急处置等。此外,他们还需要不断学习和掌握最新的安全技术和工具,以应对日益严峻的安全挑战。6.5. AI紧急设置停止工程师的未来展望随着AI技术的不断发展和普及,AI紧急设置停止工程师的角色将变得越来越重要。未来,他们将在保障AI系统安全、促进AI技术健康发展方面发挥更加关键的作用。一旦未来,AI像电影里演的那样进化出自己的意识,脱离我们的掌控,为防止人机大战的发生,我们不得不采取措施,通过紧急停止功能让AI变得可控。同时,随着技术的不断进步和应用场景的拓展,AI紧急设置停止工程师的工作也将面临更多的挑战和机遇。他们需要不断提升自己的专业技能和综合素质,以应对更加复杂多变的安全环境。结论在探索人工智能(AI)的广阔领域中,我们深刻认识到,技术的发展不仅带来了前所未有的机遇,也伴随着一系列复杂的挑战。从数据标注师到AI提示词工程师,再到AI内容审核师和AI紧急设置停止工程师,这些专业角色共同构成了AI生态系统中不可或缺的一环,他们各自在保障数据质量、促进语言理解、维护网络健康与守护系统安全等方面发挥着不可替代的作用。数据标注师作为数据质量的守护者,通过精细化的标注工作,为AI模型提供了高质量的“食材”,确保了AI系统的智能与精准。AI提示词工程师则架起了自然语言与AI之间的桥梁,通过精心设计的提示词,引导AI模型更好地理解人类意图,生成更符合期望的响应。AI内容审核师作为数字世界的道德卫士,守护着网络空间的清朗与秩序,确保信息的真实、合法与健康。而AI紧急设置停止工程师则是AI安全的最后一道防线,他们时刻准备着在关键时刻介入,防止AI系统因异常行为而引发不可预见的后果。这些专业角色的共同努力,不仅推动了AI技术的持续进步与发展,也为人类社会带来了更加智能、便捷、安全的生活方式。然而,我们也应清醒地认识到,AI技术的发展仍面临诸多挑战,如数据隐私保护、算法偏见、伦理道德等问题,需要我们持续关注与解决。因此,未来,我们期待看到更多跨学科、跨领域的合作与交流,共同推动AI技术的健康发展。同时,我们也应加强对AI技术人才的培养与引进,不断提升他们的专业技能与综合素质,以应对日益复杂多变的技术挑战。只有这样,我们才能更好地利用AI技术为人类服务,共创一个更加美好的未来。本文参与华为云社区【内容共创】活动第26期。 任务17:AI 将会促生哪些新的职业?
  • [问题求助] tritonserver启动服务检测ascend芯片失败问题
    tritonserver检测华为芯片失败,导致服务一直启动不了,芯片是310p的,npu-smi命令可以正常使用驱动是6.0版本的,cann包是6.0.1版本的,之前可以正常使用启动模型。再次尝试新容器的时候检测不到芯片导致模型无法启动,容器内目录均已挂载,容器内驱动npu-smi可以正常使用cann包可以正常使用。不知原因出在哪里。
  • [低码] modelarts的对应库的调用?
    开发文档modelarts部分是空白?现在存在modelarts对应的库吗?有什么案例展示modelarts+astro zero吗?
  • [开发环境] ModelArts上配置Ascend C有连接超时问题
    按照Ascend C环境准备_Ascend C_昇腾论坛 (hiascend.com)上的步骤三输入命令后,出现连接超时,如图求各位帮忙解答
  • [训练管理] 模型训练显示文件权限不足
    这是什么原因阿,试了半天也不行
  • [问题求助] E10501错误代码
    芯片类型:ascend310P别的模型可以正常转换,这个模型报错:错误代码E10501
  • [训练管理] cp: cannot stat '/home/ma-user/training/runtime-scripts-v2/scc': No such file or directory
    只要使用自定义镜像执行训练任务,就报这个错误:cp: cannot stat '/home/ma-user/training/runtime-scripts-v2/scc': No such file or directory在我本地运行完成没问题。
  • [问题求助] 挑战杯:应用部署baseline失败
    急急急!! 我将yolov5-for-pytorch里面的infer文件全部上传到obs中进行部署推理,但是部署在线服务时,报错:根据报错我尝试了将代码放入到 /infer/model下和  /infer/model/1  下都是同样的错误,请问这个该如何解决
  • [部署上线] 使用pycharm的里写的算法模型来部署到modelarts里失败的若干次尝试
    把本地pycharm训练无误的代码放在obs中:使用官方的镜像应用失败,缺少一些包,然后使用os.system和pip-requirements.txt的方法都不能成功的配置好环境(原因:连接超时,使用了包括华为源的五个镜像)。然后就使用modelarts的notebook pip下载包 然后打包成镜像用于应用也不行,会提示镜像只适用于https而不是http,但是选项是固定http的。接着我又尝试pycharm tookit连接notebook训练,然后在打包上传代码的过程中报错“missing / suffix”。所以这几种方法都不行。想请问官方是否有详细的教程或者这些问题应该如何解决(是我的处理有问题吗)。
  • [训练管理] ModelArts Pro 通用实体抽取工作流完成数据选择后点击“下一步”无法进入模型训练环节
    目前的状态如下图所示。点击下一步后一直停留在这个状态。是我之前的设置有问题还是数据标注有问题。请问该如何解决呢。
  • [其他问题] 咱们针对人工智能平台是否有具体教学视频
    咱们针对人工智能平台是否有具体教学视频
  • [训练管理] cp: cannot stat '/home/ma-user/training/runtime-scripts-v2/scc': No such file or directory
    time="2024-07-08T16:45:21+08:00" level=info msg="init logger successful" file="init.go:55" Command=bootstrap/init Component=ma-training-toolkit Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="current user 1000:100" file="init.go:57" Command=bootstrap/init Component=ma-training-toolkit Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="report event InitStart success" file="event.go:93" Command=bootstrap/init Component=ma-training-toolkit Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="init command: bash /home/ma-user/training/init.sh 's3://yolov5-coco128-test1/pytorch/code/yolov5/'" file="init.go:81" Command=bootstrap/init Component=ma-training-toolkit Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="scc is already installed, skipping this step..." Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="[init] toolkit_obs_upload_pid = 50" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="[init] running at 2024-07-08-16:45:21" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="[init] ip of the pod: 172.16.0.244" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:21+08:00" level=info msg="local dir = /home/ma-user/modelarts/log/" file="upload.go:207" Command=obs/upload Component=ma-training-toolkit Platform=ModelArts-Service Task= time="2024-07-08T16:45:21+08:00" level=info msg="obs dir = s3://modelarts-training-log-cn-north-4/edfc0c90-1c93-4c2b-b350-c5f5ba90305d/worker-0" file="upload.go:210" Command=obs/upload Component=ma-training-toolkit Platform=ModelArts-Service Task= time="2024-07-08T16:45:21+08:00" level=info msg="num of workers = 8" file="upload.go:215" Command=obs/upload Component=ma-training-toolkit Platform=ModelArts-Service Task= time="2024-07-08T16:45:21+08:00" level=info msg="start the periodic upload task, upload Period = 5 seconds " file="upload.go:221" Command=obs/upload Component=ma-training-toolkit Platform=ModelArts-Service Task= time="2024-07-08T16:45:22+08:00" level=info msg="report event DetectStart success" file="event.go:93" Command=report Component=ma-training-toolkit Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[task]Detect item: disk-size cache" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[detect] code: 0, message: ok, item: disk-size cache" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[task]Detect item: dns" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[detect] code: 0, message: ok, item: dns" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[task]Detect item: disk-size root" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[detect] code: 0, message: ok, item: disk-size root" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[task]Detect item: disk-size shm" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="[detect] code: 0, message: ok, item: disk-size shm" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:22+08:00" level=info msg="report event DetectFinish success" file="event.go:93" Command=report Component=ma-training-toolkit Platform=ModelArts-Service cp: cannot stat '/home/ma-user/training/runtime-scripts-v2/scc': No such file or directory time="2024-07-08T16:45:24+08:00" level=info msg="[init] autosearch_path is empty, skip the autosearch download" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:24+08:00" level=info msg="report event DownloadCodeStart success" file="event.go:93" Command=report Component=ma-training-toolkit Platform=ModelArts-Service time="2024-07-08T16:45:24+08:00" level=info msg="[init] start to download the code" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:24+08:00" level=info msg="[init] code_url: s3://yolov5-coco128-test1/pytorch/code/yolov5/" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:24+08:00" level=info msg="[init] modelarts_downloader_job_pid = 1222" Component=ShellScripts Platform=ModelArts-Service time="2024-07-08T16:45:24+08:00" level=info msg="Main: modelarts-downloader starting with Namespace(dst='./', recursive=True, skip_creating_dir=False, src='s3://yolov5-coco128-test1/pytorch/code/yolov5/', trace=False, type='common', verbose=False)" Component=PythonScripts Platform=ModelArts-Service 使用自定义镜像训练代码时报错,但是我的桶里没有这个文件。
  • [开发环境] 开发环境Pycharm问题报错:missing / suffix
    开发时一直报错2024/07/02 11:36:19  {"error_msg":"Invalid obs path: /ganggangxiazai/test2/train/MA-new-resnet-07-02-11-27-949/code/resnet.zip, reason: missing / suffix, details: %!s(MISSING)","error_code":"ModelArts.2791","error_solution":"Check the obs path."}大概意思是在resnet.zip后缺少了“/”符号,所以得出结论是.zip文件没有解压,问题是解压是由modelarts在云端控制的,本地Pycharm toolkit工具只会上传压缩包,难道我哪里没有配置对吗,作业上传配置如下:obs桶内倒是确实有压缩包,只不过每次都是Pycharm toolkit自动上传的,无法让他强制上传非压缩文件
  • [开发环境] Notebook中使用Ascend 910B4训练模型npu AI core占用为0%
    在ModelArt的notebook创建了基于Ascend 910B4的环境,运行代码时在npu上的计算非常慢,显示npu AI core占用率为0%,但是如下的代码中torch.npu.is_available()的输出为Trueprint("torch.npu.is_available(): ",torch.npu.is_available()) torch.npu.set_device('npu:0') torch_npu.npu.set_device('npu:0') device = torch.device('npu:0' if torch.npu.is_available() else 'cpu') print("devise:----------", device)另外,我运行下面这个简单的测试脚本用了二十多秒:import torch  import torch_npu  device = torch.device('npu:0' if torch.npu.is_available() else 'cpu')  torch.npu.set_device(device)  #创建一个简单的张量并在NPU上进行计算  a = torch.randn(1000, 1000, device=device)  print(a)  b = torch.randn(1000, 1000, device=device)  print(b)  c = a + b  print(c)求助怎么解决训练模型时npu AI core占用0%的问题
总条数:3065 到第
上滑加载中