-
华为云ModelArts赋能加密金融:DeepSeek构建具备策略自适应进化能力的AI分析机器人一、项目概述1.1 项目背景加密金融市场以其高波动性和24/7不间断交易特性著称,这给投资者带来了前所未有的挑战。在这个信息爆炸的时代,人工分析已经难以跟上市场节奏,而传统的自动化交易系统又缺乏足够的智能性和适应性。华为云ModelArts是华为云提供的一站式AI开发平台,提供了DeepSeek大模型,结合ECS高性能计算资源,为构建具备策略自适应进化能力的AI分析机器人提供了强大支持,可以实现从信号监控、智能分析到自动交易的全流程智能化。1.2 案例流程 图1:案例实施流程1.3 资源概览本案例(演示)预计花费总计0元/月(按需付费可能有所不同),本地开发、调试都是免费的,还可以免费领取Token。资源名称规格单价(元/月)数量ModelArtsDeepseekR1按需计费1ECS4核、4G、5M按需计费11.4 适用对象AI分析机器人的设计旨在满足不同类型用户的需求,主要适用于以下群体:用户类型特点描述适用场景核心价值个人开发者具备编程基础,希望开发AI交易系统的开发者系统二次开发、功能定制、API集成提供完整的开发文档和API接口,支持自定义策略和功能扩展高校学生对AI和加密金融感兴趣的学生群体学习研究、毕业设计、创新创业提供详细的技术文档和示例代码,便于学习和实践加密金融爱好者对加密市场感兴趣,希望了解AI分析技术的爱好者市场研究、技术探索、投资参考提供直观的分析报告和可视化界面,降低使用门槛市场研究机构需要大量数据支持研究的分析机构市场趋势研究、Token生命周期分析、风险评估提供大量结构化数据和分析结果,支持深度研究和报告生成二、技术挑战与解决方案2.1 加密金融市场挑战据最新统计,加密金融市场每日交易量超过1000亿美元,价格波动率是传统金融市场的5-10倍。在这样的环境下,投资者面临着几个关键痛点:信息过载:每天产生的市场信号、社交媒体讨论和新闻报道数以万计,人工无法全面处理决策延迟:从发现机会到执行交易的时间窗口极短,人工决策往往错失良机情绪干扰:人类交易者容易受到恐惧和贪婪情绪影响,导致非理性决策策略固化:传统交易系统策略一旦设定很少调整,无法适应市场变化图2:加密金融市场的主要痛点与挑战2.2 AI分析机器人实现构建一个真正智能的交易分析系统面临着多重技术挑战:多源异构数据处理:需要同时处理结构化交易数据和非结构化社交媒体信息实时性要求:系统需要在毫秒级别完成信号接收、分析和决策策略进化机制:如何让系统能够从历史交易中学习并自我优化风险控制:在追求收益的同时,如何有效控制风险面对这些挑战,我们需要一个集成了先进AI技术、具备自适应进化能力的智能交易系统。系统的核心功能包括:多模态信息分析:同时处理结构化交易数据和非结构化文本信息风险评估:对每个交易机会进行1-10分的风险评分收益预测:基于历史数据预测可能的收益范围交易决策生成:综合各项指标,生成明确的交易建议以下流程图展示了AI分析机器人的核心工作流程,从信号监听到交易执行的完整闭环: 图3:AI分析机器人系统逻辑流程图系统逻辑流程主要包括以下几个环节:信号监听与解析:持续监听TG频道,捕获并解析交易信号AI智能分析:利用ModelArts对信号进行多维度分析风险评估:对潜在交易机会进行风险评分和收益预测交易决策生成:综合分析结果,生成明确的交易建议交易执行:根据决策自动执行交易操作结果记录:记录交易过程和结果策略进化:基于历史数据,优化决策模型系统设计理念:"让AI的客观分析弥补人类决策的情绪偏差,让人类的经验智慧指导AI的进化方向"三、策略自适应进化机制3.1 交易策略进化系统最大的创新点在于其策略自适应进化机制。传统交易系统往往采用固定的决策规则,而我们的系统能够从历史交易中不断学习,自动调整决策阈值和策略参数。策略进化机制的工作流程如下:历史数据收集:系统记录每次交易的详细信息,包括决策依据和实际结果特征提取:从历史交易中提取关键特征,如社区情绪、风险评级、资金流动等模式识别:识别成功交易和失败交易的共同特征策略优化:基于分析结果,自动调整决策阈值和权重效果验证:在新交易中应用优化后的策略,并持续监控效果 // 策略自适应进化核心代码 async evolveStrategy() { try { logger.info('------开始执行策略自适应进化分析...'); // 加载历史交易数据 const tradeLogFile = path.join(__dirname, '../logs/trades.json'); let tradeHistory = []; if (fs.existsSync(tradeLogFile)) { const fileContent = fs.readFileSync(tradeLogFile, 'utf8'); tradeHistory = JSON.parse(fileContent); } // 提取关键特征 const features = tradeHistory.map(trade => { // 从分析结果中提取关键信息 const analysis = trade.analysisResult.toLowerCase(); return { tokenSymbol: trade.tokenSymbol, timestamp: trade.timestamp, // 社区情绪和市场动态 communityMood: analysis.includes('社区情绪积极') || analysis.includes('社区反应良好') ? '积极' : analysis.includes('社区情绪消极') || analysis.includes('社区反应不佳') ? '消极' : '中性', // 买入决策相关 decision: analysis.includes('建议购买') ? '购买' : '放弃', // 风险评估 riskLevel: (analysis.match(/风险评估:(\d+)/) || [])[1] || '未知', // 资金流动相关 hasNegativeNetInflow: analysis.includes('净流入为负') || analysis.includes('资金流出'), hasHighVolatility: analysis.includes('高波动性') || analysis.includes('波动性高') || analysis.includes('极高的波动性'), hasDeveloperSellAll: analysis.includes('sell all') || analysis.includes('开发者卖出'), hasLowLiquidity: analysis.includes('流动性低') || analysis.includes('流动性较低'), hasKOLBuying: analysis.includes('kol') && analysis.includes('买入'), // 交易计划相关 hasProfitTarget: analysis.includes('止盈点') || analysis.includes('止盈价格'), hasStopLoss: analysis.includes('止损点') || analysis.includes('止损价格'), hasBatchSelling: analysis.includes('分批卖出') || analysis.includes('分批出售'), // 交易结果(如果有) tradingResult: trade.tradingResult || '未知', // 原始数据 buyAmount: trade.buyAmount, tokenAddress: trade.tokenAddress }; }); // 构建分析提示词 const historicalPrompt = ` 请分析以下历史交易数据,找出决策模式和改进方向: ${JSON.stringify(features)} 请提供以下分析: 1. 失败交易的3个主要原因 2. 成功交易的3个关键特征 3. 改进交易策略的3个建议 4. 是否存在可能错过的潜在机会(例如,拒绝了但市场表现良好的代币) 5. 如何调整决策阈值以提高成功率 `; // 调用华为云ModelArts进行分析 const systemContent = '你是一个专业的加密金融数据分析师,擅长从历史数据中总结经验并提供具体的改进建议。'; const analysisResult = await aiService.callDeepseekAPI(historicalPrompt, systemContent); // 保存分析结果并应用到未来决策中 // ... return { success: true, result: analysisResult }; } catch (error) { logger.error('分析历史交易数据时出错:', error); return { success: false, message: `分析出错: ${error.message}` }; } } 通过这种自适应进化机制,系统能够不断从自身的交易历史中学习,逐步提高决策准确性。这种"自我进化"能力是传统交易系统所不具备的,也是本项目的核心创新点。 3.2 交易执行系统在生成交易决策后,会自动执行交易通知并实施多级风险控制。整个过程无需人工干预,大大提高了交易效率。 // 执行购买订单核心代码 async executeBuyOrder(message, tokenInfo, analysisResult) { try { logger.info('准备执行购买订单...'); // 默认购买金额(SOL) let buyAmount = process.env.DEFAULT_BUY_AMOUNT || '0.01'; // 构建购买命令 const buyCommand = `/buy ${tokenInfo.address} ${buyAmount}`; logger.info(`准备执行购买命令: ${buyCommand}`); // 发送购买命令到邮件里...交易通知 logger.info(`已发送购买命令到 ${tradingBot}`); // 记录交易信息 const tradeInfo = { timestamp: new Date().toISOString(), tokenAddress: tokenInfo.address, tokenName: tokenInfo.name, tokenSymbol: tokenInfo.symbol, buyAmount: buyAmount, oldMessage: message, analysisResult: analysisResult }; // 保存交易记录到文件 this.saveTradeRecord(tradeInfo); return true; } catch (error) { logger.error(`执行购买订单时出错: ${error.message}`); return false; } } 系统的风险控制机制包括:交易金额限制:系统默认设置较小的交易金额,降低单笔交易风险止损机制:每笔交易都设置明确的止损点,限制最大损失分批卖出策略:采用分批卖出策略,锁定部分利润交易记录审计:所有交易都有详细记录,便于后续分析和优化 四、华为云平台应用4.1 ModelArts平台介绍华为云ModelArts是本系统的核心AI能力提供者。ModelArts提供了从数据处理、模型训练到推理服务的全流程AI开发平台,极大地简化了AI应用的开发和部署过程。 图5:华为云ModelArts在AI分析机器人中的应用决策引擎的核心功能包括:多模态信息分析:同时处理结构化交易数据和非结构化文本信息风险评估:对每个交易机会进行1-10分的风险评分收益预测:基于历史数据预测可能的收益范围交易决策生成:综合各项指标,生成明确的交易建议 // AI服务类核心代码 async analyzeTrading(message, options = {}) { const modelName = options.model || this.defaultModel; const buyAmount = options.buyAmount || process.env.DEFAULT_BUY_AMOUNT || '0.01'; try { logger.info(`正在使用 ${modelName} 分析交易信息...`); // 构建提示词 const prompt = ` 你是一个顶级加密金融交易专家,帮我深度分析: 1、我可以接受中级风险投资。 2、报告里增加情绪分析、趋势预测和风险评估(1-10分,10分最高风险)。 3、搜索 X 或网络上的最新动态和社区情绪,给我更全面的信息。 4、综合交易信息与最新动态和社区情绪信息,判断是否买入,给出具体买入理由。 5、如果建议买入,假设我投入 ${buyAmount} SOL,必须明确给出完整的交易计划,包括买入价格、止损价格、止盈价格和分批卖出计划,交易机器人会按照你给的交易方案执行。 ... `; // 调用华为云ModelArts API let aiResponse; if (modelName === 'deepseek') { aiResponse = await this.callDeepseekAPI(prompt); } else if (modelName === 'openai') { aiResponse = await this.callOpenAIAPI(prompt); } else { throw new Error(`不支持的模型: ${modelName}`); } // 分析响应内容,判断是否建议购买 const shouldBuy = aiResponse.toLowerCase().includes('报告结果:建议购买'); // 提取理由 let reason = aiResponse; if (reason.length > 200) { reason = reason.substring(0, 200) + '...'; } return { shouldBuy, reason, fullAnalysis: aiResponse }; } catch (error) { logger.error(`${modelName} 分析失败: ${error.message}`); throw error; } } 4.2 ECS服务介绍系统的稳定运行离不开可靠的基础设施支持。华为云ECS(弹性云服务器)为AI分析机器人提供了高性能、高可用的计算环境。图6:基于华为云ECS的系统部署架构华为云ECS在本项目中的关键价值:高性能计算:提供强大的CPU和内存资源,确保AI模型推理和数据处理的高效执行弹性扩展:根据交易量和分析需求自动调整资源配置,优化成本高可用性:多可用区部署,确保系统7*24小时稳定运行安全防护:提供多层次安全防护,保障交易数据安全五、系统实施效果与价值5.1 性能指标与改进效果相比传统交易分析方法,AI分析机器人在多个关键指标上都取得了显著提升。主要性能指标:指标传统方法AI分析机器人提升幅度信号识别准确率65%92%+27%决策响应时间30-60秒3-5秒-90%风险评估准确性70%89%+19%策略优化周期人工周/月级自动日级提速30倍多源数据处理能力单一数据源多源异构数据能力扩展5.2 业务价值与实际案例AI分析机器人在实际应用中创造了显著的业务价值,以下是一个真实案例分析:案例:Solana生态新代币分析与交易2025年3月,系统监测到一个KOL购买信号。传统分析可能仅关注价格和交易量,但AI分析机器人通过多维度分析,发现该Token具有以下特点:开发者持续增加流动性(而非减少)KOL净流入为正且持续增长社区情绪积极且活跃度高安全指标全部通过(NoMint、Blacklist、Burnt)系统自动执行了购买决策,并设置了分批卖出策略。最终系统成功锁定了较大的收益。通过策略自适应进化机制,系统能够从每次交易中学习,不断优化决策模型。以下是系统自动生成的一份策略优化报告摘要: 策略优化报告(自动生成) 时间:2025-03-6 1. 失败交易的3个主要原因: - 开发者状态为"Sell All"的Token,失败率达85% - 流动性低于50K USD的Token,失败率达78% - KOL净流入为负的Token,失败率达72% 2. 成功交易的3个关键特征: - 社区情绪积极且持有者数量>1000 - 开发者持续增加流动性 - 价格6小时变化率>15%且交易量稳定增长 3. 改进建议: - 提高"开发者状态"在决策权重中的比例 - 对流动性低于50K USD的Token设置更严格的购买条件 - 增加社区活跃度分析维度 系统已自动应用以上优化建议到决策模型中。 六、基础环境及资源准备要成功部署和运行AI分析机器人,需要准备以下基础环境和资源:部署文档① 需要准备好华为云账号,并开通ModelArts服务,拿到ModelArts的API KEY、DEEPSEEK_API_URL,这时就有AI分析服务了;② 需要准备好TG的账号,并进群组 [@gmgnsignals],这时就有信号源了;③ 下载示例代码,将ModelArts的API KEY,还有DEEPSEEK_API_URL 粘贴到.env文件中,启动AI分析服务,这时AI分析机器人就可以正常工作了;④ 首次启动TG需要输入账号、密码、验证码登录,登录后 session 保存在本地,以后免登录。⑤ 本工程核心文件是index.js,工程难度并不复杂,工程代码1000行,适合初学者学习。⑥ 如需测试交易功能,需在TG关注机器人[@US_GMGNBOT],点击 /start 激活。只为学习使用,不建议在真实交易中使用,风险自负。6.1 硬件资源需求资源类型最低配置推荐配置用途说明华为云ECSc6.large (2vCPUs, 4GB内存)c6.2xlarge (4vCPUs, 4GB内存)运行核心服务和数据处理存储空间50GB高IO云硬盘存储交易数据和模型文件网络带宽5Mbps确保与API的稳定连接ModelArtsDeepseekR1DeepseekR1模型调用、训练和推理6.2 软件环境配置# 操作系统环境- 操作系统:Ubuntu 20.04 LTS- Node.js:v16.x 或更高版本- npm:v8.x 或更高版本# 核心依赖包- axios: ^1.8.1 (HTTP请求)- dayjs: ^1.11.13 (日期处理)- dotenv: ^16.3.1 (环境变量)- openai: ^4.86.1 (AI接口)- telegraf: ^4.15.3 (Bot框架)- winston: ^3.11.0 (日志记录)- ws: ^8.14.2 (WebSocket)# 华为云服务配置- ModelArts服务:开通并配置访问权限- OBS对象存储:用于存储模型和数据- IAM身份认证:配置适当的访问权限 6.3 核心配置系统运行需要核心配置:华为云账户:用于访问ModelArts和其他云服务TG账户:用于监听消息、发起交易监听信号群组:[@gmgnsignals],由gmgn.ai提供机器人(可选):[@US_GMGNBOT],点击 /start 激活安全提示:所有API密钥应妥善保存在环境变量或安全的密钥管理服务中,避免硬编码在代码中。建议使用华为云KMS(密钥管理服务)进行统一管理。6.4 环境配置详解以下是创建华为云ECS实例的详细操作指南:登录华为云控制台:cid:link_1在导航菜单中选择"计算 > 弹性云服务器 ECS"点击"购买云服务器"按钮按照以下配置进行选择:计费模式:按需计费区域:根据您所在位置选择最近的区域可用区:可用区1规格:通用计算增强型 c6.2xlarge (4vCPUs, 4GB内存)镜像:公共镜像 > Ubuntu 20.04 LTS系统盘:高IO 100GB网络:默认VPC,或创建新的VPC安全组:开放22、80、443端口设置登录凭证(密码或密钥对)确认配置并完成购买图7:华为云ECS实例创建步骤6.5 AI服务配置以下是配置ModelArts访问权限的详细步骤:登录华为云控制台,进入ModelArts服务在左侧导航栏选择"设置 > 全局配置"创建API密钥:点击"创建 API Key"按钮设置API密钥描述点击"确定"创建API密钥复制并安全保存API密钥(只显示一次) 图8:ModelArts API密钥设置七、系统实际运行与测试7.1 启动AI分析服务在本地配置 Node.js 开发环境:Node.js 环境搭建 # 1. 安装 Node.js - 访问 https://nodejs.org/ - 下载并安装 LTS 版本(推荐 v16.x 或更高版本) # 2. 验证安装 node -v npm -v # 3. 克隆项目代码 git clone https://github.com/linapex/AiAnalysisBot.git cd AiAnalysisBot # 4. 安装依赖包 npm install # 5. 配置环境变量 cp .env.example .env # 编辑 .env 文件,填入必要的配置信息: # - DEEPSEEK_API_KEY=你的华为云ModelArts API密钥 # - DEEPSEEK_API_URL=你的Deepseek API地址 # 6. 启动开发服务器 node src/index.js # 7. 后台运行(生产环境) npm install -g pm2 pm2 start src/index.js --name tudog 图9:TG监听服务运行截图 图10:AI分析服务运行截图 7.2 系统效果验证验证系统运行效果:检查logs目录下,AI分析结果和交易决策观察的如开启机器人,决策成功后是否给机器人发送 /buy 指令注意:程序只用于分析决策,不建议用于交易,请自行评估风险 八、未来展望与规划8.1 技术迭代方向深度强化学习应用:引入深度强化学习技术,使系统能够通过与市场环境的交互不断优化交易策略大模型微调优化:基于华为云ModelArts平台,对大模型进行金融领域专业知识微调,提升分析精度多链生态支持:扩展对更多区块链生态的支持,包括Ethereum Layer2、Polkadot等知识图谱整合:构建加密金融领域知识图谱,增强系统的推理能力和决策解释性 结语华为云ModelArts和ECS为构建具备策略自适应进化能力的AI分析机器人提供了强大支持。通过多模态分析、自适应进化和实时决策能力,系统有效解决了加密金融市场中的信息过载、决策延迟和策略固化等痛点问题。随着AI技术的不断发展和华为云服务的持续优化,我们有理由相信,这类智能交易系统将在金融科技领域发挥越来越重要的作用,为投资者创造更大的价值。需要特别提醒的是,加密金融市场具有高风险特性,投资者在使用任何交易系统时都应审慎评估风险,合理配置资金比例,避免过度依赖自动化系统。 正在参加【案例共创】第3期 华为云ModelArts赋能加密金融:构建具备策略自适应进化能力的AI分析机器人 https://bbs.huaweicloud.com/forum/thread-0218176004967264062-1-1.html
-
本次直播获奖名单公示如下(视频号抽奖及直播间未登录问卷用户无用户名),【互动体验有奖活动进行中】赢开发者定制冲锋衣、华为无线耳机等丰厚礼品!:获奖环节奖品华为云账号/微信昵称在线时长抽奖开发者定制冲锋衣/在线时长抽奖开发者定制冲锋衣/口令抽奖开发者定制斜挎包/口令抽奖开发者定制斜挎包/视频号抽奖开发者定制鼠标垫Sp****视频号抽奖开发者定制电脑支架联想****视频号抽奖开发者定制保温杯种德****视频号抽奖开发者定制保温杯旭日****厂(广告制作)视频号抽奖开发者定制保温杯lu****视频号抽奖华为FreeBuds SE 2无线耳机爱上****天开发者空间部署DeepSeek抽奖开发者定制斜挎包hi****i3vpkenq176iu开发者空间部署DeepSeek抽奖开发者定制斜挎包hi****kw4d0vlfoo8fa开发者空间部署DeepSeek抽奖开发者定制冲锋衣hi****148bbb2xfbysq开发者空间部署DeepSeek抽奖开发者定制冲锋衣cs****eke开发者空间部署DeepSeek抽奖华为FreeBuds SE 2无线耳机nu****an分享直播间抽奖开发者定制短袖T恤fe****ier6分享直播间抽奖开发者定制短袖T恤wa****ying007分享直播间抽奖开发者定制短袖T恤hw****59446分享直播间抽奖开发者定制短袖T恤hi****dn-fhshlvnwng分享直播间抽奖开发者定制短袖T恤hi****frx0d_5_rqqau分享直播间抽奖开发者定制128gU盘hw****64285分享直播间抽奖开发者定制128gU盘la****分享直播间抽奖开发者定制128gU盘ge****man_yang
-
随着人工智能技术的飞速发展,智能助手已经成为我们日常生活中不可或缺的一部分。无论是智能手机上的语音助手,还是企业内部的智能客服系统,智能助手都在为我们提供便捷、高效的服务。今天,我们将介绍如何利用华为云的Maas(Model-as-a-Service,大模型即服务)平台和Chatbox(来构建一个本地的智能助手。一、Maas与Chatbox简介Maas平台:Maas是华为云提供的一个强大的大模型即服务平台。它允许开发者轻松地使用预训练的AI模型进行各种自然语言处理任务,如文本生成、情感分析、问答系统等。Maas平台提供了丰富的API接口,使得开发者可以快速地集成AI功能到自己的应用中。Chatbox AI:Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。二、开通MaaS服务1、打开modelArts Studio控制台附上控制台地址:2、点击模型部署,领取对应模型,当前每个模型提供200万个tokens,测试学习基本够用了 3、点击调用获取api地址和模型名称4、创建API Key,左侧鉴权管理-创建API Key5、保存创建的密钥信息,备留后续步骤使用 三、本地安装Chatbox AI客户端下载地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载按需下载自己需要的版本下载完直接安装即可,win下一步一步安装 四、配置Chatbox AI1、点击使用自己的apikey或者本地模型2、模型提供方选择自定义提供方3、按照说明配置,填写名称,自己随意定义,填写mass的地址、api key,模型名称在设置页面可以参考以下列表进行配置。说明 模型提供方下拉选择模型提供方。名称填写定义模型提供方名称。API 域名填写模型服务调用地址。API 路径填写模型服务调用路径。API 密钥填写模型服务调用 API 密钥。模型填写调用的模型(本方案以 deepseek-r1 模型为例,可自行配置其它模型进行体验)。4、点击保存后就可以体验自己的智能助手了 我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
-
在人工智能技术的迅猛推动下,AI问答系统已成为企业与用户之间沟通的重要工具。为了构建一个既高效又智能,同时还易于扩展的AI问答系统,结合使用华为云提供的Maas(Model-as-a-Service,即大模型即服务)平台和开源的Dify第三方框架打造一个智能知识库问答系统一、组件介绍1、MaasMaas(Model-as-a-Service),华为推出的大模型即服务平台,一站式部署托管业界主流开源大模型,开放API结合业界主流Agent开发框架,轻松构建AI Agent应用2、Docker一种开源的容器化平台,它允许开发人员将应用程序及其所有依赖项打包到一个独立的容器中,从而实现快速部署、可移植性和环境一致性。容器化技术将应用程序与底层系统解耦,使得应用可以在几乎任何地方以相同的方式运行,3、Dify是一个开源的AI编排引擎,它旨在简化和自动化AI服务的管理、编排以及集成工作流。通过提供统一的接口和平台,Dify帮助开发人员和团队高效地构建、管理和部署AI应用程序。在知识库系统中,Dify可以集成多个AI模型和工具,实现复杂的工作流自动化,从而提高系统的处理效率和准确性。二、开通MaaS服务1、打开modelArts Studio控制台附上控制台地址:ModelArts - Console2、点击模型部署,领取对应模型,当前每个模型提供200万个tokens,测试学习基本够用了 3、点击调用获取api地址和模型名称4、创建API Key,左侧鉴权管理-创建API Key5、保存创建的密钥信息,备留后续步骤使用 三、安装docker使用apt安装dockersudo apt-get update sudo apt install docker.iosudo apt install docker-compose修改docker为国内源#编辑daemon.json文件sudo vi /etc/docker/daemon.json添加如下内容{"registry-mirrors": ["https://docker.registry.cyou","https://docker-cf.registry.cyou","https://dockercf.jsdelivr.fyi","https://docker.jsdelivr.fyi","https://dockertest.jsdelivr.fyi","https://mirror.aliyuncs.com","https://dockerproxy.com","https://mirror.baidubce.com","https://docker.m.daocloud.io","https://docker.nju.edu.cn","https://docker.mirrors.sjtug.sjtu.edu.cn","https://docker.mirrors.ustc.edu.cn","https://mirror.iscas.ac.cn","https://docker.rainbond.cc"]}重启docker查看docker状态systemctl daemon-reloadsystemctl restart dockersudo systemctl status docker 四、在Docker上部署Dify克隆dify的docker镜像git clone https://github.com/langgenius/dify.git 在docker部署 difycd dify cd dockersudo docker-compose up -d等下载部署完成检查容器状态sudo docker ps -a五、配置dify使用浏览器访问http://your_server_ip:180/install 首次访问会出现上面的注册页面,填入信息即可。后续访问,查询到已注册,会自动跳转到登录页面配置dify,模型供应商选择open-opi-compatible,填入获取api地址、模型名称、api-key,点击保存 在Dify上创建知识库,上传自己的知识库,然后分段设置那里选择自动分段与清洗,索引方式那里选择经济型,最后保存并处理。创建一个应用助手 选择聊天助手,填写应用名称,点击创建填写提示词,上下文选择刚才创建的知识库至此就可以使用本地的知识库问答系统来回答我们的问题了 我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
-
创建新的模型任务显示创建失败
-
按照要求官网的教程下载了ascend-pytorch镜像(Ubuntu 20.04版本),并在ModelArts的容器镜像管理中心进行了注册和自定义,但是始终无法启动开发环境的Notebook。下载的镜像版本:制作Docker时的命令为# Replace it with the actual image version. FROM swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-pytorch:24.0.RC3-A2-2.1.0-ubuntu20.04 # Set the user ma-user whose UID is 1000 and the user group ma-group whose GID is 100 USER root RUN default_user=$(getent passwd 1000 | awk -F ':' '{print $1}') || echo "uid: 1000 does not exist" && \ default_group=$(getent group 100 | awk -F ':' '{print $1}') || echo "gid: 100 does not exist" && \ if [ ! -z ${default_user} ] && [ ${default_user} != "ma-user" ]; then \ userdel -r ${default_user}; \ fi && \ if [ ! -z ${default_group} ] && [ ${default_group} != "ma-group" ]; then \ groupdel -f ${default_group}; \ fi && \ groupadd -g 100 ma-group && useradd -d /home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user && \ # Grant the read, write, and execute permissions on the target directory to the user ma-user. chmod -R 750 /home/ma-user USER ma-user
-
小白也能看懂的DeepSeek-R1本地部署与华为云集成指南春节期间Deepseek凭借其出色的性能表现,吸引了众多技术爱好者的目光,会用的人说巨好用,但是也有很多人说也不过如此,其实这么多国际巨头都震惊,自然是非常惊艳的一款产品。如果你也渴望在本地部署该模型,深入探索其强大功能,那么这篇攻略将为你提供详细的指导。这里面我将给大家演示的是windows和mac双平台的部署。废话不多说,现在开始和大家一起了解DeepSeek并完成部署。一、DeepSeek技术全景解析DeepSeek是一家专注通用人工智能(AGI)的中国科技公司,主攻大模型研发与应用。DeepSeek-R1是其开源的推理模型,擅长处理复杂任务且可免费商用。核心定位中国首个开源MoE架构千亿参数大模型(671B)多模态理解能力:文本/图像/音视频混合数据处理技术突破混合专家架构(MoE):动态激活专家模块提升效率多头潜在注意力(MLA):多维度特征捕捉万亿token训练数据:医疗/编程/法律等专业领域优势AI+国产+免费+开源+强大二、DeepSeek应用场景全景企业级应用智能客服:多轮对话与情感分析(日均处理百万级咨询)代码开发:项目级代码补全与调试(支持30+编程语言)垂直领域医疗辅助:症状识别准确率提升40%1教育创新:个性化学习方案生成(覆盖K12到职业教育),教育:学科解题/语言陪练(展示数学题分步解析)生活服务智能行程规划:多条件约束优化(天气/预算/偏好)内容创作:爆款文案生成(支持多平台风格适配),生成元宵节灯谜示例科研:论文润色/数据可视化(展示4数据分析案例)开发:代码生成/自动化测试(演示简单脚本编写)三、华为云深度集成优势昇腾算力加持昇腾(Ascend)是华为自主研发的一系列高性能AI处理器,广泛应用于加速人工智能计算,包括训练和推理算力与性能:升腾910作为旗舰级AI处理器,基于达芬奇架构,采用先进的7nm工艺制造,特别适合大规模AI训练,在INT8精度下表现出色。达芬奇架构指令集:具有高度灵活性,支持高效运算密集型CISC指令,专门用于神经网络,有助于新模型的研发和快速部署。部署革命ModelEngine平台:一键部署DeepSeek全系模型对偶流水线机制:GPU利用率提升至92%生态优势与ZStack/腾讯云/阿里云对比:唯一支持国产芯片私有化部署四、基础环境搭建(一)安装 Ollama常规下载首先,访问Ollama 官网 ,根据你的操作系统(Windows、Mac 或 Linux),选择对应的安装包进行下载。我这里以mac和windows为例,如果大家安装不了,也可以在我的公众号nutpi回复“Ollama”获取快速下载链接。安装验证安装完成后,为了确认 Ollama 是否成功安装,在终端输入ollama -v 。如果安装正确,终端会显示 Ollama 的版本号,这就表明你已经成功完成了基础环境搭建的第一步。关于如何打开终端,我想说的是mac的话,找到这个工具,windows的话,win+r输入cmd。然后检查ollama -v下载完成后,按照安装向导的提示逐步完成安装。在安装过程中,Ollama 服务会自动在电脑后台运行。五、模型部署(一)依据硬件精准选型打开Ollama 模型库 ,你会看到丰富多样的 DeepSeek-R1 模型版本,如 1.5B、7B、32B 等。根据自身电脑硬件配置来选择合适的模型版本至关重要。以下是本地部署 DeepSeek 系列模型(1.5B、7B、8B、14B、32B)在 Windows、macOS、Linux 三个平台的最低和推荐硬件配置指南。配置需求主要基于模型的显存(GPU)、内存(RAM)和计算资源需求,同时考虑不同平台的优化差异。通用配置原则模型显存占用(估算):每1B参数约需 1.5-2GB显存(FP16精度)或 0.75-1GB显存(INT8/4-bit量化)。例如:32B模型在FP16下需约 48-64GB显存,量化后可能降至 24-32GB。内存需求:至少为模型大小的2倍(用于加载和计算缓冲)。存储:建议NVMe SSD,模型文件大小从1.5B(约3GB)到32B(约64GB)不等。分平台配置建议以下按模型规模和平台分类,提供 最低配置 和 推荐配置。1.5B 模型平台最低配置推荐配置Windows- CPU: Intel i5 / Ryzen 5- CPU: Intel i7 / Ryzen 7- RAM: 8GB- RAM: 16GB- GPU: NVIDIA GTX 1650 (4GB)- GPU: RTX 3060 (12GB)macOS- M1/M2 芯片(8GB 统一内存)- M1 Pro/Max 或 M3 芯片(16GB+)Linux- CPU: 4核- CPU: 8核- RAM: 8GB- RAM: 16GB- GPU: NVIDIA T4 (16GB)- GPU: RTX 3090 (24GB)7B/8B 模型平台最低配置推荐配置Windows- CPU: Intel i7 / Ryzen 7- CPU: Intel i9 / Ryzen 9- RAM: 16GB- RAM: 32GB- GPU: RTX 3060 (12GB)- GPU: RTX 4090 (24GB)macOS- M2 Pro/Max(32GB 统一内存)- M3 Max(64GB+ 统一内存)Linux- CPU: 8核- CPU: 12核- RAM: 32GB- RAM: 64GB- GPU: RTX 3090 (24GB)- 多卡(如2x RTX 4090)14B 模型平台最低配置推荐配置Windows- GPU: RTX 3090 (24GB)- GPU: RTX 4090 + 量化优化- RAM: 32GB- RAM: 64GBmacOS- M3 Max(64GB+ 统一内存)- 仅限量化版本,性能受限Linux- GPU: 2x RTX 3090(通过NVLink)- 多卡(如2x RTX 4090 48GB)- RAM: 64GB- RAM: 128GB32B 模型平台最低配置推荐配置Windows- 不推荐(显存不足)- 需企业级GPU(如RTX 6000 Ada)macOS- 无法本地部署(硬件限制)- 云API调用Linux- GPU: 4x RTX 4090(48GB显存)- 专业卡(如NVIDIA A100 80GB)- RAM: 128GB- RAM: 256GB + PCIe 4.0 SSD平台差异说明Windows:依赖CUDA和NVIDIA驱动,推荐使用RTX 30/40系列。大模型(14B+)需借助量化或模型分片技术。macOS:仅限Apple Silicon芯片(M1/M2/M3),依赖Metal加速。模型规模超过14B时性能显著下降,建议量化或云端部署。Linux:支持多GPU扩展和高效资源管理(如NVIDIA Docker)。适合部署大型模型(14B+),需专业级硬件。注意事项量化优化:使用4-bit/8-bit量化可大幅降低显存需求(如bitsandbytes)。框架支持:优先选择优化好的库(如vLLM、DeepSpeed、HuggingFace)。散热:长时间推理需确保散热(建议风冷/水冷)。建议根据实际需求选择硬件,并优先在Linux环境下部署大模型。(二)顺利下载与稳定运行确定适合自己电脑配置的模型版本后,就可以开始下载和运行模型了。打开终端或 CMD 命令窗口,输入对应的运行指令:若选择 1.5B 版本,输入ollama run deepseek-r1:1.5b 。若选择 7B 版本,输入ollama run deepseek-r1:7b 。我Mac选择的是这个。若选择 8B 版本,输入ollama run deepseek-r1:8b 。我win选择的是这个。若选择 32B 版本,输入ollama run deepseek-r1:32b 。六、打造专属 AI 聊天室(一)安装配置 “Cherry Studio”下载前往Cherry Studio 官方网站,根据你的操作系统(支持 Windows、Mac 和 Linux)下载对应的安装包安装下载完成后,对于 Windows 系统,双击安装包,按照安装向导提示完成安装,期间可能需要同意用户协议、选择安装路径等常规步骤;对于 Mac 系统,将下载的应用程序文件拖移到 “应用程序” 文件夹;配置打开 Cherry Studio,在设置中找到 “模型设置” 选项。模型选择:从模型列表中选择与你本地部署的 DeepSeek-R1 模型版本对应的选项,如果没有直接匹配项,选择支持自定义模型配置的入口。自定义配置:在自定义配置中,将 API 地址设置为http://localhost:11434 ,这是 Ollama 服务的默认接口地址,确保 Cherry Studio 能连接到本地运行的 DeepSeek-R1 模型。模型参数设置:根据你的硬件配置和使用需求,设置模型的相关参数,如最大生成长度、温度等,一般默认参数即可满足常见需求,但对于特定任务,你可以适当调整,比如生成创意文本时,可将温度调高至 0.8 - 1.0,以增加文本的多样性;进行严谨的知识问答时,可将温度调低至 0.5 - 0.7 ,使回答更稳定。API密钥大家随意设置就好,然后点击检查就好。配置完成后大家记得默认模型也可以配制成deepseek。(二)安装配置Chatbox 客户端Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用为了更便捷地与部署好的 DeepSeek-R1 模型进行交互,你可以下载开源客户端 Chatbox。访问官网 即可进行下载。Chatbox 支持中文界面与 Markdown 渲染,使用起来非常方便。下载安装好 Chatbox 后,打开软件进行关键配置:API 类型:选择 “OLLAMA”,这一步能确保 Chatbox 与我们部署的 DeepSeek-R1 模型进行正确通信。**接口地址:**填写http://localhost:11434 ,这个地址是 Ollama 服务的默认接口地址,通过它 Chatbox 可以连接到本地运行的 DeepSeek-R1 模型。模型名称:务必填写与之前下载的模型版本完全一致的名称,例如,如果之前下载的是 7B 版本,模型名称就必须填写deepseek-r1:7b ,否则可能会导致连接失败。通过以上步骤,你不仅可以使用 Cherry Studio还能通过Chatbox 与本地部署的 DeepSeek-R1 模型进行交互。希望大家都能顺利部署,开启属于自己的 AI 探索之旅。大家遇到问题也可以在后台私信我。这里面大家还有一个问题,就是如果自己的电脑环境配置不好,那么本地部署就玩不了,没事,这里面硅基流动x 华为云联合推出基于昇腾云的 DeepSeek R1&V3 推理服务!也是一个很不错的选择。七、硅基流动配置第一步,登陆账号,然后创建密钥,第二步cherry Studio配置打开设置,选择硅基流动,打开开关,然后上面复制的密钥添加进来,并在管理选择对应的模型。点击检查,看是否OK,第三步配置默认模型为了方便,我们还可以配置默认模型为deepseek-ai/DeepSeek-R1。第四步配置知识库首先在硅基流动配置嵌入模型然后配置知识库的时候,就可以看到硅基流动的嵌入模型啦。配置好以后,就可以添加对应的文件等作为知识库的内容啦。输入信息的时候,选择知识库,就可以啦,比如这里选择坚果派,选择好,以后,就可以对话啦第五步测试效果八、如何使用 DeepSeekrompt 万能框架一给大家一个公式身份:你是谁?(学生/打工牛马/…)任务:要解决什么问题?(写报告/做计划/分析数据…)细节:限制条件是什么?(时间/场景/禁忌…)格式:想要什么形式的结果?(表格/分段/口语化…)套用公式按“身份→任务→细节→格式”顺序重组问题:> “作为(身份),请(任务),要求(细节),用(格式)输出” 。不信你试试。请给出本地部署deepseek的电脑配置,要求包含每一个模型1.5b,7b,8b,14b,32b等,以及windows。mac。linux三个平台的硬件参数Prompt 万能框架二prompt万能框架=立角色+述问题+定目标+补要求。以下是使用Mermaid语法制作的「Prompt万能框架」甘特图,并提供修改说明:2025-05-062025-05-062025-05-072025-05-072025-05-082025-05-082025-05-092025-05-092025-05-102025-05-102025-05-11定义背景角色 明确对话立场 分析问题本质 设定问题边界 制定核心目标 规划成果形式 补充细节要求 设定约束条件 ▶️ 立角色❓ 述问题🎯 定目标📝 补要求Prompt万能框架甘特图在编写 Prompt 时,从0到1地编写出第一版 Prompt 往往是最难的,而基于已有 Prompt 利用各种技巧进行优化则相对简单。如上图所示,我们使用了一套 “万能模版”,把一个 Prompt 拆分成了 “立角色 + 述问题 + 定目标 + 补要求” 这四个部分,利用这个模版可以得到一个“及格”的 Prompt。下面我就具体和大家阐述一下这个模版是如何得到的,为什么他是有效的。Prompt 的作用就是根据我们的问题调用模型的能力,我们要通过提问的方式,明确的让模型知道我们想要什么,我们的目标是什么,从这个基本思想出发,Prompt 应该包含以下几点:问题是什么:首先你要告诉模型你的问题是什么,你的任务是什么,要尽量描述清楚你的需求。你要做什么:下面你需要告诉大模型具体要做什么,比如做一份攻略,写一段代码,对文章进行优化,等等。有什么要求:最后我们往往还需求对任务补充一些要求,比如按特定格式输出,规定长度限制,只输出某些内容,等等。通这 3 部分的描述我们就把 “要大模型做什么” 描述清楚了,这个想法十分自然,即便不是大模型,而是希望其他人为你完成某项任务,往往也需要通过这 3 部分把问题描述清楚。由于这仅仅是第一版 Prompt,你不需要描述的过于详细,也不需要使用技巧,只需要用简练的语言把这几部分描述清晰即可。参考Ollama 官网Ollama 模型库Cherry Studio 官方网站Chatbox官网坚果派硅基流动x 华为云联合推出基于昇腾云的 DeepSeek R1&V3 推理服务DeepSeek 提示词编写技巧典藏版!
-
使用 HarmonyOS NEXT和Mass快速开发NutPITalk运行环境DevEco Studio:5.0ReleaseOpenHarmony SDK API12开发板:润和DAYU200/Mate60 ProMassMass(即 ModelArts Studio大模型即服务平台)是华为云面向AI开发者推出的一站式大模型开发平台,支持开发者一键体验大模型能力,快速构建大模型应用。Mass平台提供大模型训练、推理、部署、管理、监控等全生命周期管理能力,帮助开发者快速构建大模型应用,加速AI开发。ModelArts Studio大模型即服务平台(MaaS)的应用场景:业界主流开源大模型覆盖全MaaS集成了业界主流开源大模型,含Llama、Baichuan、Yi、Qwen模型系列,所有的模型均基于昇腾AI云服务进行全面适配和优化,使得精度和性能显著提升。开发者无需从零开始构建模型,只需选择合适的预训练模型进行微调或直接应用,减轻模型集成的负担。零代码、免配置、免调优模型开发平台结合与100+客户适配、调优开源大模型的行业实践经验,沉淀了大量适配昇腾,和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力,和高度自动化的参数配置机制,使得模型优化过程不再依赖于手动尝试,显著缩短了从模型开发到部署的周期,确保了模型在各类应用场景下的高性能表现,让客户能够更加聚焦于业务逻辑与创新应用的设计。资源易获取,按需收费,按需扩缩,支撑故障快恢与断点续训企业在具体使用大模型接入企业应用系统的时候,不仅要考虑模型体验情况,还需要考虑模型具体的精度效果,和实际应用成本。MaaS提供灵活的模型开发能力,同时基于昇腾云的算力底座能力,提供了若干保障客户商业应用的关键能力。保障客户系统应用大模型的成本效率,按需收费,按需扩缩的灵活成本效益资源配置方案,有效避免了资源闲置与浪费,降低了进入AI领域的门槛。架构强调高可用性,多数据中心部署确保数据与任务备份,即使遭遇故障,也能无缝切换至备用系统,维持模型训练不中断,保护长期项目免受时间与资源损耗,确保进展与收益。大模型应用开发,帮助开发者快速构建智能Agents在企业中,项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策,然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型,提供优质Prompt模板,让大模型准确理解业务意图,分解复杂任务,沉淀出丰富的多个智能Agent,帮助企业快速智能构建和部署大模型应用。本案例中我们使用华为云开发者空间,基于HarmonyOS NEXT和Mass快速开发NutPITalk。鸿蒙融合智能力,AI助力人生梦!创新科技迎未来,Mass给接口!我们今天来看一下Mass和鸿蒙的结合,会有什么样的火花。免费领取云主机如您还没有云主机,可点击链接,根据领取指南进行操作。如您已领取云主机,可直接开始案例实践。用到资源资源列表消耗/时时长DevEco Studio免费30minModelArts Studio免费30min合计:0元实践ModelArts Studio 模型服务访问 ModelArts Studio 模型部署进入云主机,打开浏览器,输入 https://console.huaweicloud.com/modelarts/?region=cn-east-4&locale=zh-cn#/model-studio/deployment ,即可访问ModelArts Studio。领取免费 Token 额度领取千万免费token额度,可用于体验Qwen、Chatglm等系列模型,免费额度仅适合用于体验模型。Qwen2.5系列预置服务还支持Function Calling,可以用于构建Agent。获取大模型API和名称以Qwen2.5-72B-32K为例,点击更多-调用,获取API地址和模型名称。创建API Key在调用MaaS部署的模型服务时,需要填写API Key用于接口的鉴权认证。登录ModelArts管理控制台。在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。在ModelArts Studio左侧导航栏中,选择“鉴权管理”。在“鉴权管理”页面,单击“创建API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。左侧鉴权管理-创建API Key,保存创建的密钥信息最多创建5个密钥,密钥只会在新建后显示一次,请妥善保存。创建HarmonyOS NEXT项目添加权限"requestPermissions": [ { "name": "ohos.permission.INTERNET" } ], 网络请求用流式和非流式两种,非流式从@kit.NetworkKit中导入http命名空间。调用createHttp()方法,创建一个HttpRequest对象。调用该对象的on()方法,订阅http响应头事件,此接口会比request请求先返回。可以根据业务需要订阅此消息。调用该对象的request()方法,传入http请求的url地址和可选参数,发起网络请求。按照实际业务需要,解析返回结果。调用该对象的off()方法,取消订阅http响应头事件。当该请求使用完毕时,调用destroy()方法主动销毁。具体代码如下 getData() { // 每一个httpRequest对应一个HTTP请求任务,不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头,此接口会比request请求先返回。可以根据业务需要订阅此消息 // 从API 8开始,使用on('headersReceive', Callback)替代on('headerReceive', AsyncCallback)。 8+ httpRequest.on('headersReceive', (header) => { console.info('header: ' + JSON.stringify(header)); }); httpRequest.request( // 填写HTTP请求的URL地址,可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 "https://infer-modelarts.cn-east-4.myhuaweicloud.com/v1/infers/5f114f77-65c2-4e79-82df-d84b25b89d42/v1/chat/completions", { method: http.RequestMethod.POST, // 可选,默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json', "Authorization": "Bearer yourApiKey // 把yourApiKey替换成真实的API Key }, // 当使用POST请求时此字段用于传递请求体内容,具体格式与服务端协商确定 extraData: { "model": "Qwen2.5-72B-32K", "max_tokens": 20, "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "鸿蒙坚果派,你了解多少" } ], "stream": false, "temperature": 1.0 }, expectDataType: http.HttpDataType.STRING, // 可选,指定返回数据的类型 usingCache: true, // 可选,默认为true priority: 1, // 可选,默认为1 connectTimeout: 60000, // 可选,默认为60000ms readTimeout: 60000, // 可选,默认为60000ms usingProtocol: http.HttpProtocol.HTTP1_1, // 可选,协议类型默认值由系统自动指定 usingProxy: false, // 可选,默认不使用网络代理,自API 10开始支持该属性 }, (err: BusinessError, data: http.HttpResponse) => { if (!err) { // data.result为HTTP响应内容,可根据业务需要进行解析 console.info('Result:' + JSON.stringify(data.result)); console.info('code:' + JSON.stringify(data.responseCode)); // data.header为HTTP响应头,可根据业务需要进行解析 console.info('header:' + JSON.stringify(data.header)); console.info('cookies:' + JSON.stringify(data.cookies)); // 8+ // 当该请求使用完毕时,调用destroy方法主动销毁 httpRequest.destroy(); } else { console.error('error:' + JSON.stringify(err)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 当该请求使用完毕时,调用destroy方法主动销毁 httpRequest.destroy(); } } ); } 返回数据{ "id": "chat-7bde4ec9cba949c1829e589f4fa1f8b1", "object": "chat.completion", "created": 1736925731, "model": "Qwen2.5-72B-32K", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好!有什么可以帮到你的吗?", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 20, "total_tokens": 30, "completion_tokens": 10 }, "prompt_logprobs": null } 参数说明参数参数类型描述idStr请求ID。objectStr请求任务。createdInt请求生成的时间戳。modelStr调用的模型名。choicesArray模型生成内容。usageObject请求输入长度、输出长度和总长度。创建Model处理数据这里使用我们坚果派开发的IDE插件就好,搭建UI这里面,我们可以做个对话框流式数据从@kit.NetworkKit中导入http命名空间。调用createHttp()方法,创建一个HttpRequest对象。调用该对象的on()方法,可以根据业务需要订阅HTTP响应头事件、HTTP流式响应数据接收事件、HTTP流式响应数据接收进度事件和HTTP流式响应数据接收完毕事件。调用该对象的requestInStream()方法,传入http请求的url地址和可选参数,发起网络请求。按照实际业务需要,可以解析返回的响应码。调用该对象的off()方法,取消订阅响应事件。当该请求使用完毕时,调用destroy()方法主动销毁。具体代码如下:// 引入包名 import { http } from '@kit.NetworkKit'; import { BusinessError } from '@kit.BasicServicesKit'; // 每一个httpRequest对应一个HTTP请求任务,不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头事件 httpRequest.on('headersReceive', (header: Object) => { console.info('header: ' + JSON.stringify(header)); }); // 用于订阅HTTP流式响应数据接收事件 let res = new ArrayBuffer(0); httpRequest.on('dataReceive', (data: ArrayBuffer) => { const newRes = new ArrayBuffer(res.byteLength + data.byteLength); const resView = new Uint8Array(newRes); resView.set(new Uint8Array(res)); resView.set(new Uint8Array(data), res.byteLength); res = newRes; console.info('res length: ' + res.byteLength); }); // 用于订阅HTTP流式响应数据接收完毕事件 httpRequest.on('dataEnd', () => { console.info('No more data in response, data receive end'); }); // 用于订阅HTTP流式响应数据接收进度事件 class Data { receiveSize: number = 0; totalSize: number = 0; } httpRequest.on('dataReceiveProgress', (data: Data) => { console.log("dataReceiveProgress receiveSize:" + data.receiveSize + ", totalSize:" + data.totalSize); }); let streamInfo: http.HttpRequestOptions = { method: http.RequestMethod.POST, // 可选,默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json' }, // 当使用POST请求时此字段用于传递请求体内容,具体格式与服务端协商确定 extraData: "data to send", expectDataType: http.HttpDataType.STRING,// 可选,指定返回数据的类型 usingCache: true, // 可选,默认为true priority: 1, // 可选,默认为1 connectTimeout: 60000, // 可选,默认为60000ms readTimeout: 60000, // 可选,默认为60000ms。若传输的数据较大,需要较长的时间,建议增大该参数以保证数据传输正常终止 usingProtocol: http.HttpProtocol.HTTP1_1 // 可选,协议类型默认值由系统自动指定 } // 填写HTTP请求的URL地址,可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 httpRequest.requestInStream("EXAMPLE_URL", streamInfo).then((data: number) => { console.info("requestInStream OK!"); console.info('ResponseCode :' + JSON.stringify(data)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 取消订阅HTTP流式响应数据接收事件 httpRequest.off('dataReceive'); // 取消订阅HTTP流式响应数据接收进度事件 httpRequest.off('dataReceiveProgress'); // 取消订阅HTTP流式响应数据接收完毕事件 httpRequest.off('dataEnd'); // 当该请求使用完毕时,调用destroy方法主动销毁 httpRequest.destroy(); }).catch((err: Error) => { console.info("requestInStream ERROR : err = " + JSON.stringify(err)); }); 示例代码 # coding=utf-8 import requests import json if __name__ == '__main__': url = "xxxxxxxxxx/v1/chat/completions" # Send request. headers = { 'Content-Type': 'application/json', 'Authorization': 'Bearer yourApiKey' # 把yourApiKey替换成已获取的API Key。例如,获取的API Key是“1234abcd...”时,此处填写“Bearer 1234abcd...”。 } data = { "model": "Qwen2-7B", # 调用时的模型名称。 "max_tokens": 20, "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "hello"} ], # 是否开启流式推理,默认为False,表示不开启流式推理。 "stream": False, # 在流式输出时是否展示使用的token数目。只有当stream为True时该参数才会生效。 # "stream_options": {"include_usage": True}, # 控制采样随机性的浮点数,值较低时模型更具确定性,值较高时模型更具创造性。"0"表示贪婪取样。默认为1.0。 "temperature": 1.0 } resp = requests.post(url, headers=headers, data=json.dumps(data), verify=False) # Print result. print(resp.status_code) print(resp.text) 可以请求到数据,FAQrequest和requestInStream使用区别在于:request接口有5M的数据,如果响应大于5M用requestinstream。参考https://support.huaweicloud.com/usermanual-maas-modelarts/maas-modelarts-0011.htmlhttps://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/http-request-V5https://daqianduan.feishu.cn/docx/NSCsd3xNfoXEKvxTVqRcJTahnuh三方库列表https://plugins.jetbrains.com/plugin/25151-json2ets致谢感谢每一个关注此项目的开发者,也是希望大家对文章有任何建议,可以在https://www.nutpi.net/讨论。
-
使用 HarmonyOS NEXT和Mass快速开发NutPITalk运行环境DevEco Studio:5.0ReleaseOpenHarmony SDK API12开发板:润和DAYU200/Mate60 ProMassMass(即 ModelArts Studio大模型即服务平台)是华为云面向AI开发者推出的一站式大模型开发平台,支持开发者一键体验大模型能力,快速构建大模型应用。Mass平台提供大模型训练、推理、部署、管理、监控等全生命周期管理能力,帮助开发者快速构建大模型应用,加速AI开发。ModelArts Studio大模型即服务平台(MaaS)的应用场景:业界主流开源大模型覆盖全MaaS集成了业界主流开源大模型,含Llama、Baichuan、Yi、Qwen模型系列,所有的模型均基于昇腾AI云服务进行全面适配和优化,使得精度和性能显著提升。开发者无需从零开始构建模型,只需选择合适的预训练模型进行微调或直接应用,减轻模型集成的负担。零代码、免配置、免调优模型开发平台结合与100+客户适配、调优开源大模型的行业实践经验,沉淀了大量适配昇腾,和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力,和高度自动化的参数配置机制,使得模型优化过程不再依赖于手动尝试,显著缩短了从模型开发到部署的周期,确保了模型在各类应用场景下的高性能表现,让客户能够更加聚焦于业务逻辑与创新应用的设计。资源易获取,按需收费,按需扩缩,支撑故障快恢与断点续训企业在具体使用大模型接入企业应用系统的时候,不仅要考虑模型体验情况,还需要考虑模型具体的精度效果,和实际应用成本。MaaS提供灵活的模型开发能力,同时基于昇腾云的算力底座能力,提供了若干保障客户商业应用的关键能力。保障客户系统应用大模型的成本效率,按需收费,按需扩缩的灵活成本效益资源配置方案,有效避免了资源闲置与浪费,降低了进入AI领域的门槛。架构强调高可用性,多数据中心部署确保数据与任务备份,即使遭遇故障,也能无缝切换至备用系统,维持模型训练不中断,保护长期项目免受时间与资源损耗,确保进展与收益。大模型应用开发,帮助开发者快速构建智能Agents在企业中,项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策,然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型,提供优质Prompt模板,让大模型准确理解业务意图,分解复杂任务,沉淀出丰富的多个智能Agent,帮助企业快速智能构建和部署大模型应用。本案例中我们使用华为云开发者空间,基于HarmonyOS NEXT和Mass快速开发NutPITalk。鸿蒙融合智能力,AI助力人生梦!创新科技迎未来,Mass给接口!我们今天来看一下Mass和鸿蒙的结合,会有什么样的火花。免费领取云主机如您还没有云主机,可点击链接,根据领取指南进行操作。如您已领取云主机,可直接开始案例实践。用到资源资源列表消耗/时时长DevEco Studio免费30minModelArts Studio免费30min合计:0元实践ModelArts Studio 模型服务访问 ModelArts Studio 模型部署进入云主机,打开浏览器,输入 https://console.huaweicloud.com/modelarts/?region=cn-east-4&locale=zh-cn#/model-studio/deployment ,即可访问ModelArts Studio。领取免费 Token 额度领取千万免费token额度,可用于体验Qwen、Chatglm等系列模型,免费额度仅适合用于体验模型。Qwen2.5系列预置服务还支持Function Calling,可以用于构建Agent。获取大模型API和名称以Qwen2.5-72B-32K为例,点击更多-调用,获取API地址和模型名称。创建API Key在调用MaaS部署的模型服务时,需要填写API Key用于接口的鉴权认证。登录ModelArts管理控制台。在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。在ModelArts Studio左侧导航栏中,选择“鉴权管理”。在“鉴权管理”页面,单击“创建API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。左侧鉴权管理-创建API Key,保存创建的密钥信息最多创建5个密钥,密钥只会在新建后显示一次,请妥善保存。创建HarmonyOS NEXT项目添加权限"requestPermissions": [ { "name": "ohos.permission.INTERNET" } ], 网络请求用流式和非流式两种,非流式从kit.NetworkKit中导入http命名空间。调用createHttp()方法,创建一个HttpRequest对象。调用该对象的on()方法,订阅http响应头事件,此接口会比request请求先返回。可以根据业务需要订阅此消息。调用该对象的request()方法,传入http请求的url地址和可选参数,发起网络请求。按照实际业务需要,解析返回结果。调用该对象的off()方法,取消订阅http响应头事件。当该请求使用完毕时,调用destroy()方法主动销毁。具体代码如下 getData() { // 每一个httpRequest对应一个HTTP请求任务,不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头,此接口会比request请求先返回。可以根据业务需要订阅此消息 // 从API 8开始,使用on('headersReceive', Callback)替代on('headerReceive', AsyncCallback)。 8+ httpRequest.on('headersReceive', (header) => { console.info('header: ' + JSON.stringify(header)); }); httpRequest.request( // 填写HTTP请求的URL地址,可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 "https://infer-modelarts.cn-east-4.myhuaweicloud.com/v1/infers/5f114f77-65c2-4e79-82df-d84b25b89d42/v1/chat/completions", { method: http.RequestMethod.POST, // 可选,默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json', "Authorization": "Bearer yourApiKey // 把yourApiKey替换成真实的API Key }, // 当使用POST请求时此字段用于传递请求体内容,具体格式与服务端协商确定 extraData: { "model": "Qwen2.5-72B-32K", "max_tokens": 20, "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "鸿蒙坚果派,你了解多少" } ], "stream": false, "temperature": 1.0 }, expectDataType: http.HttpDataType.STRING, // 可选,指定返回数据的类型 usingCache: true, // 可选,默认为true priority: 1, // 可选,默认为1 connectTimeout: 60000, // 可选,默认为60000ms readTimeout: 60000, // 可选,默认为60000ms usingProtocol: http.HttpProtocol.HTTP1_1, // 可选,协议类型默认值由系统自动指定 usingProxy: false, // 可选,默认不使用网络代理,自API 10开始支持该属性 }, (err: BusinessError, data: http.HttpResponse) => { if (!err) { // data.result为HTTP响应内容,可根据业务需要进行解析 console.info('Result:' + JSON.stringify(data.result)); console.info('code:' + JSON.stringify(data.responseCode)); // data.header为HTTP响应头,可根据业务需要进行解析 console.info('header:' + JSON.stringify(data.header)); console.info('cookies:' + JSON.stringify(data.cookies)); // 8+ // 当该请求使用完毕时,调用destroy方法主动销毁 httpRequest.destroy(); } else { console.error('error:' + JSON.stringify(err)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 当该请求使用完毕时,调用destroy方法主动销毁 httpRequest.destroy(); } } ); } 返回数据{ "id": "chat-7bde4ec9cba949c1829e589f4fa1f8b1", "object": "chat.completion", "created": 1736925731, "model": "Qwen2.5-72B-32K", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好!有什么可以帮到你的吗?", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 20, "total_tokens": 30, "completion_tokens": 10 }, "prompt_logprobs": null } 参数说明参数参数类型描述idStr请求ID。objectStr请求任务。createdInt请求生成的时间戳。modelStr调用的模型名。choicesArray模型生成内容。usageObject请求输入长度、输出长度和总长度。创建Model处理数据这里使用我们坚果派开发的IDE插件就好,搭建UI这里面,我们可以做个对话框流式数据从@kit.NetworkKit中导入http命名空间。调用createHttp()方法,创建一个HttpRequest对象。调用该对象的on()方法,可以根据业务需要订阅HTTP响应头事件、HTTP流式响应数据接收事件、HTTP流式响应数据接收进度事件和HTTP流式响应数据接收完毕事件。调用该对象的requestInStream()方法,传入http请求的url地址和可选参数,发起网络请求。按照实际业务需要,可以解析返回的响应码。调用该对象的off()方法,取消订阅响应事件。当该请求使用完毕时,调用destroy()方法主动销毁。具体代码如下:// 引入包名 import { http } from '@kit.NetworkKit'; import { BusinessError } from '@kit.BasicServicesKit'; // 每一个httpRequest对应一个HTTP请求任务,不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头事件 httpRequest.on('headersReceive', (header: Object) => { console.info('header: ' + JSON.stringify(header)); }); // 用于订阅HTTP流式响应数据接收事件 let res = new ArrayBuffer(0); httpRequest.on('dataReceive', (data: ArrayBuffer) => { const newRes = new ArrayBuffer(res.byteLength + data.byteLength); const resView = new Uint8Array(newRes); resView.set(new Uint8Array(res)); resView.set(new Uint8Array(data), res.byteLength); res = newRes; console.info('res length: ' + res.byteLength); }); // 用于订阅HTTP流式响应数据接收完毕事件 httpRequest.on('dataEnd', () => { console.info('No more data in response, data receive end'); }); // 用于订阅HTTP流式响应数据接收进度事件 class Data { receiveSize: number = 0; totalSize: number = 0; } httpRequest.on('dataReceiveProgress', (data: Data) => { console.log("dataReceiveProgress receiveSize:" + data.receiveSize + ", totalSize:" + data.totalSize); }); let streamInfo: http.HttpRequestOptions = { method: http.RequestMethod.POST, // 可选,默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json' }, // 当使用POST请求时此字段用于传递请求体内容,具体格式与服务端协商确定 extraData: "data to send", expectDataType: http.HttpDataType.STRING,// 可选,指定返回数据的类型 usingCache: true, // 可选,默认为true priority: 1, // 可选,默认为1 connectTimeout: 60000, // 可选,默认为60000ms readTimeout: 60000, // 可选,默认为60000ms。若传输的数据较大,需要较长的时间,建议增大该参数以保证数据传输正常终止 usingProtocol: http.HttpProtocol.HTTP1_1 // 可选,协议类型默认值由系统自动指定 } // 填写HTTP请求的URL地址,可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 httpRequest.requestInStream("EXAMPLE_URL", streamInfo).then((data: number) => { console.info("requestInStream OK!"); console.info('ResponseCode :' + JSON.stringify(data)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 取消订阅HTTP流式响应数据接收事件 httpRequest.off('dataReceive'); // 取消订阅HTTP流式响应数据接收进度事件 httpRequest.off('dataReceiveProgress'); // 取消订阅HTTP流式响应数据接收完毕事件 httpRequest.off('dataEnd'); // 当该请求使用完毕时,调用destroy方法主动销毁 httpRequest.destroy(); }).catch((err: Error) => { console.info("requestInStream ERROR : err = " + JSON.stringify(err)); }); 示例代码 # coding=utf-8 import requests import json if __name__ == '__main__': url = "xxxxxxxxxx/v1/chat/completions" # Send request. headers = { 'Content-Type': 'application/json', 'Authorization': 'Bearer yourApiKey' # 把yourApiKey替换成已获取的API Key。例如,获取的API Key是“1234abcd...”时,此处填写“Bearer 1234abcd...”。 } data = { "model": "Qwen2-7B", # 调用时的模型名称。 "max_tokens": 20, "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "hello"} ], # 是否开启流式推理,默认为False,表示不开启流式推理。 "stream": False, # 在流式输出时是否展示使用的token数目。只有当stream为True时该参数才会生效。 # "stream_options": {"include_usage": True}, # 控制采样随机性的浮点数,值较低时模型更具确定性,值较高时模型更具创造性。"0"表示贪婪取样。默认为1.0。 "temperature": 1.0 } resp = requests.post(url, headers=headers, data=json.dumps(data), verify=False) # Print result. print(resp.status_code) print(resp.text) 可以请求到数据,FAQrequest和requestInStream使用区别在于:request接口有5M的数据,如果响应大于5M用requestinstream。参考https://support.huaweicloud.com/usermanual-maas-modelarts/maas-modelarts-0011.htmlhttps://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/http-request-V5三方库列表https://plugins.jetbrains.com/plugin/25151-json2ets致谢感谢每一个关注此项目的开发者,也是希望大家对文章有任何建议,可以在https://www.nutpi.net/讨论。
-
轻松搭建知识库:CherryStudio 联手华为云的实践指南在当今数字化时代,知识管理对于个人和企业都至关重要。CherryStudio 作为一款全能 AI 助手平台,与华为云强强联手,为用户提供了搭建本地知识库系统的便捷方案。本文将详细介绍如何利用 CherryStudio 和华为云实现知识库的搭建和管理。一、CherryStudio:全能 AI 助手平台CherryStudio 是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。其高度自定义的设计、强大的扩展能力和友好的用户体验,使其成为专业用户和 AI 爱好者的理想选择。无论是零基础用户还是开发者,都能在 CherryStudio 中找到适合自己的 AI 功能,提升工作效率和创造力。二、本地知识库系统(一)多种格式支持本地知识库系统支持 PDF、DOCX、PPTX、XLSX、TXT、MD 等多种文件格式导入,满足用户不同的文档管理需求。(二)多种数据源支持系统支持本地文件、网址、站点地图甚至手动输入内容作为知识库源,方便用户从多种渠道获取和整合知识。(三)知识库导出用户可以将处理好的知识库导出并分享给他人使用,实现知识的共享和传播。(四)支持搜索检查知识库导入后,用户可实时检索测试,查看处理结果和分段效果,确保知识库的质量和可用性。三、华为云操作步骤(一)创建账号登录首先,到 华为云 创建账号并登录。(二)进入 Maa S 控制台点击 此链接,进入 Maa S 控制台。(三)授权在控制台中进行授权操作,确保后续操作的顺利进行。(四)模型部署点击侧栏的 “模型部署”,全部领取,以便使用华为云提供的模型资源。(五)创建 API Key点击侧栏的 “鉴权管理”,创建 API Key(秘钥)并复制,用于后续在 CherryStudio 中的配置。(六)在 CherryStudio 中配置在 CherryStudio 里创建新服务商,创建华为云。将服务商地址粘贴到 CherryStudio 的服务商地址当中,并在结尾加上 “#” 号。然后把模型名称复制,到 CherryStudio 当中点 “+ 添加” 按钮新建模型,输入模型名称,不要添油加醋,不要带引号,按照示例中的写法进行操作。点击添加模型按钮即可完成添加。粘贴到CherryStudio的服务商地址当中并在结尾加上“#”号然后把模型名称复制,到CherryStudio当中点“+添加”按钮新建模型,输入模型名称,不要添油加醋,不要带引号,示例当中怎么写就怎么抄。四、总结通过以上步骤,华为云、本地知识库和 CherryStudio 就能够很好地结合在一起。结合鸿蒙知识,整个系统形成了一个闭环,为用户提供了一个高效、便捷的知识管理解决方案。无论是个人用户还是企业用户,都可以利用这一方案提升知识管理的效率和质量,实现知识的快速检索、共享和应用。五、未来展望随着技术的不断发展,CherryStudio 和华为云将继续优化和升级,为用户提供更多功能和更好的体验。我们期待这一解决方案能够在更多领域得到应用,为用户创造更大的价值。六、致谢感谢华为云提供的强大技术支持,以及 CherryStudio 团队的不懈努力。同时,感谢所有开发者的信任和支持。总结:CherryStudio 与华为云的结合,为用户搭建本地知识库系统提供了高效、便捷的解决方案。通过简单的操作步骤,用户可以轻松实现知识库的搭建、管理和应用。这一方案不仅提升了知识管理的效率,还为用户提供了更广阔的应用空间。我们相信,随着技术的不断进步,CherryStudio 和华为云将为用户带来更多惊喜和价值。
-
本期有奖互动体验获奖名单如下,相关问题专家正在解答中,请获奖的小伙伴在3月10日前填写问卷反馈收件信息:https://survey.huaweicloud.com/survey/#/qtn?id=aed102fdc0eb4d659206ff6644bf2535&utm_source=DTT 昵称/手机尾号互动内容mitenkilee【提问】1.在私有化部署中,如何建立高效的模型更新与维护机制,以确保DeepSeek模型的持续优化和稳定性?2.华为平台私有化部署DeepSeek时,如何通过技术手段确保数据在本地存储、传输和处理过程中的安全性,以满足GDPR、HIPAA等国际合规标准?3.在私有化部署中,如何利用DeepSeek的API接口与企业现有的IT系统(如ERP、CRM)无缝集成,以实现智能化业务流程?Hello Digger开发者如何在华为云上快速搭建基于DeepSeek的开发环境,有哪些推荐的工具和流程? 部署DeepSeek应用时,如何选择合适的计算实例类型? 在华为云上使用DeepSeek时,如何进行资源成本优化?有哪些策略可以降低开发和运营成本?是否可以利用华为云的缓存服务提升DeepSeek应用的响应速度,如何使用?1575华为云提到企业级优化方案支持私有化部署。若企业已有本地数据中心,能否通过华为云MaaS平台实现混合云环境下的DeepSeek模型弹性调度?需要哪些基础设施条件?5546华为云ModelArts Studio支持“一键部署DeepSeek专属实例”。对于中小型企业,如何在资源有限的情况下通过200万免费Token快速验证AI应用原型?独享型实例的资源减半策略具体如何实现?5546华为云通过昇腾适配版DeepSeek-R1/V3实现了序列长度扩展至32K和推理成本减半。能否具体说明这些技术优化如何提升企业处理长文本、多模态数据的效率?背后的算法与硬件协同设计有哪些创新? 开发者空间部署DeepSeek抽奖开发者定制斜挎包hi****i3vpkenq176iu开发者空间部署DeepSeek抽奖开发者定制斜挎包hi****kw4d0vlfoo8fa开发者空间部署DeepSeek抽奖开发者定制冲锋衣hi****148bbb2xfbysq开发者空间部署DeepSeek抽奖开发者定制冲锋衣cs****eke开发者空间部署DeepSeek抽奖华为FreeBuds SE 2无线耳机nu****an ——————————————近年来,AI 技术的快速发展正在深刻改变各行各业,而近日随着DeepSeek的热度狂飙,让AI技术进一步深入到了我们的日常生活。那么DeepSeek到底为什么这么火?华为云+DeepSeek后,能为我们的产品和应用带来哪些魔力?在华为云上,如何使用DeepSeek才能充分发挥AI的效力?本期直播,华为云DTSE技术布道师们,将聚焦 AI 与云计算的深度融合,围绕DeepSeek在云上的应用案例,与线上开发者伙伴们一起探讨如何利用 AI 驱动云上应用创新。【直播时间】2025年2月26日 16:00-18:00【直播链接】cid:link_3【互动方式】论坛提问:在本帖下回复,如“【提问】在华为云上,如何使用DeepSeek才能充分发挥AI的效力呢?”直播间提问:直播期间直接在问答区发送具体问题论坛分享:在本帖下回复,分享你对“华为云+DeepSeek”的使用体验、技术观点、应用案例等部署体验:在本论坛贴评论区发布云主机成功安装DeepSeek截图,具体操作可参考《仅四步!在华为开发者空间快速部署DeepSeek》【活动时间】即日起—2025年3月4日【奖励规则】优质互动奖励:活动结束后将从以上参与互动的用户中,根据发表内容的质量和价值,评选5条优质互动,赠送开发者定制短袖T恤或开发者定制128gU盘。成功部署抽奖:云主机成功安装DeepSeek并在本贴回复截图,即可>>点此参与抽奖,赢取开发者定制冲锋衣、华为FreeBuds SE 2无线耳机、开发者定制斜挎包等好礼!更多直播活动请进入官网直播间参与:【注意事项】1、所有参与活动的问题,如发现为复用他人内容或直播间中重复内容,则取消获奖资格。2、活动将在3月5日前,在本帖公示获奖情况并收集领奖信息,为保证您顺利领取活动奖品,请关注活动公告,及时填写奖品收货信息。3、活动奖项公示时间截止2025年3月10日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
-
步骤挺简单的。几部就搞定。相对于ollama来说,LM studio有GUI可以使用。安装后启动后的界面:看到DS 7B蒸馏模型下载这个模型之前,可以设置代理proxy,这样4G的7B模型,大约几分钟下载完。看看下载完成、保存到本地的模型文件:加载模型后,和他聊一聊:每秒吐7个token(7个汉字?)。感觉上是比较慢的。最后有个疑问,就是CPU使用。i7 20个虚拟CPU。在windows的任务管理器,性能里看到CPU使用到80%以上。但是在详细信息里面,看lm studio进程使用的CPU只有20%-30%多。这个对不上。挺奇怪的。后面有空到linux下面部署一下看看。
-
说明:仅“华东二”和“西南-贵阳一”区域支持使用ModelArts Studio大模型即服务平台(MaaS)。MaaS是白名单功能,如果有试用需求,请先申请权限。所以,ModelArts Studio目前在控制台里还搜索不到它这个产品,只能找到modelarts。进入的话要通过链接进入。
-
比如DeepSeek-R1-Distill-Llama-8B、比如DeepSeek-R1-Distill-Qwen-32B,解释如下:1. DeepSeek-R1背景:DeepSeek-R1 是 DeepSeek AI 开发的第一代推理模型。它通过大规模强化学习(RL)进行训练,并在 RL 之前使用冷启动数据来增强推理性能。性能:DeepSeek-R1 在数学、代码和推理任务上的表现与 OpenAI 的 o1 模型相当。2. Distill(蒸馏)概念:蒸馏是指将一个更大、更复杂的模型(如 DeepSeek-R1)的知识转移到一个更小、更高效的模型中。这使得较小的模型能够继承较大模型的推理能力。好处:蒸馏后的模型在保持强大性能的同时,更加轻量化,部署成本更低。3. Llama-8B基础模型:Llama-8B 指的是 Llama 系列中的基础模型,具体来说是 Llama3.1-8B-Base。定制化:DeepSeek AI 使用 DeepSeek-R1 生成的推理数据对这个基础模型进行了微调。结果是,DeepSeek-R1-Distill-Llama-8B 在推理任务上进行了优化,并且是基于 Llama-8B 的蒸馏模型之一。4. DeepSeek-R1-Distill-Llama-8B 的关键特点高级推理能力:该模型在紧凑的开源包中封装了高级推理能力。基准性能:在各种基准测试中表现出竞争力,使其成为开发人员和研究人员的宝贵工具。本地部署:支持成本效益高的本地部署,允许用户在自己的硬件上运行模型。5. 使用场景研究与开发:适用于希望在较小模型中利用高级推理能力的研究人员。实际应用:适用于需要强推理能力的任务,如问题解决、代码生成和数学计算。6. 许可和可用性许可:该模型在 MIT 许可证下发布,允许商业使用和修改。获取方式:可以通过 Hugging Face 和 Ollama 等平台下载和使用。总结来说,DeepSeek-R1-Distill-Llama-8B 是基于 Llama-8B 架构的 DeepSeek-R1 模型的蒸馏版本。它在更紧凑和高效的形式中提供了高级推理能力,使其成为研究和实际应用中的强大工具。
-
注: 不包含最新的多模态模型版本名称推出时间功能特点DeepSeek-V12024 年 1 月预训练于 2TB 标记数据,主打自然语言处理和编码任务,支持多种编程语言,具有强大的编码能力,适合程序开发人员和技术研究人员使用DeepSeek-V22024 年上半年性能出色且价格低廉,引发中国 AI 模型价格战DeepSeek-V2.52024 年 9 月显著提升了通用能力和代码生成能力DeepSeek-V2.5-12102024 年 12 月全面提升了数学、代码、写作等能力,并新增联网搜索功能DeepSeek-V32024 年 12 月 26 日参数规模达 6710 亿的混合专家(MoE)语言模型,推理速度提升,每秒生成 60 个字符,支持本地部署DeepSeek-R1-Lite2024 年 11 月 20 日推理能力强,在高难度的数学和代码任务中表现优异,思考过程详细,性价比高DeepSeek-R12025 年 1 月 20 日采用强化学习进行后训练,提升推理能力,擅长数学、代码和自然语言推理等复杂任务,完全开源,采用 MIT 许可协议
上滑加载中
推荐直播
-
空中宣讲会 2025年华为软件精英挑战赛
2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭!完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包,与全国优秀高校开发者同台竞技,直通顶尖赛事起跑线!
即将直播
热门标签