- 前缀缓存、连续批处理、量化三项优化的收益都不是单调的。用固定压测口径拆开命中率、调度甜点与精度损失三条曲线,给出不同流量形态下该开什么、什么时候反而更贵,以及净收益的判定公式。 前缀缓存、连续批处理、量化三项优化的收益都不是单调的。用固定压测口径拆开命中率、调度甜点与精度损失三条曲线,给出不同流量形态下该开什么、什么时候反而更贵,以及净收益的判定公式。
- MaaS(Model as a Service,模型即服务) 是一种基于昇腾算力适配主流大模型的服务模式。它作为企业与开发者的大模型敏捷应用枢纽,免除了用户自行进行模型训练、部署与运维的高昂成本,提供灵活、低成本的按需调用方案,覆盖编程、智能交互、数据分析等多元场景,帮助用户快速将大模型能力集成至自有产品与业务流程,降低技术门槛与投入成本。 MaaS(Model as a Service,模型即服务) 是一种基于昇腾算力适配主流大模型的服务模式。它作为企业与开发者的大模型敏捷应用枢纽,免除了用户自行进行模型训练、部署与运维的高昂成本,提供灵活、低成本的按需调用方案,覆盖编程、智能交互、数据分析等多元场景,帮助用户快速将大模型能力集成至自有产品与业务流程,降低技术门槛与投入成本。
- 实验以 DeepSeek V3.2 为调用对象,带你从零完成一次完整的「模型 API 调用 → 参数调优 → Prompt 工程实战 → 资源清理」闭环,最终用 Prompt 工程调优技巧构建出一个文本创作聊天机器人。 实验以 DeepSeek V3.2 为调用对象,带你从零完成一次完整的「模型 API 调用 → 参数调优 → Prompt 工程实战 → 资源清理」闭环,最终用 Prompt 工程调优技巧构建出一个文本创作聊天机器人。
- 很多团队在华为云 MaaS(模型即服务)上开通大模型服务后,第一版代码往往是一个 requests.post 打通就上线,随后在高峰期集中暴露超时、重复计费、连接池耗尽三类问题。本文记录一套在实际项目中跑通的最小工程化方案,重点讲参数怎么设、失败怎么重试、流式怎么收。一、超时不要只设一个值大模型推理的响应时间与输出 token 数线性相关,用统一的 30 秒超时必然误杀长回答。建议把超时拆成... 很多团队在华为云 MaaS(模型即服务)上开通大模型服务后,第一版代码往往是一个 requests.post 打通就上线,随后在高峰期集中暴露超时、重复计费、连接池耗尽三类问题。本文记录一套在实际项目中跑通的最小工程化方案,重点讲参数怎么设、失败怎么重试、流式怎么收。一、超时不要只设一个值大模型推理的响应时间与输出 token 数线性相关,用统一的 30 秒超时必然误杀长回答。建议把超时拆成...
- 本文以开源 Qwen3-TTS 为例,介绍现代 TTS 的核心原理,并通过 AI 资讯语音播报、少样本音色复刻两个 Python 实践案例,展示如何让 AI 生成自然、可控且具有个性化音色的语音。 本文以开源 Qwen3-TTS 为例,介绍现代 TTS 的核心原理,并通过 AI 资讯语音播报、少样本音色复刻两个 Python 实践案例,展示如何让 AI 生成自然、可控且具有个性化音色的语音。
- 多模态 Embeddings 模型通过将不同类型的数据映射到统一的语义向量空间,让我们可以直接用自然语言搜索图片、视频,也可以用图片寻找相似内容。本文介绍多模态 Embeddings 的核心原理,并以开源 Qwen3-VL-Embedding 为例,通过图片语义检索和视频片段搜索两个 Python 案例,展示如何构建跨模态检索系统。 多模态 Embeddings 模型通过将不同类型的数据映射到统一的语义向量空间,让我们可以直接用自然语言搜索图片、视频,也可以用图片寻找相似内容。本文介绍多模态 Embeddings 的核心原理,并以开源 Qwen3-VL-Embedding 为例,通过图片语义检索和视频片段搜索两个 Python 案例,展示如何构建跨模态检索系统。
- 本文介绍 Reranker 的核心原理,并以 BGE-Reranker 为例,通过企业知识库检索、智能客服意图匹配两个案例,演示如何使用 Python 提升搜索结果的质量。 本文介绍 Reranker 的核心原理,并以 BGE-Reranker 为例,通过企业知识库检索、智能客服意图匹配两个案例,演示如何使用 Python 提升搜索结果的质量。
- 2026 年 10 月,Cloudflare 发布了新型 System One 抽取模型 Clairic。它不依赖逐 Token 生成答案,而是直接返回具有明确类型的数值、文本、日期和概率分布。本文介绍 Clairic 的工作机制,并通过售后邮件信息抽取、房产价格估计两个案例,演示如何用 Python 调用这个模型。 2026 年 10 月,Cloudflare 发布了新型 System One 抽取模型 Clairic。它不依赖逐 Token 生成答案,而是直接返回具有明确类型的数值、文本、日期和概率分布。本文介绍 Clairic 的工作机制,并通过售后邮件信息抽取、房产价格估计两个案例,演示如何用 Python 调用这个模型。
- 近年来,视觉语言模型(VLM)开始进入文档解析领域,PaddleOCR-VL、MinerU2.5 等模型以约十亿级参数实现了文字识别、版面分析和结构化输出。本文介绍这类模型的工作原理,并通过发票信息提取、PDF 转 Markdown 两个案例,展示如何用 Python 将非结构化文档转成可供业务系统和大语言模型使用的数据。 近年来,视觉语言模型(VLM)开始进入文档解析领域,PaddleOCR-VL、MinerU2.5 等模型以约十亿级参数实现了文字识别、版面分析和结构化输出。本文介绍这类模型的工作原理,并通过发票信息提取、PDF 转 Markdown 两个案例,展示如何用 Python 将非结构化文档转成可供业务系统和大语言模型使用的数据。
- 语音识别(ASR)正在从传统的声学识别系统,发展为融合大规模预训练、Transformer 和语言模型的语音理解技术。本文以开源 Qwen3-ASR 为例,介绍现代 ASR 的基本原理、主流模型和调用方法,并通过客服录音批量转写、视频字幕生成两个案例,展示如何用 Python 构建实用的语音转文字应用。 语音识别(ASR)正在从传统的声学识别系统,发展为融合大规模预训练、Transformer 和语言模型的语音理解技术。本文以开源 Qwen3-ASR 为例,介绍现代 ASR 的基本原理、主流模型和调用方法,并通过客服录音批量转写、视频字幕生成两个案例,展示如何用 Python 构建实用的语音转文字应用。
- 多模态路由决策模型的使用实践 多模态路由决策模型的使用实践
- 一篇偏工程实践的笔记:纯文本 state、JSON 结构化 state,以及多级、多意图场景的扩展方案。 一篇偏工程实践的笔记:纯文本 state、JSON 结构化 state,以及多级、多意图场景的扩展方案。
- 大模型在线推理场景下,Token 迭代生成过程重复计算特征向量,会带来显存占用飙升、算力浪费、QPS 上限受限等工程痛点。Vera1.1 引入自适应特征缓存架构,不再采用固定 KV 缓存策略,基于时序注意力访问频率做动态特征管理。本文结合工程落地经验,拆解架构原理、核心参数、团队落地实践、性能基准数据,同时梳理协作过程中的工程管理心得,完整还原这套推理优化方案的真实能力边界。一、传统 KV ... 大模型在线推理场景下,Token 迭代生成过程重复计算特征向量,会带来显存占用飙升、算力浪费、QPS 上限受限等工程痛点。Vera1.1 引入自适应特征缓存架构,不再采用固定 KV 缓存策略,基于时序注意力访问频率做动态特征管理。本文结合工程落地经验,拆解架构原理、核心参数、团队落地实践、性能基准数据,同时梳理协作过程中的工程管理心得,完整还原这套推理优化方案的真实能力边界。一、传统 KV ...
- MaaS帮助文档从权限配置、模型调用API规范、到对接AI工具、最佳实践、操作视频全面升级,开发体验再进阶。 MaaS帮助文档从权限配置、模型调用API规范、到对接AI工具、最佳实践、操作视频全面升级,开发体验再进阶。
- 在多台ECS内以docker容器部署LiteLLM软件,为仅支持/chat/completions接口的模型代理支持/v1/messages和/v1/responses接口。再由ELB为多台ECS提供负载均衡能力,提升可靠性。 在多台ECS内以docker容器部署LiteLLM软件,为仅支持/chat/completions接口的模型代理支持/v1/messages和/v1/responses接口。再由ELB为多台ECS提供负载均衡能力,提升可靠性。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签