- 本文介绍了一个基于ChatGLM3-6B大模型的本地化部署方案,采用FastAPI后端和Web前端实现完整对话系统。项目特点包括:1)适配RTX4090显卡,支持FP16半精度推理,显存占用优化;2)提供两种推理模式(一次性返回和SSE流式输出);3)内置完善监控系统,实时采集显存、Token生成速度等指标;4)兼容OpenAI API标准接口;5)包含可视化前端界面。系统采用四层架构设计,包含前 本文介绍了一个基于ChatGLM3-6B大模型的本地化部署方案,采用FastAPI后端和Web前端实现完整对话系统。项目特点包括:1)适配RTX4090显卡,支持FP16半精度推理,显存占用优化;2)提供两种推理模式(一次性返回和SSE流式输出);3)内置完善监控系统,实时采集显存、Token生成速度等指标;4)兼容OpenAI API标准接口;5)包含可视化前端界面。系统采用四层架构设计,包含前
- 本文系统解析了开源大模型命名规则中的后缀含义,帮助用户根据需求精准选择模型。文章指出模型后缀遵循"基座名称-参数标识-优化类型-功能标签-量化格式"的标准化结构,包含五大类关键信息:1)参数量标识(B/b)区分模型规模;2)微调类型标识(如it/thinking/turbo)决定适用场景;3)量化格式(GGUF/FP16等)影响硬件兼容性;4)专项功能后缀(ASR/Image等 本文系统解析了开源大模型命名规则中的后缀含义,帮助用户根据需求精准选择模型。文章指出模型后缀遵循"基座名称-参数标识-优化类型-功能标签-量化格式"的标准化结构,包含五大类关键信息:1)参数量标识(B/b)区分模型规模;2)微调类型标识(如it/thinking/turbo)决定适用场景;3)量化格式(GGUF/FP16等)影响硬件兼容性;4)专项功能后缀(ASR/Image等
- 在能源与大宗商品供应链数字化转向深水区的当下,企业级智能体(AI Agent)的落地已从早期的“Prompt工程尝试”演变为严谨的架构选型。能源供应链具备重资产、长周期、高频异构对账以及强信创合规等典型特征,企业在推进智能化改造时,核心挑战在于如何让智能体在并存的“高内网老旧系统”与“外部隔离网厅”之间安全、高确定性地执行任务。从技术实现层面来看,当前企业智能化转型的核心任务是算清接入范式的... 在能源与大宗商品供应链数字化转向深水区的当下,企业级智能体(AI Agent)的落地已从早期的“Prompt工程尝试”演变为严谨的架构选型。能源供应链具备重资产、长周期、高频异构对账以及强信创合规等典型特征,企业在推进智能化改造时,核心挑战在于如何让智能体在并存的“高内网老旧系统”与“外部隔离网厅”之间安全、高确定性地执行任务。从技术实现层面来看,当前企业智能化转型的核心任务是算清接入范式的...
- Claude用户面临“独用浪费、共享封号”困局:Max 20x额度闲置,多人拼车却因IP跳变、指纹泄露等触发风控。Key池化方案通过本地代理+虚拟Key分发,实现额度共享而不共号,规避风控,降低成本(3人仅$200/月),提升安全与体验。 Claude用户面临“独用浪费、共享封号”困局:Max 20x额度闲置,多人拼车却因IP跳变、指纹泄露等触发风控。Key池化方案通过本地代理+虚拟Key分发,实现额度共享而不共号,规避风控,降低成本(3人仅$200/月),提升安全与体验。
- 企业在同时使用多个 AI 模型时,面临 Prompt 切换后性能漂移、多平台账单无法合并对账、调用链路缺乏追溯三大隐性成本。本文从工程实践角度分析问题根源,提出统一网关 + 调用归因 + 资产沉淀的架构思路。 企业在同时使用多个 AI 模型时,面临 Prompt 切换后性能漂移、多平台账单无法合并对账、调用链路缺乏追溯三大隐性成本。本文从工程实践角度分析问题根源,提出统一网关 + 调用归因 + 资产沉淀的架构思路。
- 黄仁勋称工程师年薪50万,却要花25万在AI Token上——揭示AI成本正从人力转向算力。Uber烧光全年AI预算、微软停用外部工具、账单碎片难追踪……企业正面临“能调不能管”的困境。TokenOps应运而生:实时计量、精准归属、动态预算,让AI调用从失控走向可控。 黄仁勋称工程师年薪50万,却要花25万在AI Token上——揭示AI成本正从人力转向算力。Uber烧光全年AI预算、微软停用外部工具、账单碎片难追踪……企业正面临“能调不能管”的困境。TokenOps应运而生:实时计量、精准归属、动态预算,让AI调用从失控走向可控。
- 本文围绕K-Means 聚类结合大模型开展慢病人群分层分组与自动化健康画像构建研究,以高血压、糖尿病慢病管理实际业务场景为核心,由浅入深讲解无监督聚类原理、数据预处理流程、K 值优选方法、大模型医学语义推理逻辑与二者融合架构价值。通过 500 条贴合临床真实分布的慢病多维健康数据,完成数据标准化、肘部法则与轮廓系数聚类质量评估、人群风险分层划分,配套生成肘部曲线、聚类分布、人群占比等多张可视化图表 本文围绕K-Means 聚类结合大模型开展慢病人群分层分组与自动化健康画像构建研究,以高血压、糖尿病慢病管理实际业务场景为核心,由浅入深讲解无监督聚类原理、数据预处理流程、K 值优选方法、大模型医学语义推理逻辑与二者融合架构价值。通过 500 条贴合临床真实分布的慢病多维健康数据,完成数据标准化、肘部法则与轮廓系数聚类质量评估、人群风险分层划分,配套生成肘部曲线、聚类分布、人群占比等多张可视化图表
- 团队在 AI 工具使用中积累的 Prompt、Skill 和 Memory 属于重要生产经验,但现有工具链未提供有效的留存机制。本文探讨一种将 AI 经验纳入技术资产管理的工程方案。 团队在 AI 工具使用中积累的 Prompt、Skill 和 Memory 属于重要生产经验,但现有工具链未提供有效的留存机制。本文探讨一种将 AI 经验纳入技术资产管理的工程方案。
- 本文详细介绍了如何利用单张RTX4090显卡实现大模型推理的优化方案。通过张量并行和模型分片两大核心技术,解决了显存不足和计算效率问题。文章首先分析了RTX4090的硬件特性与显存瓶颈,随后深入讲解Transformer模型结构的优化原理,包括分层分片加载、权重复用、KV缓存管理等关键技术。实践部分提供了完整的代码示例,展示了如何在单卡环境下实现32层大模型的逐层推理流程。 本文详细介绍了如何利用单张RTX4090显卡实现大模型推理的优化方案。通过张量并行和模型分片两大核心技术,解决了显存不足和计算效率问题。文章首先分析了RTX4090的硬件特性与显存瓶颈,随后深入讲解Transformer模型结构的优化原理,包括分层分片加载、权重复用、KV缓存管理等关键技术。实践部分提供了完整的代码示例,展示了如何在单卡环境下实现32层大模型的逐层推理流程。
- Anthropic 推实名制引发了对 AI 调用治理的讨论。本文从工程角度拆解企业 API 调用的三层治理模型——身份、归属与行为审计,并提出基于本地代理的轻量治理方案。 Anthropic 推实名制引发了对 AI 调用治理的讨论。本文从工程角度拆解企业 API 调用的三层治理模型——身份、归属与行为审计,并提出基于本地代理的轻量治理方案。
- 探讨企业AI调用中产生的Prompt模式、Skill链路和Memory片段的工程化管理路径,分析接入层收口、Runtime采集、资产提纯、目录检索、蒸馏复用五个阶段的架构设计要点。 探讨企业AI调用中产生的Prompt模式、Skill链路和Memory片段的工程化管理路径,分析接入层收口、Runtime采集、资产提纯、目录检索、蒸馏复用五个阶段的架构设计要点。
- 近年以来,大模型、智能问答、智能体等AI应用快速发展,很多企业都在积极探索如何将AI能力融入业务场景。那么,在AI时代,数据治理和数据仓库如何顺应时代发展呢?过去二十年,企业围绕数据建设逐步形成了一套成熟的方法体系,形成了数据仓库(中台),通过BI和报表进行业务赋能。然而,在智能化时代,这些是远远不够的,现在的数据治理体系并不足以让AI真正理解企业业务。换句话说,不能被AI通过消耗Token... 近年以来,大模型、智能问答、智能体等AI应用快速发展,很多企业都在积极探索如何将AI能力融入业务场景。那么,在AI时代,数据治理和数据仓库如何顺应时代发展呢?过去二十年,企业围绕数据建设逐步形成了一套成熟的方法体系,形成了数据仓库(中台),通过BI和报表进行业务赋能。然而,在智能化时代,这些是远远不够的,现在的数据治理体系并不足以让AI真正理解企业业务。换句话说,不能被AI通过消耗Token...
- 本文聚焦多账号治理痛点,揭示“堆账号”导致的限流、封号与成本浪费问题,提出以虚拟凭证池为核心的API统一管理方案——抽象30个物理Key为1个可控预算池,实现额度分发、策略管控与安全审计,让大模型调用从混乱走向工程化。 本文聚焦多账号治理痛点,揭示“堆账号”导致的限流、封号与成本浪费问题,提出以虚拟凭证池为核心的API统一管理方案——抽象30个物理Key为1个可控预算池,实现额度分发、策略管控与安全审计,让大模型调用从混乱走向工程化。
- Token 单价创历史新低,但企业 AI 月支出持续攀升。本文从用量弹性、词元通胀和多 Provider 账本分散三个维度剖析成本失控根因,提出统一计费、会话归因与异常检测的工程化治理思路。 Token 单价创历史新低,但企业 AI 月支出持续攀升。本文从用量弹性、词元通胀和多 Provider 账本分散三个维度剖析成本失控根因,提出统一计费、会话归因与异常检测的工程化治理思路。
- 摘要:本文提出结合大模型与贝叶斯推理解决AI幻觉问题的方法。大模型负责自然语言处理,贝叶斯推理则计算输出的可信度。该方法通过五个步骤实现:1)大模型提取用户特征;2)生成候选结论;3)贝叶斯计算置信概率;4)筛选高置信度结果;5)优化输出格式。以医疗问诊为例,系统能输出"结论+置信概率+依据"的可信回答,如支气管炎诊断(97.7%置信度)。实验表明,该方法有效抑制幻觉,使AI输出更具可信度,为专业 摘要:本文提出结合大模型与贝叶斯推理解决AI幻觉问题的方法。大模型负责自然语言处理,贝叶斯推理则计算输出的可信度。该方法通过五个步骤实现:1)大模型提取用户特征;2)生成候选结论;3)贝叶斯计算置信概率;4)筛选高置信度结果;5)优化输出格式。以医疗问诊为例,系统能输出"结论+置信概率+依据"的可信回答,如支气管炎诊断(97.7%置信度)。实验表明,该方法有效抑制幻觉,使AI输出更具可信度,为专业
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签