• EM算法 快速解析
    EM算法(Expectation-Maximization Algorithm)是一种迭代优化算法,主要用于含有隐变量(latent variables)的概率模型参数估计。当数据不完整或存在无法直接观测的变量时,EM算法能通过交替执行两个步骤来逐步逼近最优参数。核心思想假设我们有一组数据,但其中某些信息缺失或不可观测(比如数据属于哪个类别未知),直接用最大似然估计(MLE)求解困难。EM算法通过“猜测”隐变量的分布,反复优化模型参数。它分为两个步骤:E步(Expectation,期望步):固定当前模型参数,计算隐变量的后验概率(即每个数据点可能属于哪个隐状态的“责任”或“权重”)。M步(Maximization,最大化步):利用E步中得到的隐变量分布,重新估计模型参数,使数据的对数似然最大化。重复E步和M步,直到参数收敛。举个例子:混合高斯模型(GMM)假设你有一堆身高数据,来自男性和女性两个群体,但你不知道每条数据是男是女。你想估计:男性身高的均值和方差女性身高的均值和方差男女比例这就是一个典型的隐变量问题:性别是隐变量。EM算法过程如下:初始化:随机假设男性的均值=170,方差=20;女性均值=160,方差=15;男女比例=1:1。E步:对每个身高值(如175cm),计算它来自男性的概率和来自女性的概率。比如P(男|175) = 0.8,P(女|175) = 0.2。M步:根据这些“软分配”的概率,重新估计参数:男性均值 = 所有数据点 × 其属于男性的概率 的加权平均更新方差和比例同理重复:用新参数回到E步,继续迭代,直到参数变化很小。Python代码示例(使用sklearn的GMM)import numpy as np import matplotlib.pyplot as plt from sklearn.mixture import GaussianMixture from sklearn.datasets import make_blobs # 生成模拟数据(3个簇) X, _ = make_blobs(n_samples=300, centers=3, cluster_std=1.0, random_state=42) # 使用高斯混合模型(GMM),EM算法求解 gmm = GaussianMixture(n_components=3, covariance_type='full', random_state=42) labels = gmm.fit_predict(X) # 内部自动使用EM算法 # 输出参数 print("权重:", gmm.weights_) # 每个高斯成分的占比 print("均值:\n", gmm.means_) # 每个簇的中心 print("协方差:\n", gmm.covariances_) # 可视化 plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', s=40) plt.title("GMM聚类结果(EM算法)") plt.show() 适用场景混合高斯模型(GMM)隐马尔可夫模型(HMM)的训练缺失数据的参数估计主题模型(如pLSA)优缺点优点:能处理隐变量问题每次迭代都保证似然函数不下降实现简单,收敛稳定缺点:容易陷入局部最优(依赖初始值)需要指定模型结构(如GMM中K的值)计算量较大,尤其数据多时总结EM算法不是一种具体的模型,而是一种求解方法,特别适合“有隐藏信息”的概率模型。它的核心是“先猜后优化”,通过不断迭代,让模型参数和隐变量的估计越来越准。
  • K均值 解析
    K均值(K-Means)是一种常用的聚类算法,它的目标是将数据划分为K个簇,使得每个数据点属于离它最近的簇中心所在的簇。算法通过迭代优化簇中心和数据点的归属,最终使簇内数据的平方误差和最小。核心步骤:指定聚类数量K。随机初始化K个簇中心。将每个数据点分配给距离最近的簇中心(通常使用欧氏距离)。重新计算每个簇的中心(该簇所有点的均值)。重复步骤3和4,直到簇中心不再发生明显变化或达到最大迭代次数。举例:假设有一组二维数据点,想分成3类(K=3)。开始时随机选3个点作为初始中心。然后每个点根据距离归入最近的中心所属的簇。接着更新每个簇的中心为该簇所有点的平均位置。重复这个过程,直到中心几乎不再移动。Python代码示例:import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.cluster import KMeans # 加载数据 iris = load_iris() X = iris.data # 使用全部4个特征 # 设置K=3,进行K均值聚类 kmeans = KMeans(n_clusters=3, random_state=42, n_init=10) labels = kmeans.fit_predict(X) # 输出聚类结果 print("聚类标签:", labels) print("簇中心:\n", kmeans.cluster_centers_) # 可视化(使用前两个主成分降维) from sklearn.decomposition import PCA pca = PCA(n_components=2) X_pca = pca.fit_transform(X) plt.scatter(X_pca[:, 0], X_pca[:, 1], c=labels, cmap='viridis') plt.scatter(kmeans.cluster_centers_[:, :2] @ pca.components_[:2], c='red', marker='x', s=200, label='中心') plt.legend() plt.title("K-Means聚类结果") plt.show() 注意:K值需要事先指定,选择合适的K是一个关键问题,常用方法有肘部法或轮廓系数法。初始中心的选择会影响结果,因此一般会多次随机初始化取最优。K均值对异常值敏感,且假设簇是凸形和大小相近的,对非球形或大小差异大的簇效果可能不好。
  • AP算法
    AP算法(Affinity Propagation)AP算法(Affinity Propagation,亲和传播)是一种无需预设聚类数量的智能聚类方法。它通过“消息传递”让数据点“投票”选出最能代表自己的“代表点”(即聚类中心),非常适合你不知道该分几类时使用!核心思想:让数据自己“选班长”想象一个班级:每个学生(数据点)都可以成为“班长”(聚类中心)每个人投票选出自己最想跟随的班长经过几轮讨论(消息传递),最终形成几个“核心班长”和他们带领的小组这就是 AP 算法的精髓:无需指定簇数,自动发现聚类结构!举个生活例子:餐厅选址你想在城市中开几家连锁餐厅,但不知道选哪几个位置最合适。每个候选地点是一个数据点AP 算法会自动分析哪些地点“最具代表性”(比如周围有很多相似需求的人群)最终选出几个“核心店址”,每个店服务一片区域无需事先决定开 3 家还是 5 家,算法自己决定!Python 实战:用 AP 算法聚类 Iris 数据集# 导入必备工具 import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.cluster import AffinityPropagation from sklearn.decomposition import PCA import seaborn as sns # 加载经典鸢尾花数据集(150朵花,4个特征) iris = load_iris() X = iris.data # 花萼长度、宽度,花瓣长度、宽度 y_true = iris.target # 真实种类(用于对比) # 使用 AP 算法自动聚类 af = AffinityPropagation(random_state=42) y_pred = af.fit_predict(X) # 输出结果 n_clusters = len(af.cluster_centers_indices_) print(f"AP算法自动识别出 {n_clusters} 个聚类") print(f"聚类中心索引:{af.cluster_centers_indices_}") # 可视化:用PCA降维到2D并绘图 pca = PCA(n_components=2) X_pca = pca.fit_transform(X) plt.figure(figsize=(10, 6)) scatter = sns.scatterplot( x=X_pca[:, 0], y=X_pca[:, 1], hue=y_pred, palette="Set2", s=100, alpha=0.9, edgecolor='k' ) # 标出聚类中心 centers_pca = pca.transform(af.cluster_centers_) plt.scatter(centers_pca[:, 0], centers_pca[:, 1], s=200, c='red', marker='X', label='聚类中心', edgecolor='black', linewidth=2) plt.title("AP算法聚类结果(Iris数据集)", fontsize=16, pad=20) plt.xlabel("第一主成分") plt.ylabel("第二主成分") plt.legend() plt.grid(True, alpha=0.3) plt.tight_layout() plt.show() 输出示例AP算法自动识别出 3 个聚类 聚类中心索引:[132 52 18] 完美匹配 Iris 的 3 种真实类别!算法自己“想”出应该分 3 类,无需你指定!关键参数说明参数作用建议preference每个点成为中心的“意愿”值越小,聚类越多;可设为相似度矩阵对角线值damping阻尼系数(防止震荡)推荐 0.5~0.9,避免不收敛# 更稳定的设置 af = AffinityPropagation(damping=0.7, preference=-50, random_state=42) 优点总结优势说明无需指定簇数自动发现结构,适合探索性分析智能选择中心中心是真实存在的数据点适合复杂结构能发现非球形、不均匀的簇注意事项计算复杂度较高(O(N2)O(N^2)O(N2)),大数据慎用对 preference 参数敏感,需调参适合中小规模数据(几千以内)应用场景推荐医学分型:未知疾病亚型数量客户细分:不知道客户该分几类社交网络:自动发现社区结构总结AP算法 = 数据点民主选举 + 自动确定簇数它像一场“聚类选举”,让数据自己选出领导者,特别适合你对数据结构一无所知的场景!
  • [技术干货] AI智能体时代,看华为云AI原生应用引擎2.0——Versatile如何脱颖而出,面向千行万业,打造最佳企业Agent平台
    从LLMs大模型到Agent智能体,是人工智能时代下技术迅猛演进的里程碑之一。当进入2025年,大模型基础能力突破临界点,包括交互与理解能力、创造生成能力、长任务推理能力、工具使用能力等,驱动“AI Agent”成为确定性未来。Agent智能体凭借感知-认知-决策-行动的基本结构、以及在动态的现实环境中具备的自主执行与闭环能力,赋予更多人创建可持续的 AI 原生应用程序的能力,同时也为产业智能化升级注入强大动力。当Agent应用开发逐渐全民化,在各行业的土壤落地发芽,但是当面向更多复杂的行业场景、大型企业的定制化精确化需求,能实现向核心业务延伸并更注重实效的企业级AI Agent的重要性越发凸显。  Part01AI原生应用引擎由1.0全面升级至2.0——ModelArts Versatile,打造面向企业的通用AI智能体 华为云ModelArts Versatile-AI原生应用引擎应运而生,凭借企业级Agent的四个关键价值特征:专业(懂企业流程、懂企业数据)、高产(生成高效、作业高效)、主动(自主制造、智能交互)、安全(隐私保护、合规安全),从技术探索走向场景深耕,基于华为内部丰富的AI实践经验,打造企业专属AI数字生产线。Versatile在AI原生应用“工程平台”的基础上,增加通用AI智能体、场景AI能力、行业经验模板等能力,构筑“构建智能体时代的AgentOS”的全面平台能力。通用Agentic能力,支持开箱即用;垂域Agentic能力,支持扩展开发;构建以华为云为底座的繁茂AI生态;Versatile,从应用视角使能企业选好/用好/管好大模型,支撑智能应用创新。开发态AgentStudio:定位为AI应用工程,Agent的开发工具,一站式构建AI智能体,统一AI数据底座,动态上下文记忆使用态AgentSpace:为用户提供统一Agent入口,Agent统一交互入口,人与AI协同的智能入口,统一的Agent指挥中心运营态AgentGallery:以知识工程助力AI原生应用创新,提供Agent Map/MCPTools MapAgentOps:AI智能体的“运维中枢”, 承载Agent从“构成”到“养成”使命,全链路监控、评估和优化实现智能体的可观测、可管控、可迭代。  Part02ModelArts Versatile-AI原生应用引擎,打造最佳企业级Agent平台 01 元学习&规划智能体——Agent定义模板化,像写文档一样开发智能体,让人人都能构建自己的企业级智能体Versatile聚焦企业级智能体,走深向实,垂直行业,深度适配。基于企业知识底座,整合交互系统、推理系统、执行系统、记忆系统,借助“元学习(意为“学会如何学习”)的能力, 提取企业业务场景经验,如行政办公文档、业务运行文档,形成“文档化”开发Agent的新型极简方式,降低开发门槛,赋能更多企业领域开发者内化成基础技能。并通过Managing Agents的框架能力,完成更为精准的议题理解、记忆上下文、会话管理,最终实现企业经验提取,持续积累企业场景经验模板,动态经验知识库迭代的良性循环式运营,指导Agent输出专业级结果。关键技术剖析基于DeepSeek R1或其他Reasoning SOTA模型,提供通用Reasoning能力;通过预置“经验模板”提升垂域场景任务智能上限及任务效果;支持基于“生产任务”积累“轨迹数据”,叠加RL得到更优推理模型,以及持续积累优秀的任务“经验模板”,支持“经验模板Redo”及经验知识库迭代;   02 支持多智能体协同,实现企业10X+效率专家员工在Versatile平台核心引擎内置Managing Agents框架能力,内嵌多个专家级的智能体,包括Search Agents、Data Agents、Coding Agents、Operator Agents等一系列的Agent,便于开发者快速调用和编排。如围绕企业内“招聘”相关的业务流程,借助Versatile构建的招聘Agent,可基于目标的自主规划及多种工具调用,只需耗费5分钟便可覆盖招聘需求分析、候选人搜索、候选人筛选等繁琐的作业流程,并提供专家级高准确性的工作输出成果,真正做到“智能体分钟级工作输出,达成传统天级工作成果”的理想状态。关键技术剖析Versatile基于MoA架构和MCP协议,实现生态扩展及Multi Agent架构MoA是一种先进的多代理系统,专门为检索增强生成 (RAG)任务而设计。与以前的模型不同,MoA架构利用一组小型、专业的模型,以高度协调的方式协同工作,以更高的精度和更低的成本回答复杂的问题。MCP是一种标准化开放协议,为LLM提供标准化的上下文信息传递方式,简化AI模型与外部工具/数据的集成。MCP作为Agent背后的关键技术,被誉为“AI智能体领域的Type-C”。Versatile拥抱开源Agent协议,支持广泛的MCP生态及工具集成,平台集成了丰富的MCP Server模版资产,可快速复用模版资产快速部署MCP服务,并基于部署的MCP服务能够快速构建出千行百业的AI智能体。   03 支持多种智能交互,件件有着落,事事有回音,成为更加主动和自主的智能体为解决企业语境下,下达任务过程不可控、Agent难以实现精准自主闭环的困境,Versatile提供三方面能力,包括主动问询澄清、动态上下文生成、上帝视角督导。其中,主动问询澄清是当任务下发不够清晰时,智能体进行主动问询,事情交代越清楚,结果输出越准确。动态上下文生成对于执行效果起到非常关键的作用,上下文分成用户上下文、任务上下文和领域知识上下文三方面,通过这三个方面可360度理解用户所提交问题的背景、潜在诉求,让智能体比用户更懂用户自己。同时通过对任务分解,支持用户选择修改,让整个交互过程变得既简单又灵活。   04  AgentOps承载Agent从“构成”到“养成”使命,构建安全治理体系,实现三个“不”企业落地智能体,安全是底线,也是红线。所有没有安全保证的智能体几乎是无法生根落地的。Versatile借助华为公司的安全治理体系,包括安全策略、合规管理、反馈审计等一系列的底座的能力,构建数据清洗、Prompt攻击检测、不良内容检测三个主要能力,保障知识安全、交互安全、应用内容安全,实现学不到(使用敏感词、专家规则、检测模型清除原始预料中的有毒语料)、攻不破(攻击模式分析、恶意意图识别、感知增强能力,防御针对大模型的攻击行为)、生不成(安全围栏和风控检测能力,确保输出内容没有不良内容)关键技术剖析AgentOps关键支柱能力:调用链和重放分析:记录Agent行为、决策过程和交互结果,逐步解构整个任务流程,快速定位错误或问题;成本管理:监控和控制每个AI Agent与LLM和API的交互的费用,避免成本迅速膨胀;评估测试:根据标准化或自定义基准测试评估Agent性能,支持HITL和LLM-as-a-Judge;合规性和安全性:检测潜在的数据泄露、Prompt注入和未授权的API使用; Part03信通院重量级评估:Versatile获得智能体评估的最高等级证书,实力赋能更多企业开发者本年度6月,由中国信通院人工智能研究院向华为颁发智能体评估证书-工具和平台(5级),华为成为业界首家获得最高等级证书的单位,ModelArts Versatile平台的专业度达到行业领先水平,加速实现“让人人都能构建自己的企业级智能体”的产品愿景。图:中国信通院人工智能研究院主任曹峰向华为云aPaaS产品部副部长杨建颁发智能体评估证书  Part04客户合作与行业实践ModelArts Versatile-AI原生应用引擎面向各类企业场景,加速AI原生应用落地。现已与政务、医疗、制造、电力、差旅、零售等行业客户合作,构建深耕行业的专业Agent助手,通过搭建企业级数字化AI产线,凭借“更专业、更高产、更主动”的产品优势,帮助实现业务效率的飞速提升。如:慧通差旅 X Versatile-AI原生应用引擎打造企业级差旅Agent,实现AI数字生产力跃升,加速差旅智能化:意图识别准确率提升5%:慧通差旅基于数据创新和模型创新联合Versatile智能交互,提升准确率。智能体开发效率提升3倍:通过文档化快速编排智能体,进行任务间有机协同。数据&算法迭代效率提升为天级:通过数据飞轮天级迭代,反哺模型,让慧通差旅构建的专属Agent越来越聪明。   <Versatile-AI原生应用引擎 体验入口> 华为开发者空间--开发平台--AI Agent( ↑  ↑ 请在PC端点击进入↑  ↑)
  • 协调过滤
    一、什么是协同过滤(Collaborative Filtering)?协同过滤是一种基于用户行为数据(如评分、点击、购买等)来预测用户对未接触物品的偏好的推荐技术。其核心思想是:“物以类聚,人以群分” —— 和你兴趣相似的用户喜欢的物品,你也可能喜欢。二、协同过滤的主要类型1. 基于用户的协同过滤(User-Based Collaborative Filtering)思想:找到与目标用户兴趣相似的其他用户,将这些相似用户喜欢但目标用户未接触的物品推荐给目标用户。步骤:计算用户之间的相似度(常用余弦相似度、皮尔逊相关系数)。找出与目标用户最相似的 Top-K 用户。根据这些相似用户的评分加权预测目标用户对某物品的评分。公式示例(预测评分):在基于用户的协同过滤中,目标用户 u 对物品 i 的评分预测通常采用加权平均偏差的形式,公式如下:2. 基于物品的协同过滤(Item-Based Collaborative Filtering)思想:计算物品之间的相似度,推荐与用户过去喜欢的物品相似的新物品。适用场景:物品数量相对稳定,用户数量多变(如电商平台)。优点:物品相似度可预先计算,推荐响应更快。相似度计算:常使用余弦相似度或调整余弦相似度(考虑用户评分偏差)。三、协同过滤的优缺点优点缺点不需要物品或用户的先验信息(如内容、标签)冷启动问题(新用户/新物品无法推荐)能发现用户潜在兴趣(基于群体行为)数据稀疏性问题(用户-物品评分矩阵稀疏)算法直观,易于实现可扩展性差(用户/物品增多时计算量大)推荐结果个性化强容易陷入“信息茧房”四、改进方法为克服传统协同过滤的缺点,研究者提出了多种改进:矩阵分解(Matrix Factorization):将用户-物品评分矩阵分解为低维隐向量(Latent Factors)。代表算法:SVD、SVD++、ALS(交替最小二乘)。可结合正则化防止过拟合。基于深度学习的协同过滤:使用神经网络学习用户和物品的非线性关系。如:NeuMF(Neural Matrix Factorization)。混合推荐系统:结合协同过滤与基于内容的推荐(Content-Based),缓解冷启动。五、应用场景电商平台(如淘宝、京东):推荐“买了这个商品的人也买了…”视频平台(如Netflix、YouTube):根据观看历史推荐视频音乐平台(如Spotify):推荐相似风格歌曲社交媒体(如微博、小红书):推荐可能感兴趣的人或内容六、Python 示例(使用 Surprise 库)from surprise import Dataset, Reader, KNNBasic from surprise.model_selection import train_test_split # 加载数据 reader = Reader(rating_scale=(1, 5)) data = Dataset.load_from_dict({'uid': [1, 1, 2, 2, 3], 'iid': [1, 2, 1, 3, 3], 'rating': [5, 4, 3, 5, 4]}, reader=reader) trainset, testset = train_test_split(data, test_size=0.25) # 使用基于用户的协同过滤 algo = KNNBasic(sim_options={'user_based': True}) algo.fit(trainset) predictions = algo.test(testset) # 输出预测结果 for prediction in predictions: print(f"User {prediction.uid}, Item {prediction.iid}, " f"True Rating: {prediction.r_ui}, Predicted: {prediction.est}") 七、总结协同过滤是推荐系统的基石之一,尽管存在冷启动和稀疏性问题,但通过矩阵分解、深度学习等方法可以有效提升性能。在实际应用中,通常会将协同过滤与其他推荐技术结合,构建更强大的混合推荐系统。
  • 华为云弹性内存存储EMS 优势介绍
    华为云弹性内存存储EMS:突破AI内存墙的创新解决方案华为云弹性内存存储(Elastic Memory Service,简称EMS)是一种以DRAM内存(动态随机存取存储器)为主要存储介质的云基础设施服务,专为大语言模型推理提供缓存和推理加速。 作为华为云全球首创的创新服务,EMS旨在解决AI推理过程中面临的内存瓶颈问题,通过技术创新打破"AI内存墙",为AI应用提供更高效、更经济的运行环境。产品背景与技术原理随着大语言模型(LLM)的快速发展,模型参数规模不断增长,对GPU显存的需求急剧上升,导致推理成本高企且资源利用率低下。针对这一挑战,华为云创新性地在NPU计算层和持久化存储层的两层架构之间增加弹性内存存储层,成功打破AI内存墙,实现显存按需扩展。EMS基于Memory Pooling专利技术,将显存与DRAM进行池化和整合,把传统的云基础设施"计算-存储"分离池化的两层架构升级为更加高效的三层架构。 通过缓存历史KVCache(键值缓存),EMS实现了"以存代算"的创新模式,有效提升推理吞吐量、降低推理时延迟、节省AI推理算力资源。产品架构与部署模式EMS由内存池、领域专用服务SDK和管理控制面三部分组成,具备易用性、弹性扩展和高可用性。 其中,分布式内存池提供跨节点的内存管理、数据负载均衡和数据恢复等功能,确保服务的高可靠性和性能。在部署模式上,EMS采用半托管融合部署方式,数据面直接部署在AI服务器上,统一纳管AI服务器上空闲的DRAM内存资源,实现对现有资源的高效复用。 这种创新的部署方式避免了传统架构中内存资源的浪费,显著降低了成本,同时提高了资源利用率。核心优势1. 资源高效利用与成本优化EMS通过统一纳管AI服务器上空闲的DRAM内存资源,复用现有硬件资源,大幅降低了AI推理的硬件成本。 这种资源复用机制使企业能够以更少的投入获得更高的AI推理性能,特别适合资源有限的中小企业。2. 性能显著提升通过缓存历史KVCache,EMS有效减少了重复计算,大幅提升了推理吞吐量,同时降低了推理延迟。 对于需要处理大量并发请求的AI应用场景,这种性能提升尤为明显,能够显著改善终端用户体验。3. 简单易用与快速集成EMS提供友好的管理控制面和领域专用服务SDK,大大降低了使用门槛。 即使是没有深厚技术背景的开发人员,也能快速上手,将EMS集成到现有AI应用中,加速产品上线时间。适用场景EMS特别适用于以下场景:大语言模型推理服务:为LLM提供高效的缓存机制,提升推理性能,降低运营成本。高并发AI应用:在需要处理大量并发请求的场景下,EMS能有效提升系统吞吐量,确保服务质量。资源受限环境:在GPU资源有限的情况下,通过EMS扩展有效内存容量,运行更大规模的AI模型。成本敏感型AI项目:对于预算有限但需要高性能AI能力的企业,EMS提供了一种经济高效的解决方案。总结作为华为云在AI基础设施领域的重要创新,EMS代表了云服务向更加智能化、高效化发展的趋势。随着AI技术的不断进步和应用场景的日益丰富,EMS有望在更多领域发挥价值,成为AI应用不可或缺的基础设施组件。华为云弹性内存存储EMS通过创新的架构设计和先进的技术实现,有效解决了AI推理中的内存瓶颈问题,为用户提供高性能、低成本、易管理的内存存储服务。无论是初创企业还是大型机构,都能从EMS中获益,加速AI应用的开发和部署,推动AI技术的普及和应用。华为云EMS不仅是一次技术突破,更是AI基础设施演进的重要里程碑,将为AI产业的健康发展提供强有力的支持。
  • [行业动态] DeepSeek下载量大幅下滑,你们怎么看
    2025年二季度,DeepSeek的月均下载量从巅峰时期的8000多万次骤降至2000多万次,暴跌幅度高达72.2%,市场份额也持续下滑。大家怎么看
  • [技术干货] 7月人工智能论坛好文干货合集(2025年07月)
    7月社区好文章【技术干货】 NICEGAN原理解析笔记【全干货 | 读对抗生成网络论文源码记录】https://bbs.huaweicloud.com/forum/thread-02126187811974283026-1-1.html 散模型原理详解:从随机噪声到图像生成的奇妙旅程https://bbs.huaweicloud.com/forum/thread-0255188216915423008-1-1.html什么是扩散模型?一文看懂Diffusion Models的基本架构与流程https://bbs.huaweicloud.com/forum/thread-02127188216948611009-1-1.html扩散概率模型与生成对抗网络(GAN)的对比研究https://bbs.huaweicloud.com/forum/thread-02127188217050947010-1-1.htmlDDPM、DDIM与Score-based模型的区别与联系https://bbs.huaweicloud.com/forum/thread-0255188217122705009-1-1.html【话题讨论】Vibe Coding能否真正提升开发效率和创造力?你有什么看法?https://bbs.huaweicloud.com/forum/thread-0221187425388431019-1-1.html树回归算法:简介、起源与应用https://bbs.huaweicloud.com/forum/thread-0201189003664721031-1-1.htmlXGBoost如何成为树回归的标杆算法https://bbs.huaweicloud.com/forum/thread-0278189006009351033-1-1.html(知识库)VectorRAG和GraphRAG对比https://bbs.huaweicloud.com/forum/thread-0201189065976140035-1-1.html聊一聊 盘古 Pro MoE 开源模型:昇腾原生的分组混合专家模型https://bbs.huaweicloud.com/forum/thread-0232188639820002020-1-1.html总结本月华为云社区技术氛围浓厚,贡献了多篇高质量的干货文章与深度讨论,内容涵盖生成模型、机器学习算法、技术观点等多个热门方向,以下是本月精华内容的简要回顾:生成模型持续升温:从GAN到扩散模型全面解析本月多篇文章聚焦于图像生成领域,从【NICEGAN原理解析】到扩散模型的原理与对比研究,系统性地梳理了GAN与Diffusion Models的发展脉络与核心架构,并深入探讨了DDPM、DDIM与Score-based模型之间的区别与联系。对于从事AIGC研究和落地的开发者来说,这是一波不可错过的知识盛宴。机器学习算法深度拆解:树回归与XGBoost的进阶理解在传统机器学习方面,社区也带来了树回归算法的原理、发展与实际应用解析,并进一步剖析了为何XGBoost能够成为该领域的“标杆算法”。这类文章对于希望夯实基础或优化模型性能的开发者具有很高的参考价值。大模型技术演进:VectorRAG vs GraphRAG对比 + 昇腾生态盘古MoE探讨大模型生态方面,社区用户带来了VectorRAG与GraphRAG的架构对比,帮助开发者厘清不同RAG技术在知识检索与生成结合中的应用适配。同时,盘古 Pro MoE模型的深入解析也展示了昇腾原生混合专家架构在开源路线上的探索与突破。技术观点交流:Vibe Coding引发效率与创造力的思辨在话题讨论区,一则关于“Vibe Coding是否能提升开发效率与创造力”的讨论,引发了开发者的广泛参与和思维碰撞,也反映出社区对新兴开发范式的持续关注与实践热情。总的来看,7月的华为云社区充满技术探索的活力,无论是深度原理解析还是前沿模型实战应用,均展现出浓厚的学习氛围与知识共享精神。期待下月更多精彩内容继续涌现!
  • [技术干货] 向量化模型BGE-large-zh-v1.5介绍
    向量化模型(Embedding Model)定义:将文本、图像等数据转换为固定长度的数值向量(一组数字),用于计算语义相似度。BGE-large-zh-v1.5模型类型:中文文本向量化模型,专为语义检索优化。由BAAI(北京智源研究院)开发,属于BGE系列(BAAI General Embedding)。核心能力:语义编码:将句子/段落转换为768维向量。相似度计算:通过向量距离(如余弦相似度)衡量文本相关性。支持任务:检索、聚类、问答(RAG的核心组件)。技术特点:预训练+微调:基于Transformer架构,在中文语料上训练。长文本优化:支持约512个token的输入(超长文本需分块)。性能:在中文语义匹配任务(如T2Ranking)中表现优秀。典型应用:知识库检索(如文档问答)。推荐系统(相似内容推荐)。去重/聚类(合并语义重复文本)。输入输出示例:输入:"Ascend C算子开发流程"输出:[0.21, -0.45, ..., 0.73](768维向量)。同类模型对比:m3e-base:通用中文模型,适合轻量级场景。text2vec:侧重句子级嵌入。OpenAI embeddings:英文效果更强,收费。使用注意:长度限制:单次输入建议≤512token,超长需分块。领域适配:专业领域(如芯片)可进一步微调。总结BGE-large-zh-v1.5是专为中文优化的向量模型,将文本转换为数字向量,支撑语义搜索、RAG等应用。选择时需关注输入长度、领域匹配性。
  • [技术干货] (知识库)VectorRAG和GraphRAG对比
    1. VectorRAG(基于向量检索)原理:使用 文本嵌入(Embedding) 将文档转换为向量,存储到向量数据库(如Milvus、FAISS、Pinecone)。查询时,将问题也转换为向量,通过 相似度检索(如余弦相似度) 找到最相关的文档片段。适用场景:✅ 语义搜索(如问答、文档检索)✅ 非结构化数据(PDF、网页、长文本)✅ 模糊匹配(用户提问方式多样,但含义相似)✅ 计算密集型(依赖向量相似度计算)优点:对自然语言理解能力强,适合开放式问答。适合处理大量非结构化文本(如技术文档、论文)。主流RAG方案,工具生态成熟(LangChain、LlamaIndex等支持)。缺点:不擅长处理 结构化关系(如知识图谱、实体关联)。可能返回相关但不精确的片段(需后处理或重排序)。2. GraphRAG(基于知识图谱检索)原理:将数据解析为 实体-关系-实体(E-R-E) 结构,构建知识图谱(如Neo4j、NebulaGraph)。查询时,利用图查询(如Cypher)检索相关节点和路径。适用场景:✅ 结构化关系查询✅ 多跳推理✅ 领域知识强关联优点:擅长处理 精确关系查询,比向量检索更准。支持 复杂推理(如因果链、事件时序)。可解释性强(返回结果基于图路径)。缺点:依赖 高质量的结构化数据(需实体抽取、关系抽取)。构建成本高(需NLP预处理或人工标注)。对模糊语义查询支持较弱。3. 总结在配置知识库时,选择 VectorRAG 还是 GraphRAG 取决于你的数据类型、查询需求和应用场景。
  • 【话题交流】人工智能发展也越来越火热,大家能高效运用AI了吗?
    人工智能发展也越来越火热,大家能高效运用AI了吗?
  • 【话题交流】聊一聊 盘古 Pro MoE 开源模型:昇腾原生的分组混合专家模型
    这应该是华为第一次发布的盘古开源模型。大家可以就技术方面来聊一聊~该模型提出了一种新型的分组混合专家模型(Mixture of Grouped Experts, MoGE),它在专家选择阶段对专家进行分组,并约束 token 在每个组内激活等量专家,从而实现设备间天然的负载均衡。基于 MoGE 架构,我们构建了总参数量 72B、激活参数量 16B 的盘古 Pro MoE 模型:词表大小:153376层数: 48MoGE 配置:4 个共享专家,64 个路由专家分 8 组、每组激活 1 个专家训练阶段:预训练和后训练预训练预料:15T详细报告参见:中文技术报告地址:盘古 Pro MoE:昇腾原生的分组混合专家模型 (https://gitcode.com/ascend-tribe/pangu-pro-moe/blob/main/Pangu-Pro-MoE-CN-Report.pdf)英文技术报告地址:Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity (https://arxiv.org/abs/2505.21411)
  • [案例共创] 《智能OA革命引擎》华为云 AI Agent:智构未来交互,让决策如光随行
    华为云 AI Agent:智能 OA 的变革引擎 在当今数字化浪潮中,企业办公模式正经历着深刻变革,智能办公自动化(OA)成为提升企业竞争力的关键。华为云 AI Agent 凭借其强大的智能技术能力,正逐步成为构建智能 OA 系统的核心驱动力,为企业带来高效、智能、便捷的办公新体验。 一、华为云 AI Agent 赋能智能 OA 的技术基石 (一)强大的自然语言处理能力 华为云 AI Agent 集成了先进的自然语言处理(NLP)技术,能够精准理解员工在办公场景中的各类自然语言指令。无论是查询公司政策、流程,还是进行任务安排、会议预约,员工只需通过日常语言与 OA 系统交互,AI Agent 便能迅速解析指令意图,转化为准确的操作指令。例如,员工发出 “查询本季度市场推广预算使用情况的文档” 指令,AI Agent 可以快速定位到 OA 系统知识库中相关文档,并准确呈现给员工,极大提升了信息获取效率,摆脱了传统 OA 系统复杂的检索操作流程。 (二)智能决策支持 依托大数据分析与机器学习算法,华为云 AI Agent 为智能 OA 注入了智能决策能力。在企业日常运营中,涉及大量业务数据处理与决策场景,如项目进度跟踪、资源分配、风险预警等。AI Agent 能够实时收集、分析 OA 系统中各类业务数据,挖掘数据背后的规律和趋势,为管理者提供数据驱动的决策建议。以项目管理为例,AI Agent 可根据项目进度数据、人员资源数据、成本数据等,预测项目可能出现的延误风险,并给出优化资源分配、调整项目计划等针对性建议,助力管理者做出更科学、高效的决策,保障项目顺利推进。 (三)多模态交互能力 为满足多样化办公需求,华为云 AI Agent 具备多模态交互能力,不仅支持文本交互,还融合了语音、图像等多种交互方式。在一些办公场景中,语音交互更为便捷高效,员工通过语音即可快速完成信息查询、指令下达等操作,解放双手,提升办公灵活性。例如,在会议途中,员工无需手动输入,通过语音指令即可让 AI Agent 在 OA 系统中查询相关资料、记录会议要点。同时,对于一些包含图像信息的办公任务,如文档中的图片识别、流程审批中的签名识别等,AI Agent 也能准确处理,进一步丰富了 OA 系统的交互体验,适应不同办公环境和业务场景。 二、华为云 AI Agent 在智能 OA 中的核心应用场景 (一)智能流程自动化 在传统 OA 系统中,办公流程审批往往繁琐复杂,涉及多个环节和人员,容易出现流程卡顿、效率低下等问题。华为云 AI Agent 通过对企业业务流程的深度理解和自动化处理,实现了智能流程自动化。当一份审批流程发起后,AI Agent 能够自动识别流程类型、审批节点及相关规则,根据预设条件智能分配审批任务给相应负责人,并实时跟踪流程进度。若遇到审批环节超时未处理,AI Agent 会自动发出提醒,确保流程顺畅流转。例如,在合同审批流程中,AI Agent 可自动审核合同关键信息是否合规,对符合条件的合同快速推进审批流程,极大缩短了合同审批周期,提高了企业运营效率。 (二)智能客服与知识问答 员工在使用 OA 系统过程中,难免会遇到各种问题,如系统操作疑问、业务流程咨询等。华为云 AI Agent 为智能 OA 构建了强大的智能客服与知识问答体系。它能够基于企业知识库,快速响应用户问题,提供准确的解答和指导。无论是常见问题的自动回复,还是复杂业务问题的深度解析,AI Agent 都能应对自如。而且,AI Agent 具备学习能力,能够根据用户反馈不断优化答案,提升服务质量。例如,新员工入职后对公司请假流程不熟悉,通过 OA 系统的智能客服咨询,AI Agent 可立即给出详细的请假流程说明及操作指引,帮助新员工快速上手办公流程,同时也减轻了企业内部客服团队的工作压力。 (三)智能协作与任务管理 企业办公离不开团队协作与任务管理,华为云 AI Agent 为智能 OA 的协作与任务管理模块带来了智能化升级。在团队协作场景中,AI Agent 能够根据项目需求和团队成员的技能、工作量等因素,智能分配任务,确保任务分配合理、高效。同时,它还能实时跟踪任务进度,对任务执行过程中出现的问题及时预警,并提供协作建议。例如,在一个跨部门项目中,AI Agent 可根据各部门成员的专业技能和当前工作负载,合理分配项目任务,并在项目执行过程中,通过分析任务进度数据,发现某一环节可能因资源不足导致延误,及时提醒项目负责人调整资源配置,促进团队协作顺畅进行,提高项目整体执行效率。 三、华为云 AI Agent 助力智能 OA 的优势与价值 (一)提升办公效率,降低人力成本 通过自动化办公流程、快速响应知识查询、智能分配任务等功能,华为云 AI Agent 显著提升了企业办公效率。员工能够更快速地完成工作任务,减少时间浪费在繁琐的流程和信息查找上。同时,智能客服与流程自动化减少了人工干预需求,降低了企业人力成本投入。据相关数据统计,引入华为云 AI Agent 的智能 OA 系统,企业办公效率平均提升 30% 以上,人力成本降低 20% 左右。 (二)增强决策科学性,提升企业竞争力 基于大数据分析和机器学习的智能决策支持,使企业管理者能够获取更准确、及时的决策依据。在复杂多变的市场环境下,科学的决策能够帮助企业把握市场机遇,规避风险,提升企业竞争力。华为云 AI Agent 助力企业在项目管理、资源配置、战略规划等方面做出更优决策,推动企业持续发展。 (三)优化用户体验,提升员工满意度 多模态交互、智能客服、个性化任务推荐等功能,为员工带来了便捷、高效、个性化的办公体验。员工在使用智能 OA 系统过程中,感受到操作的流畅性和系统的智能性,从而提升了对企业办公环境的满意度,有助于提高员工工作积极性和忠诚度。 综上所述,华为云 AI Agent 凭借其强大的技术能力和丰富的应用场景,正深刻改变着智能 OA 的格局,为企业带来前所未有的办公变革。在未来,随着 AI 技术的不断发展和创新,华为云 AI Agent 将在智能 OA 领域发挥更大作用,助力企业实现数字化、智能化转型,迈向更高效、更智能的办公新时代。
  • [技术干货] 从Denoising Diffusion到Consistency Models:扩散模型发展路径图谱
    从Denoising Diffusion到Consistency Models:扩散模型发展路径图谱扩散模型(Diffusion Models)作为近年来生成模型的重要分支,凭借其稳定的训练过程和高质量的生成效果,迅速成为计算机视觉和AIGC领域的研究热点。本文将简要梳理从最初的去噪扩散模型(Denoising Diffusion)到最新一致性模型(Consistency Models)的发展路径,揭示其技术演进脉络。Denoising Diffusion Models的起点去噪扩散模型的核心思想是将数据逐步添加噪声,形成一个正向扩散过程,然后训练神经网络逆向去噪还原数据。早期代表作如Ho等人在2020年提出的DDPM(Denoising Diffusion Probabilistic Models)框架,通过最大似然训练,成功实现了高质量图像生成。DDPM模型的优点在于理论上的稳定收敛和生成质量,但缺点是采样速度较慢,需要多步迭代。采样加速与改进为了提升推理速度,研究者提出多种采样策略,如DDIM(Denoising Diffusion Implicit Models),利用确定性非马尔可夫过程加速采样步骤。此后,还出现了基于学习采样器的改进方法,进一步缩短采样时间,同时保持生成质量。模型架构的优化UNet结构因其强大的多尺度特征提取能力成为扩散模型的主流网络骨架。随着研究深入,加入自注意力机制、条件归一化等技术,不断提升模型性能。同时,Latent Diffusion Models通过将扩散过程迁移到潜在空间,大幅降低计算复杂度,成为实际应用的关键突破。一致性模型(Consistency Models)一致性模型是扩散模型的最新发展方向,其核心目标是通过训练一个“单步”生成器,实现从噪声到数据的直接映射,彻底摆脱多步迭代的瓶颈。该模型借鉴扩散模型的训练理念,同时通过一致性约束,保证生成结果在不同采样步骤下保持稳定。这样不仅加速采样速度,还能保持生成质量。发展路径图谱总结总体来看,扩散模型经历了从理论框架搭建(DDPM),到采样加速(DDIM等),再到架构优化(UNet增强、潜在空间扩散),最终迈向采样效率极高的一致性模型。这一路径体现了生成模型在性能与效率之间不断平衡的演进趋势。未来,随着一致性模型及其变体的深入研究,扩散模型有望在图像生成、视频合成、文本到图像等多模态任务中发挥更大作用,推动AIGC技术走向更广阔的应用前景。
  • [技术干货] 扩散模型的训练技巧与常见陷阱总结
    扩散模型的训练技巧与常见陷阱总结扩散模型作为近年来生成式人工智能的重要技术,凭借其稳定的训练过程和优异的生成效果,受到了广泛关注。然而,要训练出高质量的扩散模型,仍面临诸多挑战。本文总结了扩散模型训练中的关键技巧与常见陷阱,助力研究者和工程师高效构建稳定且表现优异的模型。训练技巧合理设计噪声调度策略扩散模型的正向过程涉及多步噪声添加,噪声调度策略(如线性、余弦调度)对模型性能影响显著。使用适当的调度方法能帮助模型更好地学习不同噪声水平下的还原能力,提高去噪效果。采用潜空间扩散降低计算成本将图像编码到低维潜空间中进行扩散训练,既降低了显存需求,也加快了训练速度,同时保持生成质量,是当前主流实践。利用时间步嵌入增强模型表达在模型中注入时间步信息,使网络能够感知当前去噪的阶段,显著提升模型对不同噪声水平的适应能力。稳定的优化器与合适的学习率调度使用Adam或AdamW优化器,配合渐进式学习率衰减(如余弦退火)可以稳定训练过程,防止震荡和过拟合。数据增强和大规模多样化数据集丰富的训练数据和合理的数据增强策略(旋转、缩放、裁剪等)有助于模型学习更多样化的特征,提升泛化能力。常见陷阱过拟合训练数据扩散模型容易在小数据集上过拟合,导致生成结果缺乏多样性。解决方法是扩大训练集或引入正则化策略。采样速度与质量的平衡难题采样步数减少虽然加快生成,但可能牺牲图像质量。需结合如DDIM等采样策略找到最佳平衡点。噪声调度不合理导致训练不稳定噪声水平过快或过慢变化可能使模型难以收敛,需反复调试噪声调度曲线。模型容量不足或过大容量过小限制生成能力,容量过大会导致训练困难和资源浪费,需根据数据规模和硬件条件合理设计模型大小。忽视条件输入设计在文本引导或条件生成场景下,条件编码的设计和融合方式对最终效果至关重要,设计不当会影响生成的语义一致性。总结扩散模型训练是一项系统工程,合理的噪声调度、潜空间处理、时间步编码及优化技巧是保证模型稳定收敛和高质量生成的关键。避免过拟合、平衡采样效率与质量、关注条件输入设计,是常见的实战经验。掌握这些训练技巧并规避陷阱,能显著提升扩散模型在实际应用中的表现和稳定性。
总条数:7868 到第
上滑加载中