• 多任务学习
    多任务学习(Multi-Task Learning, MTL)是一种机器学习方法,其核心思想是:让一个模型同时学习多个相关任务,通过共享表示来提升各个任务的性能。与单任务学习(每个任务单独训练一个模型)不同,多任务学习通过共享部分模型参数,让任务之间“互相帮助”,尤其在数据量少或任务相似时效果明显。基本原理假设你有两个任务:任务1:识别图片中的猫任务2:识别图片中的狗这两个任务都涉及图像特征提取(边缘、纹理、形状等)。多任务学习会让模型前几层共享,用于提取通用特征;后几层分叉,分别处理猫和狗的分类。这样,模型可以从两个任务的数据中学习更鲁棒的特征,即使某个任务数据少,也能从另一个任务中“借”知识。模型结构示例(硬共享架构)输入数据 ↓ 共享层(如CNN前3层) ← 所有任务共用,学习通用特征 ↓ 任务1专用层 → 任务1输出(如猫分类) ↓ 任务2专用层 → 任务2输出(如狗分类)共享层:提取通用特征专用层:针对每个任务进行精细调整举个例子:自然语言处理中的多任务学习你想训练两个模型:任务A:判断一句话的情感(正面/负面)任务B:判断这句话是否包含某个关键词这两个任务都依赖对句子语义的理解。可以设计一个多任务模型:输入:一句话共享层:BERT 或 LSTM 提取句子表示分支1:接一个分类层做情感分析分支2:接另一个分类层做关键词检测训练时,总损失 = 情感损失 + 关键词损失,联合优化。结果:两个任务的准确率都比单独训练更高,尤其当某个任务标注数据少时。Python代码示例(PyTorch 风格伪代码)import torch import torch.nn as nn class MultiTaskModel(nn.Module): def __init__(self): super(MultiTaskModel, self).__init__() # 共享层 self.shared = nn.Sequential( nn.Linear(100, 64), nn.ReLU(), nn.Linear(64, 32), nn.ReLU() ) # 任务1专用:分类任务A self.task1_head = nn.Linear(32, 2) # 2分类 # 任务2专用:分类任务B self.task2_head = nn.Linear(32, 2) def forward(self, x): shared_out = self.shared(x) # 共享表示 out1 = self.task1_head(shared_out) out2 = self.task2_head(shared_out) return out1, out2 # 使用示例 model = MultiTaskModel() criterion1 = nn.CrossEntropyLoss() criterion2 = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 假设有输入和标签 x = torch.randn(32, 100) # 32个样本,100维特征 y1 = torch.randint(0, 2, (32,)) # 任务1标签 y2 = torch.randint(0, 2, (32,)) # 任务2标签 # 前向传播 out1, out2 = model(x) loss1 = criterion1(out1, y1) loss2 = criterion2(out2, y2) total_loss = loss1 + loss2 # 或加权和 # 反向传播 optimizer.zero_grad() total_loss.backward() optimizer.step() 多任务学习的优点提升泛化能力:任务间共享信息,防止过拟合数据效率高:小样本任务可借助大样本任务的知识减少模型维护成本:一个模型处理多个任务应用场景NLP:联合学习命名实体识别 + 句法分析计算机视觉:目标检测 + 语义分割推荐系统:点击率预测 + 停留时长预测医疗AI:同时预测多种疾病指标总结多任务学习就像“一专多能”的人:通过共享基础能力(如语言理解、图像感知),同时掌握多个技能(分类、检测、预测),不仅效率高,而且每个技能都更扎实。关键在于:任务要相关,结构要合理,损失要平衡。
  • EM算法 快速解析
    EM算法(Expectation-Maximization Algorithm)是一种迭代优化算法,主要用于含有隐变量(latent variables)的概率模型参数估计。当数据不完整或存在无法直接观测的变量时,EM算法能通过交替执行两个步骤来逐步逼近最优参数。核心思想假设我们有一组数据,但其中某些信息缺失或不可观测(比如数据属于哪个类别未知),直接用最大似然估计(MLE)求解困难。EM算法通过“猜测”隐变量的分布,反复优化模型参数。它分为两个步骤:E步(Expectation,期望步):固定当前模型参数,计算隐变量的后验概率(即每个数据点可能属于哪个隐状态的“责任”或“权重”)。M步(Maximization,最大化步):利用E步中得到的隐变量分布,重新估计模型参数,使数据的对数似然最大化。重复E步和M步,直到参数收敛。举个例子:混合高斯模型(GMM)假设你有一堆身高数据,来自男性和女性两个群体,但你不知道每条数据是男是女。你想估计:男性身高的均值和方差女性身高的均值和方差男女比例这就是一个典型的隐变量问题:性别是隐变量。EM算法过程如下:初始化:随机假设男性的均值=170,方差=20;女性均值=160,方差=15;男女比例=1:1。E步:对每个身高值(如175cm),计算它来自男性的概率和来自女性的概率。比如P(男|175) = 0.8,P(女|175) = 0.2。M步:根据这些“软分配”的概率,重新估计参数:男性均值 = 所有数据点 × 其属于男性的概率 的加权平均更新方差和比例同理重复:用新参数回到E步,继续迭代,直到参数变化很小。Python代码示例(使用sklearn的GMM)import numpy as np import matplotlib.pyplot as plt from sklearn.mixture import GaussianMixture from sklearn.datasets import make_blobs # 生成模拟数据(3个簇) X, _ = make_blobs(n_samples=300, centers=3, cluster_std=1.0, random_state=42) # 使用高斯混合模型(GMM),EM算法求解 gmm = GaussianMixture(n_components=3, covariance_type='full', random_state=42) labels = gmm.fit_predict(X) # 内部自动使用EM算法 # 输出参数 print("权重:", gmm.weights_) # 每个高斯成分的占比 print("均值:\n", gmm.means_) # 每个簇的中心 print("协方差:\n", gmm.covariances_) # 可视化 plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', s=40) plt.title("GMM聚类结果(EM算法)") plt.show() 适用场景混合高斯模型(GMM)隐马尔可夫模型(HMM)的训练缺失数据的参数估计主题模型(如pLSA)优缺点优点:能处理隐变量问题每次迭代都保证似然函数不下降实现简单,收敛稳定缺点:容易陷入局部最优(依赖初始值)需要指定模型结构(如GMM中K的值)计算量较大,尤其数据多时总结EM算法不是一种具体的模型,而是一种求解方法,特别适合“有隐藏信息”的概率模型。它的核心是“先猜后优化”,通过不断迭代,让模型参数和隐变量的估计越来越准。
  • K均值 解析
    K均值(K-Means)是一种常用的聚类算法,它的目标是将数据划分为K个簇,使得每个数据点属于离它最近的簇中心所在的簇。算法通过迭代优化簇中心和数据点的归属,最终使簇内数据的平方误差和最小。核心步骤:指定聚类数量K。随机初始化K个簇中心。将每个数据点分配给距离最近的簇中心(通常使用欧氏距离)。重新计算每个簇的中心(该簇所有点的均值)。重复步骤3和4,直到簇中心不再发生明显变化或达到最大迭代次数。举例:假设有一组二维数据点,想分成3类(K=3)。开始时随机选3个点作为初始中心。然后每个点根据距离归入最近的中心所属的簇。接着更新每个簇的中心为该簇所有点的平均位置。重复这个过程,直到中心几乎不再移动。Python代码示例:import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.cluster import KMeans # 加载数据 iris = load_iris() X = iris.data # 使用全部4个特征 # 设置K=3,进行K均值聚类 kmeans = KMeans(n_clusters=3, random_state=42, n_init=10) labels = kmeans.fit_predict(X) # 输出聚类结果 print("聚类标签:", labels) print("簇中心:\n", kmeans.cluster_centers_) # 可视化(使用前两个主成分降维) from sklearn.decomposition import PCA pca = PCA(n_components=2) X_pca = pca.fit_transform(X) plt.scatter(X_pca[:, 0], X_pca[:, 1], c=labels, cmap='viridis') plt.scatter(kmeans.cluster_centers_[:, :2] @ pca.components_[:2], c='red', marker='x', s=200, label='中心') plt.legend() plt.title("K-Means聚类结果") plt.show() 注意:K值需要事先指定,选择合适的K是一个关键问题,常用方法有肘部法或轮廓系数法。初始中心的选择会影响结果,因此一般会多次随机初始化取最优。K均值对异常值敏感,且假设簇是凸形和大小相近的,对非球形或大小差异大的簇效果可能不好。
  • AP算法
    AP算法(Affinity Propagation)AP算法(Affinity Propagation,亲和传播)是一种无需预设聚类数量的智能聚类方法。它通过“消息传递”让数据点“投票”选出最能代表自己的“代表点”(即聚类中心),非常适合你不知道该分几类时使用!核心思想:让数据自己“选班长”想象一个班级:每个学生(数据点)都可以成为“班长”(聚类中心)每个人投票选出自己最想跟随的班长经过几轮讨论(消息传递),最终形成几个“核心班长”和他们带领的小组这就是 AP 算法的精髓:无需指定簇数,自动发现聚类结构!举个生活例子:餐厅选址你想在城市中开几家连锁餐厅,但不知道选哪几个位置最合适。每个候选地点是一个数据点AP 算法会自动分析哪些地点“最具代表性”(比如周围有很多相似需求的人群)最终选出几个“核心店址”,每个店服务一片区域无需事先决定开 3 家还是 5 家,算法自己决定!Python 实战:用 AP 算法聚类 Iris 数据集# 导入必备工具 import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.cluster import AffinityPropagation from sklearn.decomposition import PCA import seaborn as sns # 加载经典鸢尾花数据集(150朵花,4个特征) iris = load_iris() X = iris.data # 花萼长度、宽度,花瓣长度、宽度 y_true = iris.target # 真实种类(用于对比) # 使用 AP 算法自动聚类 af = AffinityPropagation(random_state=42) y_pred = af.fit_predict(X) # 输出结果 n_clusters = len(af.cluster_centers_indices_) print(f"AP算法自动识别出 {n_clusters} 个聚类") print(f"聚类中心索引:{af.cluster_centers_indices_}") # 可视化:用PCA降维到2D并绘图 pca = PCA(n_components=2) X_pca = pca.fit_transform(X) plt.figure(figsize=(10, 6)) scatter = sns.scatterplot( x=X_pca[:, 0], y=X_pca[:, 1], hue=y_pred, palette="Set2", s=100, alpha=0.9, edgecolor='k' ) # 标出聚类中心 centers_pca = pca.transform(af.cluster_centers_) plt.scatter(centers_pca[:, 0], centers_pca[:, 1], s=200, c='red', marker='X', label='聚类中心', edgecolor='black', linewidth=2) plt.title("AP算法聚类结果(Iris数据集)", fontsize=16, pad=20) plt.xlabel("第一主成分") plt.ylabel("第二主成分") plt.legend() plt.grid(True, alpha=0.3) plt.tight_layout() plt.show() 输出示例AP算法自动识别出 3 个聚类 聚类中心索引:[132 52 18] 完美匹配 Iris 的 3 种真实类别!算法自己“想”出应该分 3 类,无需你指定!关键参数说明参数作用建议preference每个点成为中心的“意愿”值越小,聚类越多;可设为相似度矩阵对角线值damping阻尼系数(防止震荡)推荐 0.5~0.9,避免不收敛# 更稳定的设置 af = AffinityPropagation(damping=0.7, preference=-50, random_state=42) 优点总结优势说明无需指定簇数自动发现结构,适合探索性分析智能选择中心中心是真实存在的数据点适合复杂结构能发现非球形、不均匀的簇注意事项计算复杂度较高(O(N2)O(N^2)O(N2)),大数据慎用对 preference 参数敏感,需调参适合中小规模数据(几千以内)应用场景推荐医学分型:未知疾病亚型数量客户细分:不知道客户该分几类社交网络:自动发现社区结构总结AP算法 = 数据点民主选举 + 自动确定簇数它像一场“聚类选举”,让数据自己选出领导者,特别适合你对数据结构一无所知的场景!
  • [技术干货] AI智能体时代,看华为云AI原生应用引擎2.0——Versatile如何脱颖而出,面向千行万业,打造最佳企业Agent平台
    从LLMs大模型到Agent智能体,是人工智能时代下技术迅猛演进的里程碑之一。当进入2025年,大模型基础能力突破临界点,包括交互与理解能力、创造生成能力、长任务推理能力、工具使用能力等,驱动“AI Agent”成为确定性未来。Agent智能体凭借感知-认知-决策-行动的基本结构、以及在动态的现实环境中具备的自主执行与闭环能力,赋予更多人创建可持续的 AI 原生应用程序的能力,同时也为产业智能化升级注入强大动力。当Agent应用开发逐渐全民化,在各行业的土壤落地发芽,但是当面向更多复杂的行业场景、大型企业的定制化精确化需求,能实现向核心业务延伸并更注重实效的企业级AI Agent的重要性越发凸显。  Part01AI原生应用引擎由1.0全面升级至2.0——ModelArts Versatile,打造面向企业的通用AI智能体 华为云ModelArts Versatile-AI原生应用引擎应运而生,凭借企业级Agent的四个关键价值特征:专业(懂企业流程、懂企业数据)、高产(生成高效、作业高效)、主动(自主制造、智能交互)、安全(隐私保护、合规安全),从技术探索走向场景深耕,基于华为内部丰富的AI实践经验,打造企业专属AI数字生产线。Versatile在AI原生应用“工程平台”的基础上,增加通用AI智能体、场景AI能力、行业经验模板等能力,构筑“构建智能体时代的AgentOS”的全面平台能力。通用Agentic能力,支持开箱即用;垂域Agentic能力,支持扩展开发;构建以华为云为底座的繁茂AI生态;Versatile,从应用视角使能企业选好/用好/管好大模型,支撑智能应用创新。开发态AgentStudio:定位为AI应用工程,Agent的开发工具,一站式构建AI智能体,统一AI数据底座,动态上下文记忆使用态AgentSpace:为用户提供统一Agent入口,Agent统一交互入口,人与AI协同的智能入口,统一的Agent指挥中心运营态AgentGallery:以知识工程助力AI原生应用创新,提供Agent Map/MCPTools MapAgentOps:AI智能体的“运维中枢”, 承载Agent从“构成”到“养成”使命,全链路监控、评估和优化实现智能体的可观测、可管控、可迭代。  Part02ModelArts Versatile-AI原生应用引擎,打造最佳企业级Agent平台 01 元学习&规划智能体——Agent定义模板化,像写文档一样开发智能体,让人人都能构建自己的企业级智能体Versatile聚焦企业级智能体,走深向实,垂直行业,深度适配。基于企业知识底座,整合交互系统、推理系统、执行系统、记忆系统,借助“元学习(意为“学会如何学习”)的能力, 提取企业业务场景经验,如行政办公文档、业务运行文档,形成“文档化”开发Agent的新型极简方式,降低开发门槛,赋能更多企业领域开发者内化成基础技能。并通过Managing Agents的框架能力,完成更为精准的议题理解、记忆上下文、会话管理,最终实现企业经验提取,持续积累企业场景经验模板,动态经验知识库迭代的良性循环式运营,指导Agent输出专业级结果。关键技术剖析基于DeepSeek R1或其他Reasoning SOTA模型,提供通用Reasoning能力;通过预置“经验模板”提升垂域场景任务智能上限及任务效果;支持基于“生产任务”积累“轨迹数据”,叠加RL得到更优推理模型,以及持续积累优秀的任务“经验模板”,支持“经验模板Redo”及经验知识库迭代;   02 支持多智能体协同,实现企业10X+效率专家员工在Versatile平台核心引擎内置Managing Agents框架能力,内嵌多个专家级的智能体,包括Search Agents、Data Agents、Coding Agents、Operator Agents等一系列的Agent,便于开发者快速调用和编排。如围绕企业内“招聘”相关的业务流程,借助Versatile构建的招聘Agent,可基于目标的自主规划及多种工具调用,只需耗费5分钟便可覆盖招聘需求分析、候选人搜索、候选人筛选等繁琐的作业流程,并提供专家级高准确性的工作输出成果,真正做到“智能体分钟级工作输出,达成传统天级工作成果”的理想状态。关键技术剖析Versatile基于MoA架构和MCP协议,实现生态扩展及Multi Agent架构MoA是一种先进的多代理系统,专门为检索增强生成 (RAG)任务而设计。与以前的模型不同,MoA架构利用一组小型、专业的模型,以高度协调的方式协同工作,以更高的精度和更低的成本回答复杂的问题。MCP是一种标准化开放协议,为LLM提供标准化的上下文信息传递方式,简化AI模型与外部工具/数据的集成。MCP作为Agent背后的关键技术,被誉为“AI智能体领域的Type-C”。Versatile拥抱开源Agent协议,支持广泛的MCP生态及工具集成,平台集成了丰富的MCP Server模版资产,可快速复用模版资产快速部署MCP服务,并基于部署的MCP服务能够快速构建出千行百业的AI智能体。   03 支持多种智能交互,件件有着落,事事有回音,成为更加主动和自主的智能体为解决企业语境下,下达任务过程不可控、Agent难以实现精准自主闭环的困境,Versatile提供三方面能力,包括主动问询澄清、动态上下文生成、上帝视角督导。其中,主动问询澄清是当任务下发不够清晰时,智能体进行主动问询,事情交代越清楚,结果输出越准确。动态上下文生成对于执行效果起到非常关键的作用,上下文分成用户上下文、任务上下文和领域知识上下文三方面,通过这三个方面可360度理解用户所提交问题的背景、潜在诉求,让智能体比用户更懂用户自己。同时通过对任务分解,支持用户选择修改,让整个交互过程变得既简单又灵活。   04  AgentOps承载Agent从“构成”到“养成”使命,构建安全治理体系,实现三个“不”企业落地智能体,安全是底线,也是红线。所有没有安全保证的智能体几乎是无法生根落地的。Versatile借助华为公司的安全治理体系,包括安全策略、合规管理、反馈审计等一系列的底座的能力,构建数据清洗、Prompt攻击检测、不良内容检测三个主要能力,保障知识安全、交互安全、应用内容安全,实现学不到(使用敏感词、专家规则、检测模型清除原始预料中的有毒语料)、攻不破(攻击模式分析、恶意意图识别、感知增强能力,防御针对大模型的攻击行为)、生不成(安全围栏和风控检测能力,确保输出内容没有不良内容)关键技术剖析AgentOps关键支柱能力:调用链和重放分析:记录Agent行为、决策过程和交互结果,逐步解构整个任务流程,快速定位错误或问题;成本管理:监控和控制每个AI Agent与LLM和API的交互的费用,避免成本迅速膨胀;评估测试:根据标准化或自定义基准测试评估Agent性能,支持HITL和LLM-as-a-Judge;合规性和安全性:检测潜在的数据泄露、Prompt注入和未授权的API使用; Part03信通院重量级评估:Versatile获得智能体评估的最高等级证书,实力赋能更多企业开发者本年度6月,由中国信通院人工智能研究院向华为颁发智能体评估证书-工具和平台(5级),华为成为业界首家获得最高等级证书的单位,ModelArts Versatile平台的专业度达到行业领先水平,加速实现“让人人都能构建自己的企业级智能体”的产品愿景。图:中国信通院人工智能研究院主任曹峰向华为云aPaaS产品部副部长杨建颁发智能体评估证书  Part04客户合作与行业实践ModelArts Versatile-AI原生应用引擎面向各类企业场景,加速AI原生应用落地。现已与政务、医疗、制造、电力、差旅、零售等行业客户合作,构建深耕行业的专业Agent助手,通过搭建企业级数字化AI产线,凭借“更专业、更高产、更主动”的产品优势,帮助实现业务效率的飞速提升。如:慧通差旅 X Versatile-AI原生应用引擎打造企业级差旅Agent,实现AI数字生产力跃升,加速差旅智能化:意图识别准确率提升5%:慧通差旅基于数据创新和模型创新联合Versatile智能交互,提升准确率。智能体开发效率提升3倍:通过文档化快速编排智能体,进行任务间有机协同。数据&算法迭代效率提升为天级:通过数据飞轮天级迭代,反哺模型,让慧通差旅构建的专属Agent越来越聪明。   <Versatile-AI原生应用引擎 体验入口> 华为开发者空间--开发平台--AI Agent( ↑  ↑ 请在PC端点击进入↑  ↑)
  • 协调过滤
    一、什么是协同过滤(Collaborative Filtering)?协同过滤是一种基于用户行为数据(如评分、点击、购买等)来预测用户对未接触物品的偏好的推荐技术。其核心思想是:“物以类聚,人以群分” —— 和你兴趣相似的用户喜欢的物品,你也可能喜欢。二、协同过滤的主要类型1. 基于用户的协同过滤(User-Based Collaborative Filtering)思想:找到与目标用户兴趣相似的其他用户,将这些相似用户喜欢但目标用户未接触的物品推荐给目标用户。步骤:计算用户之间的相似度(常用余弦相似度、皮尔逊相关系数)。找出与目标用户最相似的 Top-K 用户。根据这些相似用户的评分加权预测目标用户对某物品的评分。公式示例(预测评分):在基于用户的协同过滤中,目标用户 u 对物品 i 的评分预测通常采用加权平均偏差的形式,公式如下:2. 基于物品的协同过滤(Item-Based Collaborative Filtering)思想:计算物品之间的相似度,推荐与用户过去喜欢的物品相似的新物品。适用场景:物品数量相对稳定,用户数量多变(如电商平台)。优点:物品相似度可预先计算,推荐响应更快。相似度计算:常使用余弦相似度或调整余弦相似度(考虑用户评分偏差)。三、协同过滤的优缺点优点缺点不需要物品或用户的先验信息(如内容、标签)冷启动问题(新用户/新物品无法推荐)能发现用户潜在兴趣(基于群体行为)数据稀疏性问题(用户-物品评分矩阵稀疏)算法直观,易于实现可扩展性差(用户/物品增多时计算量大)推荐结果个性化强容易陷入“信息茧房”四、改进方法为克服传统协同过滤的缺点,研究者提出了多种改进:矩阵分解(Matrix Factorization):将用户-物品评分矩阵分解为低维隐向量(Latent Factors)。代表算法:SVD、SVD++、ALS(交替最小二乘)。可结合正则化防止过拟合。基于深度学习的协同过滤:使用神经网络学习用户和物品的非线性关系。如:NeuMF(Neural Matrix Factorization)。混合推荐系统:结合协同过滤与基于内容的推荐(Content-Based),缓解冷启动。五、应用场景电商平台(如淘宝、京东):推荐“买了这个商品的人也买了…”视频平台(如Netflix、YouTube):根据观看历史推荐视频音乐平台(如Spotify):推荐相似风格歌曲社交媒体(如微博、小红书):推荐可能感兴趣的人或内容六、Python 示例(使用 Surprise 库)from surprise import Dataset, Reader, KNNBasic from surprise.model_selection import train_test_split # 加载数据 reader = Reader(rating_scale=(1, 5)) data = Dataset.load_from_dict({'uid': [1, 1, 2, 2, 3], 'iid': [1, 2, 1, 3, 3], 'rating': [5, 4, 3, 5, 4]}, reader=reader) trainset, testset = train_test_split(data, test_size=0.25) # 使用基于用户的协同过滤 algo = KNNBasic(sim_options={'user_based': True}) algo.fit(trainset) predictions = algo.test(testset) # 输出预测结果 for prediction in predictions: print(f"User {prediction.uid}, Item {prediction.iid}, " f"True Rating: {prediction.r_ui}, Predicted: {prediction.est}") 七、总结协同过滤是推荐系统的基石之一,尽管存在冷启动和稀疏性问题,但通过矩阵分解、深度学习等方法可以有效提升性能。在实际应用中,通常会将协同过滤与其他推荐技术结合,构建更强大的混合推荐系统。
  • 华为云 键值存储服务 KVS 优势介绍
    华为云键值存储服务KVS服务概述键值存储服务(Key-Value Storage Service,KVS)是华为云推出的一款完全托管的键值存储及索引服务,主要面向游戏、大数据、互联网等业务场景提供高效的数据存储解决方案。 作为国内首款专业的KVS键值数据库产品,它专注于应用的键值类数据(如元数据、描述数据、管理参数、状态数据)的存储需求,为用户提供简单高效的数据管理体验。 KVS采用Serverless架构设计,实现了真正的全托管服务模式,使用户能够专注于业务开发而非基础设施管理。核心特点全托管与易管理KVS提供真正的Serverless模式,开箱即用无需等待,实现零运维负担。 用户无需关注底层硬件配置、分区管理、集群扩展等复杂操作,服务自动根据业务需求进行弹性伸缩,大幅降低运维成本和复杂度。 这种设计使得开发团队能够将精力集中在核心业务逻辑上,而非数据库的日常维护工作。高性能与大规模支持KVS具备毫秒级的低延迟响应能力,支持单表亿级QPS的超高并发处理能力,且存储容量理论上无上限。 这一性能指标使其能够轻松应对互联网、游戏等场景中的高并发读写需求,为用户提供流畅的体验。在华为内部,KVS已经经过超大规模的应用实践验证,展现出卓越的性能表现。高可靠性与安全性数据可靠性达到99.99%的高可用级别,确保业务连续性不受影响。 KVS提供全链路高安全保护,从数据传输、存储到访问控制,构建了多层次的安全防护体系,有效保障用户数据安全。这种高可靠性设计使得KVS成为企业关键业务系统的理想选择。技术优势KVS在架构设计上充分考虑了现代应用的需求,展现出高可扩展性、高性能、高可靠性和易用性四大核心优势。 其创新的存储引擎能够自动处理数据分片、负载均衡和故障转移,用户无需手动干预即可享受无缝扩展的服务体验。作为华为云自主研发的数据库产品,KVS继承了华为在分布式系统领域的深厚技术积累,采用先进的数控分离架构,能够有效应对大规模数据场景下的性能挑战。与传统键值存储相比,KVS在索引能力、数据一致性模型和查询灵活性方面都有显著提升,能够满足更复杂的业务场景需求。应用场景KVS特别适合以下应用场景:游戏行业:存储玩家状态、游戏配置、排行榜等高频读写数据,支持游戏高峰期的海量并发请求。互联网应用:适用于会话管理、用户配置、缓存等场景,能够快速响应用户请求,提升应用性能。大数据处理:作为元数据存储,支持大数据平台的高效运行,为数据分析提供可靠的基础支撑。物联网场景:处理海量设备产生的状态数据和配置信息,支持设备的快速接入和管理。金融交易系统:存储交易状态、用户会话等关键数据,满足金融行业对高可靠性和低延迟的严苛要求。价值与优势KVS的核心价值在于"以简驭繁",通过简化数据存储的复杂性,让开发者能够更专注于业务创新。 传统键值存储往往需要专业的DBA进行调优和维护,而KVS通过全托管模式,将这些复杂性隐藏在服务背后,使任何规模的企业都能轻松使用企业级的键值存储能力。对于企业而言,选择KVS意味着:显著降低基础设施投入和运维成本快速响应业务变化,实现弹性扩展获得企业级的高可用性和数据安全保障无需专业数据库团队即可享受专业级服务总结华为云键值存储服务KVS代表了新一代云原生数据库的发展方向,通过Serverless架构和全托管服务模式,重新定义了键值存储的使用体验。 它不仅解决了传统键值存储在扩展性、可靠性和易用性方面的痛点,还针对现代应用的特点进行了深度优化,为企业提供了一种简单、高效、可靠的数据存储解决方案。随着数字化转型的深入,企业对高性能、高可用数据存储的需求将持续增长。KVS凭借其卓越的技术特性和丰富的应用场景支持,正成为越来越多企业构建现代应用的首选数据存储服务。无论是初创公司还是大型企业,都能从KVS的"开箱即用"特性中获益,快速构建高性能的应用系统,实现业务价值的最大化。
  • [热门活动] 华为开发者布道师技术直播第21期:X+AI驱动下的教育革新与产教融合实践
    🌟【直播预告】👨‍🏫 华为开发者布道师技术直播第21期 | 湖北工业大学机械工程学院的副教授、博士生导师张杨老师🛠将以机械工程专业为例,带来一场主题为【X+AI驱动下的教育革新与产教融合实践】的精彩内容,深入探讨AI如何赋能教育。🚀直播亮点🚀✨重构教学模式:融合前沿技术和创新实践路径,赋能机械专业教学新范式。📦X+AI模式:通过数据贯通、平台共建和产教融合,构建多层次协同育人体系。🛠生态化政策平台:实现区域协同、资源普惠与可持续创新。📅 时间:8月13日(周三)19:00-20:30🔗预约链接:>>X+AI驱动下的教育革新与产教融合实践  
  • [热门活动] 华为开发者布道师技术直播第20期:仓颉编程语言的社区化学习实践
    🌟【精彩预告】仓颉编程语言的社区化学习实践 —— 让富有想象力的学习成为知识与生活热情之间的纽带👨‍🏫 嘉宾:东北大学软件学院副教授 张引老师 | 华为开发者布道师技术直播第20期 将与我们一起探讨如何通过热情而富有活力的仓颉社区,帮助同学们实现从学生到开源开发者身份的转变。📅 时间:8月6日(周三)19:00-20:30🚀直播亮点🚀✨不一样的学习路径:了解如何利用社区资源,开启一段充满机遇和挑战的学习旅程。🔗“热爱学习”的底层原理:探索是什么激发了学习的热情,以及如何保持这份热情,让它成为推动个人成长的动力。📦丰富有趣的开源项目:通过实际案例,了解如何参与开源项目,提升技术能力,结识志同道合的朋友。✨无论你是编程新手,还是有经验的开发者,让我们一起加入这场知识与热情的盛宴,共同探索仓颉编程世界的无限可能!点击预约:>>仓颉编程语言的社区化学习实践  
  • 2025年7月存储服务技术干货合集
    技术干货华为云Flexus OBS 介绍cid:link_1华为云弹性内存存储EMS 优势介绍cid:link_2华为云 键值存储服务 KVS 优势介绍cid:link_3协调过滤cid:link_4AP算法cid:link_5K均值 解析cid:link_6EM算法 快速解析cid:link_7多任务学习cid:link_8LSTM 解析cid:link_0Googlenet 介绍cid:link_9TRPO 算法cid:link_10时间差分学习cid:link_11Zero-Shot Learningcid:link_12Continual Learningcid:link_13Fine-tunecid:link_14GBDTcid:link_15
  • 华为云弹性内存存储EMS 优势介绍
    华为云弹性内存存储EMS:突破AI内存墙的创新解决方案华为云弹性内存存储(Elastic Memory Service,简称EMS)是一种以DRAM内存(动态随机存取存储器)为主要存储介质的云基础设施服务,专为大语言模型推理提供缓存和推理加速。 作为华为云全球首创的创新服务,EMS旨在解决AI推理过程中面临的内存瓶颈问题,通过技术创新打破"AI内存墙",为AI应用提供更高效、更经济的运行环境。产品背景与技术原理随着大语言模型(LLM)的快速发展,模型参数规模不断增长,对GPU显存的需求急剧上升,导致推理成本高企且资源利用率低下。针对这一挑战,华为云创新性地在NPU计算层和持久化存储层的两层架构之间增加弹性内存存储层,成功打破AI内存墙,实现显存按需扩展。EMS基于Memory Pooling专利技术,将显存与DRAM进行池化和整合,把传统的云基础设施"计算-存储"分离池化的两层架构升级为更加高效的三层架构。 通过缓存历史KVCache(键值缓存),EMS实现了"以存代算"的创新模式,有效提升推理吞吐量、降低推理时延迟、节省AI推理算力资源。产品架构与部署模式EMS由内存池、领域专用服务SDK和管理控制面三部分组成,具备易用性、弹性扩展和高可用性。 其中,分布式内存池提供跨节点的内存管理、数据负载均衡和数据恢复等功能,确保服务的高可靠性和性能。在部署模式上,EMS采用半托管融合部署方式,数据面直接部署在AI服务器上,统一纳管AI服务器上空闲的DRAM内存资源,实现对现有资源的高效复用。 这种创新的部署方式避免了传统架构中内存资源的浪费,显著降低了成本,同时提高了资源利用率。核心优势1. 资源高效利用与成本优化EMS通过统一纳管AI服务器上空闲的DRAM内存资源,复用现有硬件资源,大幅降低了AI推理的硬件成本。 这种资源复用机制使企业能够以更少的投入获得更高的AI推理性能,特别适合资源有限的中小企业。2. 性能显著提升通过缓存历史KVCache,EMS有效减少了重复计算,大幅提升了推理吞吐量,同时降低了推理延迟。 对于需要处理大量并发请求的AI应用场景,这种性能提升尤为明显,能够显著改善终端用户体验。3. 简单易用与快速集成EMS提供友好的管理控制面和领域专用服务SDK,大大降低了使用门槛。 即使是没有深厚技术背景的开发人员,也能快速上手,将EMS集成到现有AI应用中,加速产品上线时间。适用场景EMS特别适用于以下场景:大语言模型推理服务:为LLM提供高效的缓存机制,提升推理性能,降低运营成本。高并发AI应用:在需要处理大量并发请求的场景下,EMS能有效提升系统吞吐量,确保服务质量。资源受限环境:在GPU资源有限的情况下,通过EMS扩展有效内存容量,运行更大规模的AI模型。成本敏感型AI项目:对于预算有限但需要高性能AI能力的企业,EMS提供了一种经济高效的解决方案。总结作为华为云在AI基础设施领域的重要创新,EMS代表了云服务向更加智能化、高效化发展的趋势。随着AI技术的不断进步和应用场景的日益丰富,EMS有望在更多领域发挥价值,成为AI应用不可或缺的基础设施组件。华为云弹性内存存储EMS通过创新的架构设计和先进的技术实现,有效解决了AI推理中的内存瓶颈问题,为用户提供高性能、低成本、易管理的内存存储服务。无论是初创企业还是大型机构,都能从EMS中获益,加速AI应用的开发和部署,推动AI技术的普及和应用。华为云EMS不仅是一次技术突破,更是AI基础设施演进的重要里程碑,将为AI产业的健康发展提供强有力的支持。
  • 华为云Flexus OBS 介绍
    华为云Flexus OBS:数字化转型的理想数据底座华为云Flexus OBS是华为云推出的分布式海量对象存储服务,专为中小企业量身打造,旨在为用户提供高效、安全、经济的云端存储解决方案。 作为华为云对象存储服务(OBS)产品线的重要组成部分,Flexus OBS面向数据归档、网站建设、内容分发等场景,为中小企业提供最佳数据底座,具备资源包灵活组合、极致安全可靠、管理简单等特点。产品定位与核心价值Flexus OBS是华为云针对中小企业数字化转型需求而设计的存储服务,它继承了华为云OBS的核心优势,同时在定价模式和服务体验上进行了优化。该服务特别适合电商直播、企业建站、开发测试环境等场景,能够满足中小企业在不同业务阶段的存储需求。 作为数字化转型的基础设施,Flexus OBS让存储能力真正成为企业数字化的坚实底座,助力企业专注于核心业务创新而非基础设施管理。核心技术特点1. 高可靠性与数据安全Flexus OBS采用多副本和纠删码等机制保障数据持久性,确保用户数据的高可靠性。 服务通过可信云认证,支持服务端加密、防盗链、VPC网络隔离、日志审计以及细粒度权限控制,全方位保障数据安全可信。 这些安全特性使企业能够放心地将关键业务数据存储在云端,无需担心数据泄露或丢失风险。2. 高性能与扩展性Flexus OBS通过智能调度和响应优化数据访问路径,结合传输加速和大数据垂直优化技术,为用户提供超高带宽和高效的数据访问体验。 该服务支持千亿级对象存储和千万级并发访问,能够轻松应对业务高峰期的流量冲击,确保业务连续性和用户体验。 作为基于对象的存储服务,Flexus OBS让用户无需考虑容量限制,可随时根据业务需求弹性扩展存储空间。3. 灵活的资源管理Flexus OBS提供资源包灵活组合的特性,使中小企业能够根据实际业务需求选择最适合的存储方案,避免资源浪费。 服务管理界面简洁直观,操作简单,大幅降低了中小企业使用云存储的技术门槛,让非专业IT人员也能轻松管理企业数据。适用场景Flexus OBS适用于多种业务场景,主要包括:数据归档:为企业提供长期、低成本的数据归档解决方案,满足合规性要求的同时降低存储成本。网站建设:作为网站静态资源(如图片、视频、CSS、JavaScript文件)的存储平台,提供高可用性和快速访问能力。内容分发:与CDN服务结合,加速内容分发,提升全球用户访问体验。备份与容灾:作为企业数据备份和灾难恢复的可靠存储后端,保障业务连续性。大数据分析:为大数据分析平台提供海量数据存储支持,满足数据分析和处理需求。与标准OBS的关系Flexus OBS是华为云对象存储服务(OBS)产品体系中的重要一员。标准OBS作为华为云的基础存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 Flexus OBS则在此基础上,针对中小企业特点进行了优化,提供了更加灵活的资源组合方式和更适合中小企业预算的定价模式。产品优势总结华为云Flexus OBS的核心优势可概括为"三高一低":高可靠、高性能、高扩展性、低成本。 它不仅继承了华为云OBS的技术优势,还针对中小企业需求进行了优化,使中小企业能够以更低的成本获得企业级的存储服务。通过Flexus OBS,中小企业可以将精力集中在核心业务上,无需担忧底层存储基础设施的建设和维护,从而加速数字化转型进程。 该服务简单易用的管理界面和灵活的资源组合方式,大大降低了企业使用云存储的门槛,让数字化转型变得更加平滑和高效。作为华为云智能世界云底座的重要组成部分,Flexus OBS与其他华为云服务(如云硬盘EVS、弹性文件服务SFS等)协同工作,为企业提供全面的云存储解决方案。 无论是初创企业还是成长中的中小企业,Flexus OBS都能为其提供可靠的数据存储保障,助力企业在数字化时代稳健发展。
  • 华为开发者空间 基于华为云主机的软件定义网络SDN实践 建议反馈贴
    体验华为开发者空间【案例共创】基于华为云主机的软件定义网络SDN实践案例,反馈改进建议,请直接在评论区反馈即可体验指导:cid:link_0
  • 华为开发者空间+Dify平台的AI Agent构建实战:搭建大学报考志愿建议助手 建议反馈贴
    体验华为开发者空间【案例共创】基于华为云开发者空间+Dify平台的AI Agent构建实战:搭建大学报考志愿建议助手案例,反馈改进建议,请直接在评论区反馈即可体验指导:cid:link_0
  • [热门活动] AI框架MindSpore
    AI框架MindSpore:https://www.mindspore.cn/   
总条数:2013 到第
上滑加载中