-
垂直专家联邦:面向存储与算力困境的另类破局路径——一份技术思路探讨摘要当前以单一通用大模型(LLM)为核心的技术路径,在算力效率和存储经济性上正面临结构性瓶颈。我提出一种名为 “垂直专家联邦” 的差异化架构思路。该思路的核心是:不再追求构建参数更大、更全能的“通才”模型,而是转向培育一系列深度聚焦、高度优化的“专才”模型,并让用户通过主动提供轻量化的“基础画像”来获得精准服务。 我相信,这条聚焦专业化、个性化的路径有望在显著提升专业场景用户体验的同时,从本质上缓解AI对存储与算力的巨大压力,并为华为发挥其端-边-云协同的生态优势,开辟一条独特的AI发展道路。补充说明: 根据我的观察,当前市场上真正深入特定专业领域、具备深度功能和良好交互体验的专用AI模型非常稀少,且功能大多停留在通用模型的浅层封装。这恰恰表明,从“通用智能”到“专业智能”的转化路径上,存在着尚未被充分开发的显著市场真空与体验鸿沟。本构想正是试图系统性地填补这一空白。第一章:问题诊断——当技术路径陷入“暴力破解”的惯性当前AI发展的主流路径,本质上是一场围绕数据规模和算力总量的“军备竞赛”。各大厂商的核心思路惊人一致:收集更多数据、投入更大算力、训练更庞大的模型,试图通过“暴力破解”的方式逼近通用人工智能。这一路径存在双重困境:技术困境:专业场景下的“伪智能”——模型无法形成持续的专业记忆,每次交互都是冷启动。惊人的资源浪费——处理垂直任务时,90%以上的算力消耗在与该领域无关的参数上。低效的数据利用——为获得1%的专业知识,必须存储和处理100%的混杂数据。经济困境:训练成本已进入“亿美元俱乐部”,但专业领域的实用价值提升却极为有限。更为关键的是,这条路径将用户置于完全被动的位置——用户只是数据提取的对象,是模型训练的资源,却无法主动参与AI的塑造过程。问题的核心或许在于:我们是否高估了“让机器变得更像人”的必要性,而低估了“让机器更好地服务人”的可行性?我的基本观察是:现有的技术范式并未失效,但应用思路可能需要调整。 无需颠覆底层技术,只需改变协作方式——从“模型被动猜测用户需求”转向“用户主动参与模型塑造”,或许就能用现有算力实现效率的倍增。第二章:我的构想——一条从“专业场景”切入的务实路径基于对现有AI效率瓶颈的观察,我的构想遵循一个务实的逻辑:与其投入海量资源追求通用的“全能”,不如将力量集中于一个个具体的“专精”领域。这本质上是一次思路转换——将构建智能的核心,从后端对混杂大数据的被动挖掘,转向前端对用户高质量意图的主动承接。我的具体思路分为两步:第一步,是打造真正好用的专业工具。在编程、法律、烹饪等知识结构明确的领域,构建一个个高度聚焦、深度优化的垂直模型。它们不必“万事皆通”,但必须在自己的领域内做到响应快速、答案可靠、理解到位。例如,一个“代码助手”的核心使命,就是准确理解开发者的意图并生成可用的代码,而不是与之讨论哲学。第二步,是建立一种基于“能力画像”的简洁共识。当用户开始使用某个专业工具时,系统将通过最简化的方式(如选择标签或一句话描述),引导用户建立一份 “基本能力画像”。这份画像的目的,是快速确立一个专业的对话基线,它例如包括以下基本信息:主要专业领域(例如:云计算架构、民事诉讼、面点烘焙)关键技能或知识范畴(例如:熟悉Kubernetes与Go、精通合同法、擅长苏式糕点)大致的经验层级(例如:专家、熟练、入门)例如,一位工程师使用“代码专家”时,可快速确认:“我的领域是后端开发,精通Java与微服务架构,有超过8年经验。” 此后,系统所有回应都将默认基于“与一位资深Java架构师对话”的共识展开,直接切入技术核心,无需任何基础知识的对齐过程。这一构想将直接带来颠覆性的用户体验:当用户使用这套系统时,将彻底告别与通用AI反复“冷启动”的漫长磨合。系统凭借精准的“能力画像”与对应的专业模型,能从第一句话开始就用专家的语言回应用户。用户无需再花费时间“训练”AI,也无需从冗长的答案中筛选有用信息——问题越专业,回答越精准。这一路径的优势在于务实与可持续:对用户而言,他们因为工具本身好用而使用,并在使用中获得精准服务,自然愿意提供更清晰的意图描述。对系统而言,每一次成功交互都获得了一份 “意图-结果” 的高质量配对数据,这远胜于从海量日志中反向推测。由此,一个良性的飞轮开始转动:工具越准,用户越愿意用;用户越愿意清晰表达,工具就进化得越准。更重要的是,这条路径天然具备强大的成长性。当一个专业模型(如“代码宗师”)凭借极致的体验建立起口碑后,将产生裂变效应:用户会自发地提出更细分、更前沿的需求,从而催生出无数个高度精细化的“微型专家”。这些“微型专家”并非孤立存在,它们能通过预先定义的协议进行协作式调用,共同解决复杂的交叉问题。用户无需知道背后是哪个模型在工作,他们只需提出问题,系统便会自动寻找、组合最合适的“专家”来提供服务。最终,这将不再是一个个独立的工具,而是一个在华为生态内自然生长、自我演化的 “智能有机体” 。用户会发现,无论问题多么细分或跨领域,都能在这个系统内找到解决方案——从修改一行代码,到设计一顿营养餐,再到规划一次跨境法律咨询。当“有任何专业事情,都习惯用华为的AI系统”成为稳固的用户心智时,华为便构建起一个从硬件、软件到服务,再到知识网络的、完整且生生不息的生态链。对于正寻求突破AI算力与存储效率瓶颈的华为而言,这条从“专业”到“智能”、从“用户主动投喂”到“数据飞轮”,并最终导向“生态链”的路径,无疑提供了一个坚实且充满想象的差异化方向。第三章:构想背后的价值洞察3.1 对效率困境的潜在回应虽然本构想并非直接针对硬件存储介质,但它从数据组织和计算模式上,为缓解当前AI的存储与算力压力提供了一种思路:存储层面:垂直专家模型无需存储海量混杂的通用语料,只需专注于本领域高纯度、高价值的知识晶体,可能大幅提升存储的信息密度。算力层面:处理任务时,系统仅调用相关领域的专家模型,避免了在通用模型万亿级参数中“大海捞针”的无效计算,让每一焦耳的电量都产生更直接的价值。3.2 与华为生态的战略协同点此构想若能起步,可以与华为的独特优势深度咬合:昇腾芯片:专家模型规模更小、任务更确定,易于在昇腾AI处理器上实现极致的性能优化和能效比。鸿蒙生态:可以化为一个个即点即用的原子化服务,深度融入华为终端,打造“专业问题,华为秒答”的体验壁垒。华为云与行业市场:每一个垂直专家,都是打开一个高价值行业市场的“楔子”,能带动从咨询、部署到服务的全链条。3.3 一个额外的可能性:“拆分-画像-再融合”的螺旋本构想还有一个更深层的技术想象:当这些垂直专家模型通过“用户画像”的反馈变得极其精准后,我们是否可以将其视为优质的“能力模块”,反哺或重构出一个新一代的通用大模型? 这或许能为大模型的演进,开辟一条“从专业中来,到通用中去”的新路径。结语我需要坦诚说明,前述关于产业影响与生态演进的探讨,仅是基于技术逻辑的推演与想象。这些设想能否实现,完全取决于一个更基本问题的答案。本构想的核心意图非常朴素:尝试将综合型大模型按领域“拆分”,为独立的专业模型引入用户主动构建的“基础画像”,以此探索能否打造出让用户感到“既懂自己,又足够专业”的AI工具。 在此基础之上,我们还可以探索一个更深层的可能性:将这些通过实践验证、已经具备高度专业性和用户理解力的独立工具,再次进行整合,或是将其核心能力模块反哺至原有的大模型中,从而构建一个既拥有通用知识广度、又具备深度专业精度的新一代融合模型。如果这个“拆分-画像-再融合”的螺旋式路径能被验证有效,那么它不仅能为用户提供立竿见影的精准体验,更可能为大模型自身的演进开辟一条“从专业中来,到通用中去”的新路径——让模型的通用能力,建立在无数个经过实战检验的专业根基之上。因此,这份文档更接近于一份着眼于路径差异的“技术设想”。它无意提供终极答案,而是希望在当前以规模为核心的主流竞争路径之外,勾勒出一个可能存在的、以专业与协作为重心的新思路。需要特别说明的是,文中提及的效率提升等量化分析,主要基于技术逻辑的推演,旨在指出了一个可能的方向与趋势。 此路是否可行,唯有实践能够给出答案。本文档由个人独立思考形成,旨在进行技术思路探讨。
-
监控防护这里能更新下设置吗 就这一个选择项目 能不能向其他家那样自由选择防护防护开关 比方说 内存 硬盘 下载 还有设置监控等级 从地道到 可以参考别家 还有加速一下入库速度 速度有点慢 昨天测试的时候 一个月前的 21个样本其中有4 5个都还没入库而且双击 无反应
-
咱们这个 华为乾坤终端什么时候能加强一下 这几天在论坛里面 双击了很多样本 用火绒查出来100多个威胁 然后用乾坤企业个人都试验了 只有10个 然后又用360查出100多个 然后卡巴斯基30多个 咱们这个查杀率是不是有点太 而且查杀出来的基本都是样本 已经感染的文件基本看不到记录 顺便希望你们软件增加内存 注册表 启动项查杀
-
随着数字化进程的加速,各种架构设计思想风起云涌,进入百家争鸣时代,微服务架构,云原生架构,Serverless 架构,事件驱动架构,中台架构,容灾架构,到底哪种思潮代表未来呢?未来的架构趋势是什么呢?你同意“微服务架构是下一代软件架构”的说法吗?1.作为开发者,你认为哪种架构思潮可以代表未来呢?2.你同意“微服务架构是下一代软件架构”的说法吗?为什么?
-
规格如图所示,我用inxi -C命令查询cpu主频只有200MHz,这是为什么。
-
活动完成了,确定一下,对吗
-
rap调用远程接口总是返回失败,但是postman中能调用成功;请问这个url说明是什么意思呀
-
目录: GaussDB Roach逻辑备份恢复原理gs_dump逻辑备份恢复工具roach逻辑备份恢复GaussDB Roach逻辑备份恢复实践 逻辑备份恢复支持、规格及约束 续备份、续恢复 逻辑备份删除 存储介质 容错支持 特殊表名 并行处理 最佳实践FAQ GaussDB Roach逻辑备份恢复原理: 1. gs_dump逻辑备份恢复: 可以设置事务隔离级别。 gs_dump一致性备份:在单个database内保持一致,不同database之间无法保持一致,因为不同database之间需要切换connection,不能在不同database之间共享snapshot,因此只能在同一个database内保持一致性。 如果不保持一致。一个database数据量非常大,gs_dump备份时间会比较长,将会持有锁比较长的时间,对于一些需要ddl操作的database实例来说无法忍受。 解决方案:细粒度备份,而不要备份整个database,一次只备份一个table,调用gs_dump多次。如果多个表之间有关联,将这些表放入一个gs_dump操作中,用-t tablename来操作。但是这个-t其实是解决了依赖关系,本质上还是按照依赖顺序串行导出。一个单表数据量非常大,考虑分区表,也就是将数据进行了分片。否则这些表的ddl将会增加gs_dump之间的冲突。对于数据量非常大的databse实例,推荐使用PITR物理增量备份。 gs_dump并行备份: gs_dump版本>=9.3,server版本>=9.2,需要支持pg_export snapshot n+1个连接,-j n是并行度,1是主节点的连接 对于版本<9.2,需要并行度和数据库一致性,在备份的时候不能做dml操作。 2. roach逻辑备份恢复: GaussDB是一个分布式数据库,数据自动分片存储。GaussDB roach采用了基于单表粒度的备份恢复来实现逻辑备份,即一次只备份一个table,每次通过gs_dump导出table的ddl语句,并通过单独的外表方法(roach外表方法)来导出数据(不同表之间不保证数据一致性)。 GaussDB Roach逻辑备份恢复实践: 1. 逻辑备份恢复: 支持单表、多表(可以是不同schema的表)、schema、database级别逻辑备份。schema、database都默认转为多表逻辑执行(基于单表的串行实现),备份出schema、database内包含的所有表数据。可以从多表、schema、或者database逻辑备份中恢复出任意单张表或者多张表。 规格约束:不支持private table,nodegroup table, replication table,table has trigger/sequence表的备份恢复。 对于表之间依赖关系,trigger,sequence,index等没有进行导出,只备份恢复数据。 单表: --tablename table 其中tablename可以是schema.table; schema默认为public,database默认为postgres单表备份:python $GPHOME/script/GaussRoach.py --master-port 9500 --agent-port 9600 --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t backup --tablename table [--schemaname schema] [--dbname database] 单表恢复:python $GPHOME/script/GaussRoach.py --master-port 9500 --agent-port 9600 --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t restore --tablename table [--schemaname schema] [--dbname database] --backup-key bkpkey [--clean]/[--create] 多表: --table-list --table-list选项与--tablename以及--schemaname不兼容;可以是不同schema中的表 tablelist文件内容示例:public.t1gauss.testT2Public."Temp"汉字表名cc.1a 多表备份:python $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t backup --table-list tablelist [--schemaname schema] [--dbname database] 多表恢复:python $GPHOME/script/GaussRoach.py --master-port 9500 --agent-port 9600 --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t restore --tablelist tablelist [--dbname database] --backup-key bkpkey [--clean]/[--create] Schema: --schemaname Schema规格约束: 其中系统级schema "dbms_job", "dbms_lob", "dbms_om", "dbms_output", "dbms_random", "dbms_redact", "dbms_sql", "sys", "utl_file", "utl_raw", "cstore"不支持备份恢复,都会报错退出。 Schema备份:python $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t backup --schemaname schema [--dbname database] Schema恢复:python $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t restore --schemaname schema [--dbname database] --backup-key bkpkey [--clean]/[--create] 其中-t restore --schemaname schema --dbname database --backup-key bkpkey 可以从database级别逻辑备份中恢复出指定的schema Database: --dbname Database规格约束:其中系统级schema "dbms_job", "dbms_lob", "dbms_om", "dbms_output", "dbms_random", "dbms_redact", "dbms_sql", "sys", "utl_file", "utl_raw", "cstore"不支持备份恢复,都会被默认过滤掉。 Database备份:python $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t backup --dbname database Database恢复:python $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t restore --dbname database --backup-key bkpkey [--clean]/[--create] 2. 逻辑续备份、续恢复: 逻辑备份续备份、续恢复。其中续备份对于已经进行过校验的表名不会继续校验,以提升效率。如果在续备份时某些表已经被过滤掉,没有实际备份,而用户又对表对象属性进行了修改,希望能够得到备份,则考虑重新进行单表、多表重新备份,或者等待下次备份即可。 多表、schema、database等均支持续备份、续恢复,仅在备份、恢复失败之后才需要做。 续备份: --resume-backup --backup-key bkpkeypython $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t backup --schemaname schema [--dbname database] --resume-backup --backup-key bkpkey 续恢复: --resume-restore--backup-key bkpkeypython $GPHOME/script/GaussRoach.py --master-port port_no --agent-port port_no --media-destination media_path --metadata-destination metadata_path --media-type DISK --logging --logging-level INFO -t restore --schemaname schema [--dbname database] --backup-key bkpkey [--clean]/[--create] --resume-restore 3. 逻辑备份删除: 通过指定backupkey来删除,cascade是将所有backupkey全部删除。 python $GPHOME/script/GaussRoach.py --master-port port_no --media-destination /home/dulong/backup/media --metadata-destination /home/dulong/backup/metadata --media-type DISK --logging --logging-level INFO -t delete --cascade --backup-key bkpkey 4. 存储介质:一般指定DISK,兼容NBU、OBS等多种存储方式 5. 容错支持:对于不支持的表会进行过滤,不会影响其他表的正常备份恢复。 恢复到新集群:默认备份恢复database是postgres,可以指定其他database。恢复到新集群需要加--create;而恢复到老集群则最好加--clean,会将原有数据清理删除再恢复已防止数据冗余;不加则直接恢复数据,可能会导致冲突或者数据冗余。 同样的,如果一个数据库中某些表已经被drop掉,恢复时这些表需要--create,而其他表需要--clean。用--clean时恢复时另一部分需要--create的表会被过滤掉,反之亦然。 6. 特殊表名: 汉字表名不需要加双引号 大写表名,大小写表名,首字母为数字,含有$, . 等特殊字符在对象中等都为特殊对象名。其中除了含大写字符的不能自动识别外,其余均可自动识别并加上双引号。表名含有. 时,默认. 前为schema名称,如果该.就是表名的一部分,则需要加两侧加双引号,以保证可以识别正确。 特殊对象名称需要加双引号,例如schema名为 a.b,表名为 'public.',传入必须加双引号,如‘“a.b”’,‘“public.”’,双引号外侧再加单引号是为了保证正确传入了对象名,如果传入“public.”,内部传入其实为'public.';如果对象名内有大写字符,也需要加双引号,否则内核会默认转为小写。 PS: 尽量不要数据库对象内加各种特殊符号。 7. 并行处理: Gauss数据库为分布式数据库,默认进行了分片处理。每个数据库节点上有一个或多个datanode,一般一个datanode对应一个磁盘,而我们每个节点推荐>=2个datanode保证高可用等。数据落盘为每个datanode同时向磁盘写数据,不同datanode并行的向磁盘写入数据。 每个datanode内为串行的处理表数据,一个表数据处理完之后再处理下一个表(8.1)。在8.1及8.2后续版本中,将实现单个datanode的多个表并行的处理数据(自定义并发度)。 8. 最佳实践: 设置常规作业,利用多表逻辑备份业务中比较重要的表,schema及database备份往往将所有表备份,重要程度不高的表备份恢复仍然有较高开销。对常规作业设置优先级,按优先级进行不同时间间隔的备份与恢复。Database级别逻辑备份将备份整库数据,如果database实例内表数量大且规模大,性能会比较差(单个datanode内串行备份恢复);推荐使用PITR物理增量备份来替代Database逻辑备份。如果逻辑备份恢复中途失败,尽可能使用续备份、续恢复以完成作业。续备份只备份未备份成功的表,且对已经校验过的表将不会进行二次校验,而现行的校验为串行校验,表数量比较大的时候开销仍然较大;续恢复将恢复未恢复成功的表。在8.1以及8.2后续版本中,将实现更为细粒度的续备份、续恢复,备份效率将更为提高。合理设置压缩算法和压缩率 FAQ: 1. Why not gs_dumpall?The gs_dumpall program exports all databases, one after another, into a single script file, which prevents you from performing the parallel restore. If you back up all databases this way, the restore process will take more time.The processing of dumping all databases takes longer than each individual one so you do not know which dump of each database relates to a specific point in time. If you have a good reason to use the gs_dump all to backup all databases, the following is the command: gs_dumpall -U postgres > c:\gsbackup\all.sql 2. Why not gs_dump? gs_dump虽然灵活,但是数据导出按照sql或者二进制,仅支持在单节点导出。数据量较大的情况下性能往往较差,且不易扩展。 3.一致性? 数据的一致性要求在备份恢复过程中要求并不一定很高,而对于性能,扩展性,灵活性等均有一定要求。因此牺牲一定一致性来换取更好的性能,易用性等,对于实际场景往往可以接受。
-
尊敬的华为云客户:华为云计划于2019/05/09 00:00(北京时间)将“存储容灾服务”正式转商用。服务将在正式转商用后开始收费,存储容灾**0.7元/保护实例/小时,按需计费,容灾端云硬盘由EVS服务计费。华为云在此提醒您,如果您不再需要使用存储容灾服务,请在服务正式商用前(2019/05/09 00:00)清理掉存储容灾服务保护实例相关资源,避免产生不必要的费用。更多关于存储容灾服务的产品介绍,请您点击了解。如您遇到任何问题,可随时通过工单或者服务热线(+86-4000-955-988 )与我们联系。感谢您对华为云的支持!
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签