WeTune改写规则的自动发掘方式cid:link_0WeTune改写规则的实现cid:link_2WeTune 2.0在华为云GaussDB的落地cid:link_3WeTune在数据库产业的价值及未来前景cid:link_4增量计算cid:link_5数据库服务 APIcid:link_6一站式API Explorer工具cid:link_7GaussDB 管理平台的日常运维cid:link_8库GaussDB管理平台的一键式安装部署cid:link_9AI 原生应用引擎的架构cid:link_10大模型与生成式AI驱动软件cid:link_11AI 理解业务cid:link_12华为云AI原生应用引擎cid:link_1提升模型推理能力cid:link_13Agent编排https://bbs.huaweicloud.com/forum/thread-0282178778345565083-1-1.html

Agent编排：基于模型之上有效地连接既有的业务能力、数据、其他不同的第三方模型等，来实现复杂的业务活动。大模型在推理能力上的局限性导致无法解决比较复杂的任务和场景，在目前的Agent开发过程中，都采用了流编排或流引擎技术，这是通过一种预定义的方式，预先完成对业务的拆解，来实现有效调度和协同；华为云AI原生应用引擎支持0码方式实现Agent编排和SDK方式来串接不同的模型或AI Agent完成高码编排，提供了丰富的场景、强大的流处理引擎和相关处理机制、对千万级Agent调度协同的管理能力和基于函数编程、代码执行的相关能力，高效利用资源，处理灵活方便；在南向和北向上提供了两层API封装的定义，便于在南向对接业界各种不同的大小模型，在北向开放接口，使能开发者基于AI原生应用引擎平台完成对存量应用的改造和重塑，或新形态应用的开发，来实现北向生态的繁荣。AI可信治理：通过平台化build-in的安全机制和能力，保证模型生成内容结果的可靠性和数据资产、模型资产的安全性等。基于华为内部的实践经验，内置了全流程可信的工具方法，根据不同的角色和权限定义，保护数据、知识库、Agent应用以及相关业务；传统应用的输出结果都是确定的，在一定程度上是可信的，而AI应用生成的结果比较灵活，有一定的风险，需要采取隔离措施来保证这两者之间安全合规的集成和调用。AI资产库：开发活动中沉淀和积累的场景模型、数据、知识、提示词、Agent、业务活动资产等，都可以放到资产库里，来实现最大范围内的复用，有效提升后续开发的效率和质量。资产中心内置了行业伙伴和行业实践相关的数据资产，API Hub里预封装了行业能力的API资产，比如卡车物流、天气查询、打车等生产生活中常见的场景API Kit，方便被大模型或Agent调用；基于大模型的AI原生资产，包括Agent开发模板、场景模型、知识资产等，帮助开发者降低开发难度和复杂度，来快速完成应用创新。

华为云推出了AI原生应用引擎，给开发者提供了AI原生应用的一站式服务平台，从模型本身角度，是帮助企业选好、用好、管好大模型，从应用开发效率和效果角度，是赋能开发者实现AI原生应用创新。知识中心：通过提示词工程、模型检索增强生成RAG工程、Agent工程等来提升模型场景效果并持续迭代优化。高质量提示词输出难度大，目前有两种解决思路，一是总结一些场景的优秀实践形成提示词模板可供直接使用，二是用AI的方式对用户输入的内容进行改写、扩写，把模糊性、片段性的内容转换成相对较精确、描述结构较完整的提示词，提升模型推理能力，并根据生成结果的反馈来判断应用效果，持续迭代和优化提示词模板；将业务经验和知识的文档类资产导入到平台里，转变成模型能够理解和消费的知识，并提供知识数据的加工、标注处理、生成的功能；训练过程中可能出现数据不透明、过时、本身质量差、存在事实性错误等问题，通常使用模型检索增强生成RAG的方式来完成增强，它是一个程序化、工程化的实现，包括了对查询输入意图的理解、改写、转写和对后端不同知识库的查询编排，可以通过串接传统搜索、数据库、知识库等相关内容的融合检索来生成最终想要的结果；根据前端交互界面生成结果的评测和反馈，来优化知识库内容、模型训练数据和对模型调优。 

模型中心的核心是模型网关，对业界主流大模型、商业大模型、自建模型进行托管，统一管理和调度各种不同来源、不同用途的模型，通过集中的网关来实现统一注册、接入、调度、路由、分发和可观性跟踪，把已有的或第三方模型资产快速注入到模型网关中进行预集成验证，方便被上层调用，同时，模型中心还提供了基于ABM的元数据管理机制，根据模型的种类、规格、来源、用途等建立一个清晰的管理清单，确保在业务活动过程中相关资产的安全性和合规性；模型中心从华为自身的场景实践和内外部生态的汇聚，提供了针对模型场景的自动化评测框架，难度在于缺乏B端企业生产场景的数据，需要用企业自身的相关知识和评估方法去完成，目前有两种方法来判定评测生成的结果，一是基于一个评判的模型，即AI评判AI的自动化方式，二是引入相关专家的经验和知识，由专家来标注或者判定结果，两者结合来给出最终评判结果；当推理的算力集群或模型本身发生故障时，提供了模型Failover机制，后端实现自动切换，前端业务场景无感知，不影响上层业务应用；在模型中心网关节点通道上，对输入输出的内容进行合规过滤和监测，同时监控模型推理的性能，提供全面的关于后端的客观性度量和跟踪机制。

（1）如何建立 IT 部门与业务部门的有效协同机制 选择合适的场景需要规避两个问题，一是当前模型可能不太擅长某些问题，二是要注意选择通过低成本解决高价值场景；基于大模型的生成式应用开发，不仅是IT问题，更多的是业务问题，它以数据为中心、结合业务场景，因此，业务部门和IT部门/开发团队在AI原生应用的开发过程中需要做有效协同；开发活动中需要有效实现协同来构筑公共资产，包括业务领域的知识/数据资产、模型和开发活动中的一些公共能力和组件的相关资产。（2）如何准备丰富的高质量数据，帮助 AI 理解业务 B端业务场景的数据不太充分，需要通过一定经验和方法来准备高质量数据，华为总结了一些开发的业务活动，构筑到工具平台里面，来辅助开发者完成数据准备；语言类模型本身具备语言能力和推理能力，回答客户问题需要基于企业内部知识库来生成，而不能用模型内部知识，避免给用户造成误导；抑制具备通用知识的模型在业务适配后产生的幻觉，通常是通过挂载外部知识库的方式来实现，但知识库比较复杂、内容来源多样、有多种不同形态，需要有效管理协同知识库的内容，才能确保在检索和生成过程中引用到合适的知识，从而达到更好的幻觉抑制效果。（3）如何建立完善的风险保障机制，确保 AI 安全可信治理 我国针对大模型、基于大模型生成的应用，都有相关的安全合规、管理的制度和内容，这就要求具备一些能力从源头上确保合法合规。从资产安全性角度，大模型压缩的行业知识和经验、挂载给模型的知识库内容、模型生成的内容，都属于高价值资产，如何保证模型安全、数据安全，也需要重点考虑和解决。（4）如何应对大模型带来的投资成本 在大模型训练推理算力和大模型业务开发活动过程中，平衡成本和收益始终是一个绕不开的话题，可以通过良好的业务规划和设计来复用模型，来达到算力和请求之间的一种均衡，也可以运用提示词缓存等机制，有效降低模型在推理过程中的消耗和成本开支。

第一点是认知和思想方面的变化，称为AI First新思想，即在软件开发或业务活动中遇到任何问题，首先会思考如何用大模型和生成式AI的技术来解决，这是一种新的思维方式，既包括了对技术的认知，也包括了如何用技术来重构既有的业务流程，或者颠覆既有的开发模式。第二点是AI Native新实践，指从架构、流程、方法等层面带来的新的最佳实践。除此之外，还可以从4个方面来理解大模型生成式AI给软件开发活动带来的影响：新架构：从构成式架构到生成式架构的变化；新体验：从键鼠与触摸到自然交互的变化；新工程：从以人为本的协作开发到以数据为本的生成式开发的变化；新商业：从软件即服务到服务即软件的变化。（1）如何选择合适的大模型，建立有效的模型引入机制 业界模型种类繁多，有不同规格、不同模态，解决问题时如何选择最合适的模型，是一个比较复杂的问题，必须要解决几个关键要素，比如对模型进行专业评测、模型引入要有一套管理机制、回避风险问题以及有效治理能力各异的大模型等。（2）如何用好大模型，在基模之上进一步提升应用使用效果 提示词工程：提示词的核心是对业务的理解和抽象，它是围绕业务的一种高度凝练的总结和抽象，构建提示词工程有一定的门槛；模型复用和模型编排：在实际场景中存在多种不同模型的复合使用，需要实现模型之间的有机调度和编排；持续迭代：做完程序或功能后，必然存在如何持续演进的问题，需要基于业务的反馈、知识标注和数据回流来持续提升模型，保证业务效果得到持续优化。

基于大模型的生成式AI，将会引领我们走向AGI通用人工智能时代，经常有人说，在大模型和生成式AI时代，一切应用都值得用AI重做一遍。这是为什么呢？作为技术从业者，我们需要理解大模型生成式AI给软件开发产业带来的影响：1.在企业业务活动中，最难以传承和复制的就是业务知识和经验，大模型是一种比较好的途径，能够将企业已经积累的知识经验、场景know-how等内容，以模型的方式对外提供。2.基于大模型产生了一些场景化的AI能力，这是之前传统AI或传统编程方式所不具备的，比如智能营销内容、辅助软件开发过程、方案生成、智能客服等。3.基于大模型的AI原生应用给人们的业务活动带来了根本性改变，比如人际交互方式、内容生产方式、个性化用户体验、定制化软件交付等。对于大模型带来的颠覆性技术创新以及对应用开发的影响，可以归纳为两个方面：1、从大模型技术本身来讲，有三方面的颠覆性创新：①文生图、文生视频等X到Y的生成/创造能力，这是非常通用的智能化技术；②解数学题、做规划等推理和求解能力；③自然语言对话等自然交互能力。这是之前传统软件开发或传统软件技术栈内部不具备的一些能力，称之为颠覆性的变化。2、从软件的视角带来了两个层面的改变：①AI赋能人，在一定程度上模拟人、超越人，比如具身智能和AI Agent分别在物理世界、数字世界辅助人、替代人；②AI重塑存量软件及工具，显著提升人的效率及体验。

数据库安装流程繁琐，常常让人望而却步。云数据库GaussDB管理平台的一键式安装部署功能尤为便捷，通过平台提供的可视化页面即可完成。用户只需进入“安装实例”界面，选择参数和规格，并完成数据库配置信息的填写，确认实例信息无误后提交。这个过程包括主机上线、执行安装、软件环境检查等步骤，用户无需进行复杂的配置，只需通过图形界面操作，就能轻松完成GaussDB实例的创建。数据库安装轻松解决，但日常运维工作中繁重的工作量、频繁的故障等依旧是最大的困扰。如何有效提升运维效率呢？云数据库GaussDB管理平台的“实例监控告警”和“智能化运维”能力对此提供了有力支持。其一，“实例监控告警”，顾名思义，可以从告警和监控两方面入手。具体如下：平台的告警管理提供“实时告警”与“历史告警”功能，用户可以查看告警的基本信息、告警表现（告警时间、告警描述、告警节点IP等）及告警数据分析（告警原因、建议优化等）关键信息。此外，平台还支持自定义“告警模板”配置（当前提供Syslog、SNMPv2、SNMPv3、HTTP(S)四种告警对接方式），用户可根据不同的业务场景迅速调整告警策略，确保告警信息的精准与及时。平台的监控大盘提供“列表看板”和“趋势看板”功能，前者可以横向对比多个实例的基本指标信息，便于对比；后者展示单个实例的全方位详细监控指标，一目了然。综上，平台的“实例监控告警”能力能够收集和分析数据库的性能指标和日志信息，并且及时地通知管理员潜在的问题和异常，从而实现故障的早期发现和预防。其二，通过“智能化运维”能力，显著提升数据库运维的效率与质量。该能力依托于智能运维系统的三层架构：数据采集层、数据计算层和自治服务层，从而实现了从数据采集、分析到执行的全流程智能化管理。平台提供多种自定义采集模式，快速定位关键慢SQL问题，并在慢SQL文本、执行计划和其他信息的基础上，基于特定规则对慢SQL进行根因分析，给出慢SQL优化建议，效率提升百倍。  

数据库运维管理，其复杂性和挑战性不言而喻，尤其是在传统自建模式下，企业面临的不仅是高昂的机房托管与服务器采购成本，还有软件运维的繁重任务及专业数据库管理员（DBA）的高成本投入。随着云计算技术的飞速发展，云数据库被广泛应用，为企业在成本控制、运维简化、资源弹性、数据可用性及系统性能等方面带来了显著优化，成为推动企业数字化转型的关键力量。华为云GaussDB顺应这一趋势，推出了云数据库GaussDB管理平台（TPOPS），通过一键式安装部署与智能化运维，极大简化了运维流程，让复杂的运维管理变得简单可靠。云数据库GaussDB管理平台是一款强大的数据库运维工具，通过Agent代理接入数据库内核引擎，实现了精准的资源管理和控制。在“开放生态层”上，平台提供了友好的Web界面，支持多云皮肤个性化定制，使用户在不同云环境下都能获得一致的体验。同时，它还提供了丰富的原子API，支持公有云、HCS、HCSO等多种部署形态，实现了统一版本的多云环境支持。在“基础+智能运维能力”上，平台不仅具备丰富的基础运维能力，还打造了一个端到端全链路的智能自治运维平台，覆盖自监控、自诊断、自调优、自恢复和自安全等全量功能，实现了一键部署和精准实施。在“标准化代理层”上，平台提供全方位的多层安全防护和精细隔离设计，确保了数据库的安全和稳定性，此外，还能够精准管理进程的资源消耗，来控制性能损耗。基于以上架构、功能及特性，云数据库GaussDB管理平台为用户提供了一个全面、智能、安全且易于管理的数据库运维环境。

华为云提供了一站式API解决方案统一平台——API Explorer。API Explorer集成了华为云所有的开放API，支持全量接口检索、可视化调试、帮助文档查阅、示例代码展示等能力，帮助开发者快速上手API实践。下面，我们将在一站式API Explorer平台上实践数据库API的调试。在API Explorer平台上，用户选择需要调试的API接口后，API Explorer会自动填充请求URI、方法、消息头和认证信息，对用户填写的入参进行校验和友好提示。在触发调试接口后，可以在页面上查看接口响应结果，实现一站式接口调试。如“API Explorer一键调试”是API Explorer的一键调试页面，在用户选择调试接口后，调试页面会根据不同接口的入参要求，引导用户输入指定参数，提升接口调试效率。数据库服务为帮助用户快速接入相关API，在API Explorer中还为每个接口生成了多语言的代码示例，如“API Explorer代码示例”，输入请求参数，然后点击页面上方标签页的“代码示例”，在下方选择不同的开发语言，选择之后即可查看对应接口对应语言的代码demo。数据库服务还对如用户创建数据库实例、备份等关键场景进行了更为详细的场景示例说明，如图点击页面上方标签页的“场景示例”，进入创建数据库用户场景示例，可以看到在实际的使用场景中，如何完整地进行数据库用户查询和创建数据库用户的API组合调用。

1. 何为API API，即应用程序接口，可以看作是一组编程语言的函数和方法，它定义了软件系统中组件之间的交互方式，允许不同的软件之间进行数据通信和功能交互。那么，在什么场景下适合使用API接口，能实现什么效果？通过API允许用户调用华为云的能力，将华为云的数据和功能集成到用户的数据库管理系统中。例如，用户在采用华为云数据库服务的同时，亦拥有自建的本地IT管理中心。他们既可利用云上资源，又掌握本地机房设施。在此背景下，用户可通过调用数据库实例查询接口，将数据库资源整合至自身的IT资源管理系统中，从而在一个集成看板上实现对多地IT资源的统一管理。在快速入门数据库API接口之前，需要了解API接口的组成部分，如请求URL、请求方法、请求消息头和请求消息体；数据库服务API支持两种权限认证方式，分别是Token认证和AK/SK认证；API返回结果则包含状态码、响应消息头和消息体。2. 快速入门数据库API接口数据库服务的API提供了丰富的功能，在功能完备度上与华为云控制台是相同的。这也就意味着，在华为云页面上可以操作的功能，用户通过编程的方式都可以实现自动化控制。我们为每一个API提供了详细的说明，涵盖了鉴权方式、接口约束、请求体样例，响应体样例、错误码详解等，功能包括实例管理、备份管理、日志管理、任务管理等多个模块。

随着数智化时代的到来，数据量不断增长，为了充分挖掘数据价值，实时获取数据动态，GaussDB(DWS)通过与流引擎Flink结合，优化ETL Pipeline，从而数据分析时效实现T+0。Flink是一款开源的流处理框架，它能够实时处理大规模数据流，并具有高可靠性和高性能的特点。Flink支持流式数据处理、批处理和图形处理等多种计算模式，并提供了丰富的API和工具，可以方便地进行数据处理和分析。GaussDB(DWS)与Flink结合构建下一代Stream Warehouse，实现增量计算，可以为用户提供更加全面、高效的数据处理和分析能力。为什么需要增量计算能力？增量计算能力解决了哪些场景的痛点问题？高性能场景：一些需要高性能的典型场景如下：(1) 增量数据的实时ETL并更新物化视图，秒级更新；(2) 数据在仓湖之间实时流动能力；(3) 实时流数据不落盘，直达实时大屏。数据入库场景：Kafka的数据直接入湖。

WeTune是多个技术合起来形成了一个规则挖掘。从学术角度来讲，SQL等价性验证可以往数据库测试这个方向再迈一步。在数据库测试过程中，对于SQL的优化引擎，可以使用差分测试。差分测试是一种很经典的数据库测试方式，验证重写规则可以使用，验证SQL优化引擎过程中也适用。WeTune等价性验证器可以去枚举语义等价但形式完全不同的两条SQL，这样可以确保在测试对比过程中，程序运行是不一样的路径，可以更高效或覆盖面更广地完成数据库引擎的测试任务。WeTune不仅减轻了数据库开发者或者DBA的负担，目前在教育领域里有一定的应用，WeTune等价性验证帮助国内外很多高校助教批改学生的数据库作业，减轻数据库教育工作者的工作压力。华为与高校的深度合作将持续推进，融合双方的技术优势和科研力量，共同探索数据库领域的前沿技术，培养更多高水平的数据库人才。未来，华为和上海交通大学研究团队将携手，共同突破数据库查询重写技术的瓶颈，通过持续的创新和优化，进一步提升GaussDB的查询性能和效率。我们期待更多的技术合作和探索，推动数据库技术向智能化、自动化方向发展，为广大企业和用户带来更多价值。

WeTune和现有数据库应用落地过程中，不同的架构会面临不同挑战。WeTune 2.0在华为云GaussDB的落地，从技术角度来讲，GaussDB数据库是System-R架构，它的重写规则是耦合在代码里面，增加或卸载一个规则需要改写查询引擎。把WeTune应用在System-R架构上面涉及到理论、技术、工程层面的一些问题。不过，上海交通大学和华为的积极交流和深入探讨，也为彼此提供了不同的视角。在数据库开发过程中，改写规则非常依赖人工经验。随着客户场景越来越多，很多规则已经超出了现有的承载能力。从产品开发流程层面上讲，想要在GaussDB里面添加一个新的重写规则，论证重写规则是否等价是非常困难的。但是有了WeTune以后，开发者只要按照形式化语言去描述重写规则，然后WeTune拿去做验证，证明该规则在约束下是等价的，就可以放心地将该重写规则添加到GaussDB中，节约验证时间，对GaussDB的开发等流程非常有帮助。WeTune从框架上去解决了这两个重写规则是否等价的问题，这是WeTune非常突出的贡献点。对于客户来说，在使用GaussDB进行SQL优化时，只管放心用，优化交给GaussDB；对于开发者来说，只需要关心SQL语义，性能交给GaussDB。GaussDB引入WeTune2.0以后，自然会产生非常多的规则，帮助用户优化SQL的同时，也引入了另外一个成本，即会产生了SQL优化代价。

WeTune 2.0在SQL等价性验证、枚举的能力和范围、规则的表达上都进行了精心设计，对GaussDB使用体验有极大提升。第一，WeTune有验证规则的能力。对于开发流程来讲，验证规则是很重要的一步。第二，WeTune有自动发现规则的能力。重写规则依赖人工、偏场景化会导致发现规则比较缓慢。WeTune可以帮助做优化，提高发现规则的效率。第三，WeTune有自动枚举的能力。等价验证加上自动枚举，自动挖掘一次能够发现成千上万条规则，相当于把查询重写整个模块开发流程做了一个加速。对于一个商业的数据库来讲， WeTune自动挖掘可以减少开发人员冗余的规则添加，提高开发效率，降低人力成本。第四，WeTune定义新的查询重写语言。WeTune应用在GaussDB数据库里，进行查询重写规则扩充的时候，其实定义了一种新的查询重写的语言。以前要写很多行的代码，才能给一套规则注入到引擎里面。现在不用写代码，只需要两三行的语言描述，通过规则验证后，直接放在数据库引擎里面，完成一个规则的实现。对开发者来说，体验非常好，对验证流程和开发流程帮助极大。