（1）如何建立 IT 部门与业务部门的有效协同机制 选择合适的场景需要规避两个问题，一是当前模型可能不太擅长某些问题，二是要注意选择通过低成本解决高价值场景；基于大模型的生成式应用开发，不仅是IT问题，更多的是业务问题，它以数据为中心、结合业务场景，因此，业务部门和IT部门/开发团队在AI原生应用的开发过程中需要做有效协同；开发活动中需要有效实现协同来构筑公共资产，包括业务领域的知识/数据资产、模型和开发活动中的一些公共能力和组件的相关资产。（2）如何准备丰富的高质量数据，帮助 AI 理解业务 B端业务场景的数据不太充分，需要通过一定经验和方法来准备高质量数据，华为总结了一些开发的业务活动，构筑到工具平台里面，来辅助开发者完成数据准备；语言类模型本身具备语言能力和推理能力，回答客户问题需要基于企业内部知识库来生成，而不能用模型内部知识，避免给用户造成误导；抑制具备通用知识的模型在业务适配后产生的幻觉，通常是通过挂载外部知识库的方式来实现，但知识库比较复杂、内容来源多样、有多种不同形态，需要有效管理协同知识库的内容，才能确保在检索和生成过程中引用到合适的知识，从而达到更好的幻觉抑制效果。（3）如何建立完善的风险保障机制，确保 AI 安全可信治理 我国针对大模型、基于大模型生成的应用，都有相关的安全合规、管理的制度和内容，这就要求具备一些能力从源头上确保合法合规。从资产安全性角度，大模型压缩的行业知识和经验、挂载给模型的知识库内容、模型生成的内容，都属于高价值资产，如何保证模型安全、数据安全，也需要重点考虑和解决。（4）如何应对大模型带来的投资成本 在大模型训练推理算力和大模型业务开发活动过程中，平衡成本和收益始终是一个绕不开的话题，可以通过良好的业务规划和设计来复用模型，来达到算力和请求之间的一种均衡，也可以运用提示词缓存等机制，有效降低模型在推理过程中的消耗和成本开支。

第一点是认知和思想方面的变化，称为AI First新思想，即在软件开发或业务活动中遇到任何问题，首先会思考如何用大模型和生成式AI的技术来解决，这是一种新的思维方式，既包括了对技术的认知，也包括了如何用技术来重构既有的业务流程，或者颠覆既有的开发模式。第二点是AI Native新实践，指从架构、流程、方法等层面带来的新的最佳实践。除此之外，还可以从4个方面来理解大模型生成式AI给软件开发活动带来的影响：新架构：从构成式架构到生成式架构的变化；新体验：从键鼠与触摸到自然交互的变化；新工程：从以人为本的协作开发到以数据为本的生成式开发的变化；新商业：从软件即服务到服务即软件的变化。（1）如何选择合适的大模型，建立有效的模型引入机制 业界模型种类繁多，有不同规格、不同模态，解决问题时如何选择最合适的模型，是一个比较复杂的问题，必须要解决几个关键要素，比如对模型进行专业评测、模型引入要有一套管理机制、回避风险问题以及有效治理能力各异的大模型等。（2）如何用好大模型，在基模之上进一步提升应用使用效果 提示词工程：提示词的核心是对业务的理解和抽象，它是围绕业务的一种高度凝练的总结和抽象，构建提示词工程有一定的门槛；模型复用和模型编排：在实际场景中存在多种不同模型的复合使用，需要实现模型之间的有机调度和编排；持续迭代：做完程序或功能后，必然存在如何持续演进的问题，需要基于业务的反馈、知识标注和数据回流来持续提升模型，保证业务效果得到持续优化。

基于大模型的生成式AI，将会引领我们走向AGI通用人工智能时代，经常有人说，在大模型和生成式AI时代，一切应用都值得用AI重做一遍。这是为什么呢？作为技术从业者，我们需要理解大模型生成式AI给软件开发产业带来的影响：1.在企业业务活动中，最难以传承和复制的就是业务知识和经验，大模型是一种比较好的途径，能够将企业已经积累的知识经验、场景know-how等内容，以模型的方式对外提供。2.基于大模型产生了一些场景化的AI能力，这是之前传统AI或传统编程方式所不具备的，比如智能营销内容、辅助软件开发过程、方案生成、智能客服等。3.基于大模型的AI原生应用给人们的业务活动带来了根本性改变，比如人际交互方式、内容生产方式、个性化用户体验、定制化软件交付等。对于大模型带来的颠覆性技术创新以及对应用开发的影响，可以归纳为两个方面：1、从大模型技术本身来讲，有三方面的颠覆性创新：①文生图、文生视频等X到Y的生成/创造能力，这是非常通用的智能化技术；②解数学题、做规划等推理和求解能力；③自然语言对话等自然交互能力。这是之前传统软件开发或传统软件技术栈内部不具备的一些能力，称之为颠覆性的变化。2、从软件的视角带来了两个层面的改变：①AI赋能人，在一定程度上模拟人、超越人，比如具身智能和AI Agent分别在物理世界、数字世界辅助人、替代人；②AI重塑存量软件及工具，显著提升人的效率及体验。

数据库安装流程繁琐，常常让人望而却步。云数据库GaussDB管理平台的一键式安装部署功能尤为便捷，通过平台提供的可视化页面即可完成。用户只需进入“安装实例”界面，选择参数和规格，并完成数据库配置信息的填写，确认实例信息无误后提交。这个过程包括主机上线、执行安装、软件环境检查等步骤，用户无需进行复杂的配置，只需通过图形界面操作，就能轻松完成GaussDB实例的创建。数据库安装轻松解决，但日常运维工作中繁重的工作量、频繁的故障等依旧是最大的困扰。如何有效提升运维效率呢？云数据库GaussDB管理平台的“实例监控告警”和“智能化运维”能力对此提供了有力支持。其一，“实例监控告警”，顾名思义，可以从告警和监控两方面入手。具体如下：平台的告警管理提供“实时告警”与“历史告警”功能，用户可以查看告警的基本信息、告警表现（告警时间、告警描述、告警节点IP等）及告警数据分析（告警原因、建议优化等）关键信息。此外，平台还支持自定义“告警模板”配置（当前提供Syslog、SNMPv2、SNMPv3、HTTP(S)四种告警对接方式），用户可根据不同的业务场景迅速调整告警策略，确保告警信息的精准与及时。平台的监控大盘提供“列表看板”和“趋势看板”功能，前者可以横向对比多个实例的基本指标信息，便于对比；后者展示单个实例的全方位详细监控指标，一目了然。综上，平台的“实例监控告警”能力能够收集和分析数据库的性能指标和日志信息，并且及时地通知管理员潜在的问题和异常，从而实现故障的早期发现和预防。其二，通过“智能化运维”能力，显著提升数据库运维的效率与质量。该能力依托于智能运维系统的三层架构：数据采集层、数据计算层和自治服务层，从而实现了从数据采集、分析到执行的全流程智能化管理。平台提供多种自定义采集模式，快速定位关键慢SQL问题，并在慢SQL文本、执行计划和其他信息的基础上，基于特定规则对慢SQL进行根因分析，给出慢SQL优化建议，效率提升百倍。  

数据库运维管理，其复杂性和挑战性不言而喻，尤其是在传统自建模式下，企业面临的不仅是高昂的机房托管与服务器采购成本，还有软件运维的繁重任务及专业数据库管理员（DBA）的高成本投入。随着云计算技术的飞速发展，云数据库被广泛应用，为企业在成本控制、运维简化、资源弹性、数据可用性及系统性能等方面带来了显著优化，成为推动企业数字化转型的关键力量。华为云GaussDB顺应这一趋势，推出了云数据库GaussDB管理平台（TPOPS），通过一键式安装部署与智能化运维，极大简化了运维流程，让复杂的运维管理变得简单可靠。云数据库GaussDB管理平台是一款强大的数据库运维工具，通过Agent代理接入数据库内核引擎，实现了精准的资源管理和控制。在“开放生态层”上，平台提供了友好的Web界面，支持多云皮肤个性化定制，使用户在不同云环境下都能获得一致的体验。同时，它还提供了丰富的原子API，支持公有云、HCS、HCSO等多种部署形态，实现了统一版本的多云环境支持。在“基础+智能运维能力”上，平台不仅具备丰富的基础运维能力，还打造了一个端到端全链路的智能自治运维平台，覆盖自监控、自诊断、自调优、自恢复和自安全等全量功能，实现了一键部署和精准实施。在“标准化代理层”上，平台提供全方位的多层安全防护和精细隔离设计，确保了数据库的安全和稳定性，此外，还能够精准管理进程的资源消耗，来控制性能损耗。基于以上架构、功能及特性，云数据库GaussDB管理平台为用户提供了一个全面、智能、安全且易于管理的数据库运维环境。

华为云提供了一站式API解决方案统一平台——API Explorer。API Explorer集成了华为云所有的开放API，支持全量接口检索、可视化调试、帮助文档查阅、示例代码展示等能力，帮助开发者快速上手API实践。下面，我们将在一站式API Explorer平台上实践数据库API的调试。在API Explorer平台上，用户选择需要调试的API接口后，API Explorer会自动填充请求URI、方法、消息头和认证信息，对用户填写的入参进行校验和友好提示。在触发调试接口后，可以在页面上查看接口响应结果，实现一站式接口调试。如“API Explorer一键调试”是API Explorer的一键调试页面，在用户选择调试接口后，调试页面会根据不同接口的入参要求，引导用户输入指定参数，提升接口调试效率。数据库服务为帮助用户快速接入相关API，在API Explorer中还为每个接口生成了多语言的代码示例，如“API Explorer代码示例”，输入请求参数，然后点击页面上方标签页的“代码示例”，在下方选择不同的开发语言，选择之后即可查看对应接口对应语言的代码demo。数据库服务还对如用户创建数据库实例、备份等关键场景进行了更为详细的场景示例说明，如图点击页面上方标签页的“场景示例”，进入创建数据库用户场景示例，可以看到在实际的使用场景中，如何完整地进行数据库用户查询和创建数据库用户的API组合调用。

1. 何为API API，即应用程序接口，可以看作是一组编程语言的函数和方法，它定义了软件系统中组件之间的交互方式，允许不同的软件之间进行数据通信和功能交互。那么，在什么场景下适合使用API接口，能实现什么效果？通过API允许用户调用华为云的能力，将华为云的数据和功能集成到用户的数据库管理系统中。例如，用户在采用华为云数据库服务的同时，亦拥有自建的本地IT管理中心。他们既可利用云上资源，又掌握本地机房设施。在此背景下，用户可通过调用数据库实例查询接口，将数据库资源整合至自身的IT资源管理系统中，从而在一个集成看板上实现对多地IT资源的统一管理。在快速入门数据库API接口之前，需要了解API接口的组成部分，如请求URL、请求方法、请求消息头和请求消息体；数据库服务API支持两种权限认证方式，分别是Token认证和AK/SK认证；API返回结果则包含状态码、响应消息头和消息体。2. 快速入门数据库API接口数据库服务的API提供了丰富的功能，在功能完备度上与华为云控制台是相同的。这也就意味着，在华为云页面上可以操作的功能，用户通过编程的方式都可以实现自动化控制。我们为每一个API提供了详细的说明，涵盖了鉴权方式、接口约束、请求体样例，响应体样例、错误码详解等，功能包括实例管理、备份管理、日志管理、任务管理等多个模块。

随着数智化时代的到来，数据量不断增长，为了充分挖掘数据价值，实时获取数据动态，GaussDB(DWS)通过与流引擎Flink结合，优化ETL Pipeline，从而数据分析时效实现T+0。Flink是一款开源的流处理框架，它能够实时处理大规模数据流，并具有高可靠性和高性能的特点。Flink支持流式数据处理、批处理和图形处理等多种计算模式，并提供了丰富的API和工具，可以方便地进行数据处理和分析。GaussDB(DWS)与Flink结合构建下一代Stream Warehouse，实现增量计算，可以为用户提供更加全面、高效的数据处理和分析能力。为什么需要增量计算能力？增量计算能力解决了哪些场景的痛点问题？高性能场景：一些需要高性能的典型场景如下：(1) 增量数据的实时ETL并更新物化视图，秒级更新；(2) 数据在仓湖之间实时流动能力；(3) 实时流数据不落盘，直达实时大屏。数据入库场景：Kafka的数据直接入湖。

WeTune是多个技术合起来形成了一个规则挖掘。从学术角度来讲，SQL等价性验证可以往数据库测试这个方向再迈一步。在数据库测试过程中，对于SQL的优化引擎，可以使用差分测试。差分测试是一种很经典的数据库测试方式，验证重写规则可以使用，验证SQL优化引擎过程中也适用。WeTune等价性验证器可以去枚举语义等价但形式完全不同的两条SQL，这样可以确保在测试对比过程中，程序运行是不一样的路径，可以更高效或覆盖面更广地完成数据库引擎的测试任务。WeTune不仅减轻了数据库开发者或者DBA的负担，目前在教育领域里有一定的应用，WeTune等价性验证帮助国内外很多高校助教批改学生的数据库作业，减轻数据库教育工作者的工作压力。华为与高校的深度合作将持续推进，融合双方的技术优势和科研力量，共同探索数据库领域的前沿技术，培养更多高水平的数据库人才。未来，华为和上海交通大学研究团队将携手，共同突破数据库查询重写技术的瓶颈，通过持续的创新和优化，进一步提升GaussDB的查询性能和效率。我们期待更多的技术合作和探索，推动数据库技术向智能化、自动化方向发展，为广大企业和用户带来更多价值。

WeTune和现有数据库应用落地过程中，不同的架构会面临不同挑战。WeTune 2.0在华为云GaussDB的落地，从技术角度来讲，GaussDB数据库是System-R架构，它的重写规则是耦合在代码里面，增加或卸载一个规则需要改写查询引擎。把WeTune应用在System-R架构上面涉及到理论、技术、工程层面的一些问题。不过，上海交通大学和华为的积极交流和深入探讨，也为彼此提供了不同的视角。在数据库开发过程中，改写规则非常依赖人工经验。随着客户场景越来越多，很多规则已经超出了现有的承载能力。从产品开发流程层面上讲，想要在GaussDB里面添加一个新的重写规则，论证重写规则是否等价是非常困难的。但是有了WeTune以后，开发者只要按照形式化语言去描述重写规则，然后WeTune拿去做验证，证明该规则在约束下是等价的，就可以放心地将该重写规则添加到GaussDB中，节约验证时间，对GaussDB的开发等流程非常有帮助。WeTune从框架上去解决了这两个重写规则是否等价的问题，这是WeTune非常突出的贡献点。对于客户来说，在使用GaussDB进行SQL优化时，只管放心用，优化交给GaussDB；对于开发者来说，只需要关心SQL语义，性能交给GaussDB。GaussDB引入WeTune2.0以后，自然会产生非常多的规则，帮助用户优化SQL的同时，也引入了另外一个成本，即会产生了SQL优化代价。

WeTune 2.0在SQL等价性验证、枚举的能力和范围、规则的表达上都进行了精心设计，对GaussDB使用体验有极大提升。第一，WeTune有验证规则的能力。对于开发流程来讲，验证规则是很重要的一步。第二，WeTune有自动发现规则的能力。重写规则依赖人工、偏场景化会导致发现规则比较缓慢。WeTune可以帮助做优化，提高发现规则的效率。第三，WeTune有自动枚举的能力。等价验证加上自动枚举，自动挖掘一次能够发现成千上万条规则，相当于把查询重写整个模块开发流程做了一个加速。对于一个商业的数据库来讲， WeTune自动挖掘可以减少开发人员冗余的规则添加，提高开发效率，降低人力成本。第四，WeTune定义新的查询重写语言。WeTune应用在GaussDB数据库里，进行查询重写规则扩充的时候，其实定义了一种新的查询重写的语言。以前要写很多行的代码，才能给一套规则注入到引擎里面。现在不用写代码，只需要两三行的语言描述，通过规则验证后，直接放在数据库引擎里面，完成一个规则的实现。对开发者来说，体验非常好，对验证流程和开发流程帮助极大。

自动挖掘的前提是暴力枚举，枚举之后检验语义是否正确，通过等价性验证去把最后一道关，所以，WeTune的等价性验证能力决定了它能够枚举哪些规则。下面是WeTune的改写规则的自动发掘方式：方式一，尝试暴力枚举所有在语法上合法的改写规则；方式二，用形式化验证的方式去验证枚举的规则是否正确（输入、输出的SQL是否在语义上等价）；方式三，借鉴数据库cost estimation技术检验改写规则是否有效，SQL优化性能是否更好。在实际运用中，以上改写规则的三种自动发掘方式也面临着一些现实层面的挑战。第一个：暴力枚举虽然空间大，但开销也大，导致很多算力浪费。不过，用小规则去推大规则，解决算力浪费的问题。第二个：等价性验证。改写规则等价性验证，本质上就是SQL等价性验证，把不可判定问题的验证转换成可满足性等价、可判定问题的验证。另外，SQL等价性本身是一个关系型代数，把它转换成线性代数的求解。通过这两个维度解决了现有的SQL等价性验证问题，使得改写规则的枚举能力和范围大大提升。目前WeTune 2.0支持SQL:1999所有语法的验证。第三个：除了借鉴数据库cost estimation技术来检验SQL优化性能是否更好以外，还会创建数据库实例，将改写规则在数据库实例上运行，以保证SQL优化效果最佳。

yarn.nodemanager.resource.memory-mb  该节点yarn可使用的物理内存总量，单位M目前集群物理服务器配置是512G内存，此参数设置的是384000。文档推荐设置比例大概是70%-90%想求助一下，如果新加服务器，内存在2TB，且角色只有NM和DN的情况下，想要最大程度利用内存，此参数设置多少合适？

FusionInsight manager 忘记admin密码如何重置

DBA主要负责哪些工作内容cid:link_2数据管理层面向架构设计层面演进cid:link_3多场景的设备上云cid:link_4提供设备级标准APIcid:link_5GaussDB(DWS)发展趋势cid:link_6GaussDB(DWS)技术发展cid:link_7UI 编排cid:link_8华为云Astro业务场景cid:link_9华为云Astro Botcid:link_10六大核心特性cid:link_11云服务的传统分层cid:link_0aPaaS平台介绍cid:link_1企业集成流程cid:link_12应用集成工具的流程cid:link_13应用管理能力https://bbs.huaweicloud.com/forum/thread-0220175682275377038-1-1.html