华为云提供了一站式API解决方案统一平台——API Explorer。API Explorer集成了华为云所有的开放API，支持全量接口检索、可视化调试、帮助文档查阅、示例代码展示等能力，帮助开发者快速上手API实践。下面，我们将在一站式API Explorer平台上实践数据库API的调试。在API Explorer平台上，用户选择需要调试的API接口后，API Explorer会自动填充请求URI、方法、消息头和认证信息，对用户填写的入参进行校验和友好提示。在触发调试接口后，可以在页面上查看接口响应结果，实现一站式接口调试。如“API Explorer一键调试”是API Explorer的一键调试页面，在用户选择调试接口后，调试页面会根据不同接口的入参要求，引导用户输入指定参数，提升接口调试效率。数据库服务为帮助用户快速接入相关API，在API Explorer中还为每个接口生成了多语言的代码示例，如“API Explorer代码示例”，输入请求参数，然后点击页面上方标签页的“代码示例”，在下方选择不同的开发语言，选择之后即可查看对应接口对应语言的代码demo。数据库服务还对如用户创建数据库实例、备份等关键场景进行了更为详细的场景示例说明，如图点击页面上方标签页的“场景示例”，进入创建数据库用户场景示例，可以看到在实际的使用场景中，如何完整地进行数据库用户查询和创建数据库用户的API组合调用。

1. 何为API API，即应用程序接口，可以看作是一组编程语言的函数和方法，它定义了软件系统中组件之间的交互方式，允许不同的软件之间进行数据通信和功能交互。那么，在什么场景下适合使用API接口，能实现什么效果？通过API允许用户调用华为云的能力，将华为云的数据和功能集成到用户的数据库管理系统中。例如，用户在采用华为云数据库服务的同时，亦拥有自建的本地IT管理中心。他们既可利用云上资源，又掌握本地机房设施。在此背景下，用户可通过调用数据库实例查询接口，将数据库资源整合至自身的IT资源管理系统中，从而在一个集成看板上实现对多地IT资源的统一管理。在快速入门数据库API接口之前，需要了解API接口的组成部分，如请求URL、请求方法、请求消息头和请求消息体；数据库服务API支持两种权限认证方式，分别是Token认证和AK/SK认证；API返回结果则包含状态码、响应消息头和消息体。2. 快速入门数据库API接口数据库服务的API提供了丰富的功能，在功能完备度上与华为云控制台是相同的。这也就意味着，在华为云页面上可以操作的功能，用户通过编程的方式都可以实现自动化控制。我们为每一个API提供了详细的说明，涵盖了鉴权方式、接口约束、请求体样例，响应体样例、错误码详解等，功能包括实例管理、备份管理、日志管理、任务管理等多个模块。

随着数智化时代的到来，数据量不断增长，为了充分挖掘数据价值，实时获取数据动态，GaussDB(DWS)通过与流引擎Flink结合，优化ETL Pipeline，从而数据分析时效实现T+0。Flink是一款开源的流处理框架，它能够实时处理大规模数据流，并具有高可靠性和高性能的特点。Flink支持流式数据处理、批处理和图形处理等多种计算模式，并提供了丰富的API和工具，可以方便地进行数据处理和分析。GaussDB(DWS)与Flink结合构建下一代Stream Warehouse，实现增量计算，可以为用户提供更加全面、高效的数据处理和分析能力。为什么需要增量计算能力？增量计算能力解决了哪些场景的痛点问题？高性能场景：一些需要高性能的典型场景如下：(1) 增量数据的实时ETL并更新物化视图，秒级更新；(2) 数据在仓湖之间实时流动能力；(3) 实时流数据不落盘，直达实时大屏。数据入库场景：Kafka的数据直接入湖。

WeTune是多个技术合起来形成了一个规则挖掘。从学术角度来讲，SQL等价性验证可以往数据库测试这个方向再迈一步。在数据库测试过程中，对于SQL的优化引擎，可以使用差分测试。差分测试是一种很经典的数据库测试方式，验证重写规则可以使用，验证SQL优化引擎过程中也适用。WeTune等价性验证器可以去枚举语义等价但形式完全不同的两条SQL，这样可以确保在测试对比过程中，程序运行是不一样的路径，可以更高效或覆盖面更广地完成数据库引擎的测试任务。WeTune不仅减轻了数据库开发者或者DBA的负担，目前在教育领域里有一定的应用，WeTune等价性验证帮助国内外很多高校助教批改学生的数据库作业，减轻数据库教育工作者的工作压力。华为与高校的深度合作将持续推进，融合双方的技术优势和科研力量，共同探索数据库领域的前沿技术，培养更多高水平的数据库人才。未来，华为和上海交通大学研究团队将携手，共同突破数据库查询重写技术的瓶颈，通过持续的创新和优化，进一步提升GaussDB的查询性能和效率。我们期待更多的技术合作和探索，推动数据库技术向智能化、自动化方向发展，为广大企业和用户带来更多价值。

WeTune和现有数据库应用落地过程中，不同的架构会面临不同挑战。WeTune 2.0在华为云GaussDB的落地，从技术角度来讲，GaussDB数据库是System-R架构，它的重写规则是耦合在代码里面，增加或卸载一个规则需要改写查询引擎。把WeTune应用在System-R架构上面涉及到理论、技术、工程层面的一些问题。不过，上海交通大学和华为的积极交流和深入探讨，也为彼此提供了不同的视角。在数据库开发过程中，改写规则非常依赖人工经验。随着客户场景越来越多，很多规则已经超出了现有的承载能力。从产品开发流程层面上讲，想要在GaussDB里面添加一个新的重写规则，论证重写规则是否等价是非常困难的。但是有了WeTune以后，开发者只要按照形式化语言去描述重写规则，然后WeTune拿去做验证，证明该规则在约束下是等价的，就可以放心地将该重写规则添加到GaussDB中，节约验证时间，对GaussDB的开发等流程非常有帮助。WeTune从框架上去解决了这两个重写规则是否等价的问题，这是WeTune非常突出的贡献点。对于客户来说，在使用GaussDB进行SQL优化时，只管放心用，优化交给GaussDB；对于开发者来说，只需要关心SQL语义，性能交给GaussDB。GaussDB引入WeTune2.0以后，自然会产生非常多的规则，帮助用户优化SQL的同时，也引入了另外一个成本，即会产生了SQL优化代价。

WeTune 2.0在SQL等价性验证、枚举的能力和范围、规则的表达上都进行了精心设计，对GaussDB使用体验有极大提升。第一，WeTune有验证规则的能力。对于开发流程来讲，验证规则是很重要的一步。第二，WeTune有自动发现规则的能力。重写规则依赖人工、偏场景化会导致发现规则比较缓慢。WeTune可以帮助做优化，提高发现规则的效率。第三，WeTune有自动枚举的能力。等价验证加上自动枚举，自动挖掘一次能够发现成千上万条规则，相当于把查询重写整个模块开发流程做了一个加速。对于一个商业的数据库来讲， WeTune自动挖掘可以减少开发人员冗余的规则添加，提高开发效率，降低人力成本。第四，WeTune定义新的查询重写语言。WeTune应用在GaussDB数据库里，进行查询重写规则扩充的时候，其实定义了一种新的查询重写的语言。以前要写很多行的代码，才能给一套规则注入到引擎里面。现在不用写代码，只需要两三行的语言描述，通过规则验证后，直接放在数据库引擎里面，完成一个规则的实现。对开发者来说，体验非常好，对验证流程和开发流程帮助极大。

自动挖掘的前提是暴力枚举，枚举之后检验语义是否正确，通过等价性验证去把最后一道关，所以，WeTune的等价性验证能力决定了它能够枚举哪些规则。下面是WeTune的改写规则的自动发掘方式：方式一，尝试暴力枚举所有在语法上合法的改写规则；方式二，用形式化验证的方式去验证枚举的规则是否正确（输入、输出的SQL是否在语义上等价）；方式三，借鉴数据库cost estimation技术检验改写规则是否有效，SQL优化性能是否更好。在实际运用中，以上改写规则的三种自动发掘方式也面临着一些现实层面的挑战。第一个：暴力枚举虽然空间大，但开销也大，导致很多算力浪费。不过，用小规则去推大规则，解决算力浪费的问题。第二个：等价性验证。改写规则等价性验证，本质上就是SQL等价性验证，把不可判定问题的验证转换成可满足性等价、可判定问题的验证。另外，SQL等价性本身是一个关系型代数，把它转换成线性代数的求解。通过这两个维度解决了现有的SQL等价性验证问题，使得改写规则的枚举能力和范围大大提升。目前WeTune 2.0支持SQL:1999所有语法的验证。第三个：除了借鉴数据库cost estimation技术来检验SQL优化性能是否更好以外，还会创建数据库实例，将改写规则在数据库实例上运行，以保证SQL优化效果最佳。

yarn.nodemanager.resource.memory-mb  该节点yarn可使用的物理内存总量，单位M目前集群物理服务器配置是512G内存，此参数设置的是384000。文档推荐设置比例大概是70%-90%想求助一下，如果新加服务器，内存在2TB，且角色只有NM和DN的情况下，想要最大程度利用内存，此参数设置多少合适？

FusionInsight manager 忘记admin密码如何重置

DBA主要负责哪些工作内容cid:link_2数据管理层面向架构设计层面演进cid:link_3多场景的设备上云cid:link_4提供设备级标准APIcid:link_5GaussDB(DWS)发展趋势cid:link_6GaussDB(DWS)技术发展cid:link_7UI 编排cid:link_8华为云Astro业务场景cid:link_9华为云Astro Botcid:link_10六大核心特性cid:link_11云服务的传统分层cid:link_0aPaaS平台介绍cid:link_1企业集成流程cid:link_12应用集成工具的流程cid:link_13应用管理能力https://bbs.huaweicloud.com/forum/thread-0220175682275377038-1-1.html

服务器阶段的特点是以硬件设备为中心，业务应用随不同厂商设备、操作系统、虚拟化软件的差异化进行定制； 设备的安装、调试，应用的部署、运维基本靠人力完成，自动化程度低，缺乏统一的设备和应用管理能力。后期随着虚 拟化软件的出现，资源的利用率、扩缩容器的灵活性方面得到一定的提升，但并未从根本上解决基础设施与软件割裂、运维复杂的难题。解决这些问题，在云化阶段，传统模式下分布离散的设备，被统一起来，实现了各类资源如计算、存储、网络的池化，通过统一的虚拟化软件平台，为上层业务软件提供统一的资源管理接口，实现资源管理能力的自动化，屏蔽一部分基础设施的差异， 使得应用的通用性增强，但因为虚拟化软件平台差异化较大，尤其是各厂商的一些商业化增强，无法在厂商间进行能力 共享，应用还是无法以完全标准化的模式构建，应用部署还是以资源为中心。以资源为中心有一个明显的弊端，就是应用的管理是资源的视角，举个例子，我们在Kubernetes管理中心看到的是一个个的工作负载，只能划分出有状态负载、无状态负载、任务等，没有一个应用的视角，因为应用通常包含多个不同类型的工作负载。云原生阶段这一阶段，企业的关注点从以资源为中心转移到以应用为中心，包括应用敏捷交付、快速弹性、平 滑迁移、无损容灾等。因此，企业开始考虑如何将基础设施与业务平台融合，为业务应用提供标准的运行、监控、治理平台， 并将业务的通用能力下沉到平台侧，更好的帮助企业实现应用的自动化，云原生基础设施成为了企业数字化转型的首选。

用户在应用集成工具上开发出来的流程，可以通过连接器去引用、拓展应用能力，把行业经验快速组装起来；也可以把组装好的流程发布为API，供开天集成工作台上的其他开发工具调用。开天集成工作台为开发者提供了统一的开发入口，汇聚了各类行业应用及能力。工作台上的工具既可以消费行业能力，也可以生产出新的行业能力，形成生态闭环。组装好的流程可以发布为API，然后通过开天集成工作台框架通知低代码开发工具。因此，开发者在开发低代码应用时，就可以直接使用已发布的API，不需要再去配置导入。当然，低代码应用工具也可以发布为API或其它类型的资产到开天集成工作台，供所有工具使用。所以，开天集成工作台通过统一工具框架的方式，来管理行业经验、聚合不同开发工具，从而支持开发者高效地完成端到端的应用开发。在边缘、手机等端节点部署流程引擎，支持下发多端流程，实现多端业务的闭环，方便端到端业务的拉通及扩展。通过多个流程引擎的联动，实现跨端通讯及编排，完成复合业务流程。这种方法需要统一的编辑管理平台来完成流程的设计开发、管理不同端流程引擎，并且能够识别流程部署任务，实施流程的分布式部署。应用编排工具就可以支持不同流程工具的整合，协同完成跨云、端的开发部署。

连接器生产出来后，可以通过流程来组装使用。流程是指，多个业务步骤完成一个完整业务行为的过程。流程有很多类型，包括控制流、工作流、业务流、数据流等。开天集成工作台主要解决的是将行业能力快速的组装起来，选择了基于流程编程（FBP）的范式。这种编程范式将应用定义为网络，它们经过预先定义的连接，通过消息传递来黑箱进程交换数据，而这里的连接是在“外部”指定给进程的。可以看到，流程节点间不共享上下文、状态，仅仅通过消息来串联步骤和传递数据，流程节点内部是独立的处理逻辑和状态，适合把黑箱节点灵活组织起来完成复杂的业务。企业集成流程是一种特殊形式的FBP，强调源端、通道、路由、转换器、目标端等功能节点的参与，专注于完成企业应用间的集成，也是应用编排工具要重点支持的场景。流程自动化的部署运行是指，通过消息驱动启动停止流程、调度连接器、传递数据，比如：流程在云端自动被编译、检查、入库，供流程控制器调度；流程开发态与运行态支撑服务解耦，流程运行引擎可以部署在不同的目标引擎上；流程引擎既支持流程部署在共享的流程引擎上，也支持部署在独立的函数（ServerlessFunction）上，同时还支持部署在云端、边端上，适配不同的场景，从而达到不同的安全隔离目标；流程使用元数据描述，结合元数据描述的连接器，架构上既支持解释执行，也可以编译到不同的平台上运行；

aPaaS平台的目标是使能行业经验沉淀，使能行业应用创新。开天集成工作台具备了零码、低码、全码的丰富工具链，配合丰富的领域API，重构了SaaS开发模式，降低了软件开发门槛。元数据作为基础的资产标准规范，在工具中互认，实现基于元数据的规范，使能开放生态。aPaaS集成工作台提供了连接业务系统的能力，由数据驱动，可实现跨系统的自助化编排。其核心功能包括：数据模型（ABM）、连接器、流编排。数据模型(ABM)：提供数据/元数据驱动。相比于传统的技术工具，数据模型可通过数据沉淀行业经验，提升了开发效率；连接器：将每一个APP变成一组标准的API，实现APP的开放，提供可被编排的能力，每个应用只需集成一次；流编排：提供多系统的集成与编排能力，可实现多系统间的数据/能力打通；流也可以发布为连接器供业务调用。开天aPaaS集成工作台提供了图形化的流编排环境，可以实现零代码的开发；还预制了丰富的连接器和流模板，流模板开箱即用；同时，还提供了AI相关的连接器，利用AI技术让业务流程更加的高效。

云服务的传统分层划分为：IaaS（基础设施服务）、PaaS（平台服务）、SaaS（软件服务），aPaaS其实是PaaS层的细分层。Gartner对aPaaS的定义：基于PaaS（平台即服务）的一种解决方案，支持应用程序在云端的开发、部署和运行，提供软件开发中的基础工具给用户，包括数据对象、权限管理、用户界面等。相比于tPaaS（技术平台服务），aPaaS（应用平台服务）强调的是“经验即服务”，平台在帮助汇聚各类行业经验服务的同时，提供了低代码的服务组装工具，支持行业SaaS应用的高效开发。从这里可以看出，云原生技术栈中基础周边提供的都是技术特性，aPaaS扩大了特性的范围，把可复用的行业经验也纳入进来了，比如：ID、搜索引擎、地图等，用户可复用的物料更多了，开发行业特性不需要从零开始。