• [技术干货] WeTune 2.0在华为云GaussDB的落地
    WeTune和现有数据库应用落地过程中,不同的架构会面临不同挑战。WeTune 2.0在华为云GaussDB的落地,从技术角度来讲,GaussDB数据库是System-R架构,它的重写规则是耦合在代码里面,增加或卸载一个规则需要改写查询引擎。把WeTune应用在System-R架构上面涉及到理论、技术、工程层面的一些问题。不过,上海交通大学和华为的积极交流和深入探讨,也为彼此提供了不同的视角。在数据库开发过程中,改写规则非常依赖人工经验。随着客户场景越来越多,很多规则已经超出了现有的承载能力。从产品开发流程层面上讲,想要在GaussDB里面添加一个新的重写规则,论证重写规则是否等价是非常困难的。但是有了WeTune以后,开发者只要按照形式化语言去描述重写规则,然后WeTune拿去做验证,证明该规则在约束下是等价的,就可以放心地将该重写规则添加到GaussDB中,节约验证时间,对GaussDB的开发等流程非常有帮助。WeTune从框架上去解决了这两个重写规则是否等价的问题,这是WeTune非常突出的贡献点。对于客户来说,在使用GaussDB进行SQL优化时,只管放心用,优化交给GaussDB;对于开发者来说,只需要关心SQL语义,性能交给GaussDB。GaussDB引入WeTune2.0以后,自然会产生非常多的规则,帮助用户优化SQL的同时,也引入了另外一个成本,即会产生了SQL优化代价。
  • [技术干货] WeTune改写规则的实现
    WeTune 2.0在SQL等价性验证、枚举的能力和范围、规则的表达上都进行了精心设计,对GaussDB使用体验有极大提升。第一,WeTune有验证规则的能力。对于开发流程来讲,验证规则是很重要的一步。第二,WeTune有自动发现规则的能力。重写规则依赖人工、偏场景化会导致发现规则比较缓慢。WeTune可以帮助做优化,提高发现规则的效率。第三,WeTune有自动枚举的能力。等价验证加上自动枚举,自动挖掘一次能够发现成千上万条规则,相当于把查询重写整个模块开发流程做了一个加速。对于一个商业的数据库来讲, WeTune自动挖掘可以减少开发人员冗余的规则添加,提高开发效率,降低人力成本。第四,WeTune定义新的查询重写语言。WeTune应用在GaussDB数据库里,进行查询重写规则扩充的时候,其实定义了一种新的查询重写的语言。以前要写很多行的代码,才能给一套规则注入到引擎里面。现在不用写代码,只需要两三行的语言描述,通过规则验证后,直接放在数据库引擎里面,完成一个规则的实现。对开发者来说,体验非常好,对验证流程和开发流程帮助极大。
  • [技术干货] WeTune改写规则的自动发掘方式
    自动挖掘的前提是暴力枚举,枚举之后检验语义是否正确,通过等价性验证去把最后一道关,所以,WeTune的等价性验证能力决定了它能够枚举哪些规则。下面是WeTune的改写规则的自动发掘方式:方式一,尝试暴力枚举所有在语法上合法的改写规则;方式二,用形式化验证的方式去验证枚举的规则是否正确(输入、输出的SQL是否在语义上等价);方式三,借鉴数据库cost estimation技术检验改写规则是否有效,SQL优化性能是否更好。在实际运用中,以上改写规则的三种自动发掘方式也面临着一些现实层面的挑战。第一个:暴力枚举虽然空间大,但开销也大,导致很多算力浪费。不过,用小规则去推大规则,解决算力浪费的问题。第二个:等价性验证。改写规则等价性验证,本质上就是SQL等价性验证,把不可判定问题的验证转换成可满足性等价、可判定问题的验证。另外,SQL等价性本身是一个关系型代数,把它转换成线性代数的求解。通过这两个维度解决了现有的SQL等价性验证问题,使得改写规则的枚举能力和范围大大提升。目前WeTune 2.0支持SQL:1999所有语法的验证。第三个:除了借鉴数据库cost estimation技术来检验SQL优化性能是否更好以外,还会创建数据库实例,将改写规则在数据库实例上运行,以保证SQL优化效果最佳。
  • [环境搭建] yarn内存设置问题,yarn.nodemanager.resource.memory-mb
    yarn.nodemanager.resource.memory-mb  该节点yarn可使用的物理内存总量,单位M目前集群物理服务器配置是512G内存,此参数设置的是384000。文档推荐设置比例大概是70%-90%想求助一下,如果新加服务器,内存在2TB,且角色只有NM和DN的情况下,想要最大程度利用内存,此参数设置多少合适?
  • [互动交流] FusionInsight manager 忘记admin密码如何重置
    FusionInsight manager 忘记admin密码如何重置
  • [技术干货] 大数据干货合集(2025年2月)
    DBA主要负责哪些工作内容cid:link_2数据管理层面向架构设计层面演进cid:link_3多场景的设备上云cid:link_4提供设备级标准APIcid:link_5GaussDB(DWS)发展趋势cid:link_6GaussDB(DWS)技术发展cid:link_7UI 编排cid:link_8华为云Astro业务场景cid:link_9华为云Astro Botcid:link_10六大核心特性cid:link_11云服务的传统分层cid:link_0aPaaS平台介绍cid:link_1企业集成流程cid:link_12应用集成工具的流程cid:link_13应用管理能力https://bbs.huaweicloud.com/forum/thread-0220175682275377038-1-1.html
  • [技术干货] 应用管理能力
    服务器阶段的特点是以硬件设备为中心,业务应用随不同厂商设备、操作系统、虚拟化软件的差异化进行定制; 设备的安装、调试,应用的部署、运维基本靠人力完成,自动化程度低,缺乏统一的设备和应用管理能力。后期随着虚 拟化软件的出现,资源的利用率、扩缩容器的灵活性方面得到一定的提升,但并未从根本上解决基础设施与软件割裂、运维复杂的难题。解决这些问题,在云化阶段,传统模式下分布离散的设备,被统一起来,实现了各类资源如计算、存储、网络的池化,通过统一的虚拟化软件平台,为上层业务软件提供统一的资源管理接口,实现资源管理能力的自动化,屏蔽一部分基础设施的差异, 使得应用的通用性增强,但因为虚拟化软件平台差异化较大,尤其是各厂商的一些商业化增强,无法在厂商间进行能力 共享,应用还是无法以完全标准化的模式构建,应用部署还是以资源为中心。以资源为中心有一个明显的弊端,就是应用的管理是资源的视角,举个例子,我们在Kubernetes管理中心看到的是一个个的工作负载,只能划分出有状态负载、无状态负载、任务等,没有一个应用的视角,因为应用通常包含多个不同类型的工作负载。云原生阶段这一阶段,企业的关注点从以资源为中心转移到以应用为中心,包括应用敏捷交付、快速弹性、平 滑迁移、无损容灾等。因此,企业开始考虑如何将基础设施与业务平台融合,为业务应用提供标准的运行、监控、治理平台, 并将业务的通用能力下沉到平台侧,更好的帮助企业实现应用的自动化,云原生基础设施成为了企业数字化转型的首选。
  • [技术干货] 应用集成工具的流程
    用户在应用集成工具上开发出来的流程,可以通过连接器去引用、拓展应用能力,把行业经验快速组装起来;也可以把组装好的流程发布为API,供开天集成工作台上的其他开发工具调用。开天集成工作台为开发者提供了统一的开发入口,汇聚了各类行业应用及能力。工作台上的工具既可以消费行业能力,也可以生产出新的行业能力,形成生态闭环。组装好的流程可以发布为API,然后通过开天集成工作台框架通知低代码开发工具。因此,开发者在开发低代码应用时,就可以直接使用已发布的API,不需要再去配置导入。当然,低代码应用工具也可以发布为API或其它类型的资产到开天集成工作台,供所有工具使用。所以,开天集成工作台通过统一工具框架的方式,来管理行业经验、聚合不同开发工具,从而支持开发者高效地完成端到端的应用开发。在边缘、手机等端节点部署流程引擎,支持下发多端流程,实现多端业务的闭环,方便端到端业务的拉通及扩展。通过多个流程引擎的联动,实现跨端通讯及编排,完成复合业务流程。这种方法需要统一的编辑管理平台来完成流程的设计开发、管理不同端流程引擎,并且能够识别流程部署任务,实施流程的分布式部署。应用编排工具就可以支持不同流程工具的整合,协同完成跨云、端的开发部署。
  • [技术干货] 企业集成流程
    连接器生产出来后,可以通过流程来组装使用。流程是指,多个业务步骤完成一个完整业务行为的过程。流程有很多类型,包括控制流、工作流、业务流、数据流等。开天集成工作台主要解决的是将行业能力快速的组装起来,选择了基于流程编程(FBP)的范式。这种编程范式将应用定义为网络,它们经过预先定义的连接,通过消息传递来黑箱进程交换数据,而这里的连接是在“外部”指定给进程的。可以看到,流程节点间不共享上下文、状态,仅仅通过消息来串联步骤和传递数据,流程节点内部是独立的处理逻辑和状态,适合把黑箱节点灵活组织起来完成复杂的业务。企业集成流程是一种特殊形式的FBP,强调源端、通道、路由、转换器、目标端等功能节点的参与,专注于完成企业应用间的集成,也是应用编排工具要重点支持的场景。流程自动化的部署运行是指,通过消息驱动启动停止流程、调度连接器、传递数据,比如:流程在云端自动被编译、检查、入库,供流程控制器调度;流程开发态与运行态支撑服务解耦,流程运行引擎可以部署在不同的目标引擎上;流程引擎既支持流程部署在共享的流程引擎上,也支持部署在独立的函数(ServerlessFunction)上,同时还支持部署在云端、边端上,适配不同的场景,从而达到不同的安全隔离目标;流程使用元数据描述,结合元数据描述的连接器,架构上既支持解释执行,也可以编译到不同的平台上运行;
  • [技术干货] aPaaS平台介绍
    aPaaS平台的目标是使能行业经验沉淀,使能行业应用创新。开天集成工作台具备了零码、低码、全码的丰富工具链,配合丰富的领域API,重构了SaaS开发模式,降低了软件开发门槛。元数据作为基础的资产标准规范,在工具中互认,实现基于元数据的规范,使能开放生态。aPaaS集成工作台提供了连接业务系统的能力,由数据驱动,可实现跨系统的自助化编排。其核心功能包括:数据模型(ABM)、连接器、流编排。数据模型(ABM):提供数据/元数据驱动。相比于传统的技术工具,数据模型可通过数据沉淀行业经验,提升了开发效率;连接器:将每一个APP变成一组标准的API,实现APP的开放,提供可被编排的能力,每个应用只需集成一次;流编排:提供多系统的集成与编排能力,可实现多系统间的数据/能力打通;流也可以发布为连接器供业务调用。开天aPaaS集成工作台提供了图形化的流编排环境,可以实现零代码的开发;还预制了丰富的连接器和流模板,流模板开箱即用;同时,还提供了AI相关的连接器,利用AI技术让业务流程更加的高效。
  • [技术干货] 云服务的传统分层
    云服务的传统分层划分为:IaaS(基础设施服务)、PaaS(平台服务)、SaaS(软件服务),aPaaS其实是PaaS层的细分层。Gartner对aPaaS的定义:基于PaaS(平台即服务)的一种解决方案,支持应用程序在云端的开发、部署和运行,提供软件开发中的基础工具给用户,包括数据对象、权限管理、用户界面等。相比于tPaaS(技术平台服务),aPaaS(应用平台服务)强调的是“经验即服务”,平台在帮助汇聚各类行业经验服务的同时,提供了低代码的服务组装工具,支持行业SaaS应用的高效开发。从这里可以看出,云原生技术栈中基础周边提供的都是技术特性,aPaaS扩大了特性的范围,把可复用的行业经验也纳入进来了,比如:ID、搜索引擎、地图等,用户可复用的物料更多了,开发行业特性不需要从零开始。
  • [技术干货] 六大核心特性
    华为云Astro低代码平台本身已形成复杂的多主体低代码互动系统,另被赋予三项加持,现具备如下六大核心特性:具象生产:数字化技术事先推演现实生产,减少试错成本;自主创造:各参与方都可依照各自领域经验优势,利用成熟预置数字模型或工具实现自主发明创造并获取相应权益,实现机制共创;沉浸体验:数字呈像思维雏形,提前沉浸式体验产品功能、性能和质量,决策前就深入了解投入概貌;交互与共同参与:多方共同参与设计、贡献经验、思路,实现数字交互,显现最先进理念、最优设计,并及时发现问题快速迭代;共识机制:打通物理世界局限,达成共识机制与智能合约机制,建立统一标准。最大限度贯彻自主化,形成行业优势互补;协同合作:上下游产业链无缝协作,直观共享上下游信息,形成生态一体化;就低代码技术而言,完备数字孪生技术、虚拟化技术、AI技术、区块链、计算机图形技术和算力技术的华为云Astro在业内呈领先地位,究其原因,华为云低代码研发团队钻研企业数字转型挑战多年,能够结合低代码业务价值和业务成果,为客户提供行之有效的指导和工具,实现可复制、可预测和可扩大的商业增长变现,帮助企业在竞争中保持强劲势头。据统计,仅50%的业务可通过现有技术和工具实现数字化,这意味着巨大的低代码市场空白未被填补,亟待构筑切实的企业数字化转型方案。未来五年内,5亿个新应用程序尚待开发,比过去40年构筑的所有应用程序都多。凭目前的技术并不足以满足未来的需求。华为云Astro能源源不断地为客户输出可观的最佳实践,同时领航国内低代码产业,得益于华为云Astro鲜明的“个性”:以客户为根基,裒多益寡,开启想象,进而表现出惊人的创造力,促进企业迸发勃勃生机!
  • [技术干货] 华为云Astro Bot
    华为云Astro Bot即用户语音智能查询服务。用户使用虚拟助手构建平台,可进行数据查找、智能问答等操作,实现无纸化办公。Astro Bot支持多语言输入,通过不断学习新技能,针对用户询问展开对话式问答,实现人机互动。Astro Bot具备以下四项功能:1.知识库问答,通过问答训练实现语义匹配,丰富问答知识库。精确匹配提问给予最优答案;2.自定义意图,经由自定义对话流程,进行模型训练,帮助用户实多场景智能对话;3.技能分析,针对不同技能,分析、统计用户语境、语气、对话量和用户数量,用直观的数据展示技能使用情况,且方便用户查看。用户也可据对话数据优化对话流程;4.语音配置,用户配置不同功能的语音服务,语音识别将按需选择不同识别引擎,提高特定领域场景识别的准确率;语音合成会自动把所有对话中的文本转为音频;方便用户语音智能查询。
  • [技术干货] 华为云Astro业务场景
    为助力企业把低代码技术更快应用到业务场景,华为云Astro在应用服务、业务服务覆盖、数据服务与软件包服务基础上,设计出涵盖应用服务、编排工具、生态市场等各类面向客户场景应用的敏捷 IT 方案,整套架构具备可快速获取资源、提拉弹性和高可用等优势。以数据为中心建构应用是华为云Astro的“宗旨”。通过数据引擎,华为云Astro连接多类型数据库,提供数据自动服务。客户不必关注资源和数据库,便可操作数据的CRUD(增删改查)。除基本的数据访问功能外,华为云Astro将数据的权限控制及加密存储敏感数据功能嵌入数据引擎,客户持元数据配置便可实施诸多业务。具备基本的数据访问能力后,单靠 CRUD 不能解决业务逻辑和规则问题,还要组合逻辑编写与API(即服务编排功能)。华为云Astro整合大量可用的 API 资源和技术部件,通过不断沉淀业务相关组件(SPI)或业务服务,快速响应不同需求。调度器是服务编排引擎架构的关键。华为云Astro既可调度服务、执行脚本,亦可调取 Java 方法。结合功能丰富的处理器,客户能轻松连接 MongoDB、Redis,并完成发送消息、传输邮件、下发通知等工作。华为云Astro兼具流程定义、编排功能。让客户除常用技术类操作外,可具象化常用流程模板,把大颗粒常用的、业务不能修改的部分,通过描述的方式定义后,开放给业务 / 区域 IT 客户。当区域 IT人员 操作时,仅托拉拽已有业务,即可完成业务流。因企业要求集中管理规则、流程、数据、API,故必须将定义集中化。另外,流程运行数据一般比较大,华为云Astro在架构设计上将流程引擎和任务引擎分离,同时分离定义与执行,使整体架构统一定义管理,达成去中心化运行。
  • [技术干货] UI 编排
    UI 编排是低代码的必备,也是最常用场景。但企业应用页面复杂,除基于平台提供的模板生成页面,企业还呼吁低代码平台提供更大的开放性,产出适配不同业务领域的应用,以及搭建并沉淀各自领域特点的模板,提升开发效率。对此,华为云Astro在架构上,拆解UI 视图与 UI 模型,打通模型层、UI 与后端对应的实体元数据,并在元数据上定义诸多UI 模板,客户依照后端数据实体 /API套用模板,兑现典型场景即可自动生成页面。权限控制是不可或缺的企业应用能力,任何数据都要控制权限,其包含三部分:权限点的定义、客户权限配置、运行态鉴权。权限点的定义包含 UI 配置、API 权限、数据维度。华为云Astro支持用户登录1个统一权限申请平台,就能申请到企业所有应用权限,无需跨部门向不同管理员申请权限延期、权限转移。受手机体积限制,场景相对收敛,华为云Astro可做到零代码体验,显著提高移动端应用组建效率,在移动应用模板中,添加表单审批、报表类、导航类内容。开发人员关注业务本身,就能快速开发大部分移动操作、审批、查看类应用,并一键发布至华为移动办公协同平台 WeLink 上。
总条数:1437 到第 页
上滑加载中