-
【功能模块】FDI>任务管理【操作步骤&问题现象】1、新建任务2、读节点选择PostgreSQL3、源应用名选择:Hi-bmsoft2021__一碑4、数据源名称选择:openGS5、选择源表问题现象为显示不出来表。【截图信息】租户:Hi-bmsoft2021__一碑应用:Hi-bmsoft2021__一碑
-
9月25日,由教育部指导、华为与72所高校联合建设的“智能基座”产教融合协同育人基地项目,在华为全联接2021智能基座峰会发布了教材拓展等多项深化举措,并同步在42所高校线下分会场与众多高校师生开展面对面交流探讨,其中,华为云GaussDB数据库布道师走进包含武汉大学、南开大学、北京科技大学等在内的12所高校进行主题分享,在加快产业人才培养,夯实产业人才根基方面积极贡献自己的力量。华为云GaussDB数据库布道师走进12所智能基座高校 产教融合,共育数据库专业人才 数字化时代,云是新基建的关键要素,而数据库作为基础软件皇冠上的明珠,是IT领域的根技术之一,千行万业的运转背后都离不开数据库。将根技术作为战略布局的华为公司已经投入数据库10多年,十年磨一剑,华为云GaussDB数据库在2020年成功入选Gartner魔力象限;2021年Gartner 报告中,GaussDB数据库DBMS市场份额全球前十;2021年IDC报告中,GaussDB公有云市场份额增速第一;目前GaussDB已在1500+家金融政企与泛互联网标杆大客户规模商用,在市场份额和行业影响方面取得了重大成果。 数据库作为一个系统级软件,又因行业的特殊性,数据库人才非常难得,需要多年的积累和经验才能成为专家。 在人才获取方面,华为不惜花费重金,在全球布局7大区域,汇聚了全球超过1000+的数据库专业人才,拥有强大的研发力量。华为惜才爱才,也十分重视数据库人才的培育,GaussDB数据库多年来与高校开展了一系列合作项目,主要包括:课程合作:通过教育部-华为“智能基座”产教融合协同育人基地建设项目和教育部新工科项目,持续与高校联合开课,培养更多数据库专业人才。技术合作:华为与学术界紧密合作,创建联合实验室,与国内知名高校联合创新,充分利用高校和华为最好的资源和优势,面向产业挑战,合力聚焦研究数据库前沿技术和基础理论,实现有独特价值的技术突破!人才优招:华为提供GaussDB培训认证支持,同时在学生就业方面提供优才实习计划,助力人才与企业提前对接。 除此之外,华为还将openGauss开源软件和GaussDB免费的云服务资源券,作为数据库范本供教学使用,并提供课件、慕课、教材等教学支持。通过微认证、挑战赛、高校行、青年班、沙箱体验等活动和内容赋能开发者,持续做数据库人才培养的坚实后盾。 数据库是根技术,是系统级软件,需要从业者投入精力,潜心钻研,长期积累经验。数据库也是值得投入的根技术行业,业界非常推崇从业经验积累深厚的专家,个人职业发展与回报普遍高于普通软件从业者,希望更多莘莘学子从事数据库根技术的学习和研究。为推动中国数据库产业发展,华为将GaussDB部分核心能力开源到openGauss社区,大家可以搜索“openGauss社区”下载源码,结合《openGauss数据库核心技术》书籍深入学习和理解,为社区贡献代码,提升自己的能力,成为数据库大咖。 深化多项教培举措,助力新工科人才培养 为进一步深化智能基座项目,将产业根技术和高校课程融合,华为在教育部指导下,从教材教辅、教师培养、教学手段等方面对智能基座进行了更深的优化:拓展教材教辅:本次共发布《数据库原理-基于GaussDB实现方法》等在内的3本教材 7本教辅,将根技术全面融入高校课程,传递更多产业根技术知识。扩展更多高校:在72所学校的基础上,计划在2023年覆盖更多高校,未来逐步扩大到高职、高专以及海外部分高校,让华为云、鲲鹏、昇腾等技术成为理工科专业学生的必备技能。扩展教师队伍:和教育部共建智能基座课程虚拟教研室,未来将赋能更多优秀教师,培养更多理工科学生。扩展教学手段:通过慕课、社区、在线实验以及众智、优才实习等方式,让更多学生获得产业实践机会,提升学习效果,加速产业根技术人才成长。扩展产业范畴:智能基座将进一步扩展到5G、光网络、数据通信在内的通信产业,覆盖更多根技术领域。 人才的培养是个细水流长的过程,产学研合作发展也需要多方面的融合,华为将持续与高校紧密合作,共同研究数据库前沿技术和基础理论,共同攻克新型数据库、数据库安全与可信处理、云原生等技术难题,共创数据库美好未来。愿我们的努力,点亮每一颗未来之星,共同闪耀在数字时代的星辰大海。 欢迎点击链接,了解更多详情:https://edu.huaweicloud.com/activity/colleges.html?ggw_qt
-
填华为云数据库体验问卷即有机会得2000码豆!!有机会换大奖!!且只要参与就可得到20码豆!! 超多码豆等你来拿,赶快参与呀!各位亲爱的华为云er:即日起到2021年12月31日,填写华为云数据库产品调研问卷,反馈您的使用体验及建议,即可获得20码豆,更有机会获得2000码豆,可以兑换海量奖品,先到先得,赶快行动起来吧!参与活动产品及活动地址如下,填写任一产品调研都可获得相应码豆:GaussDB(for openGauss)GaussDB(for MySQL)GaussDB(for Cassandra)/(for Redis)/(for Mongo)/(for Influx)RDS for MySQL/PostgreSQLDDSDDMDRS如果您是老用户,请直接前往以上云服务控制台提交评价!!GaussDB(for openGauss):https://console.huaweicloud.com/gaussdb/?region=cn-east-3&locale=zh-cn#/openGauss/management/listGaussDB(for MySQL):https://console.huaweicloud.com/gaussdb/?region=cn-east-3&locale=zh-cn#/gaussdb/management/listGaussDB(for Cassandra)/(for Redis)/(for Mongo)/(for Influx):https://console.huaweicloud.com/nosql/?region=cn-north-4&locale=zh-cn#/instance/listRDS for MySQL/PostgreSQL:https://console.huaweicloud.com/rds/?agencyId=080fc88f7f800fec1f01c01e50a6781e&locale=zh-cn®ion=cn-north-4#/rds/management/listDDS:https://console.huaweicloud.com/dds/?agencyId=29549b0ee9524d0894ca0eeb3537af4b®ion=cn-north-4&locale=zh-cn#/dds/management/listDDM:https://console.huaweicloud.com/newddm/?agencyId=8ee675d5e7924338940db9a126e810e3&locale=zh-cn®ion=cn-north-4#/insListDRS:https://console.ulanqab.huawei.com/drs/?region=cn-north-7&locale=zh-cn#/drs/migrate/list 如果您是新用户,可参考下方操作步骤参与方式: 点击进入以上任一产品的产品主页,进入如下相关调研页面详细步骤如下(以下为举例页面):步骤一:注册/登录(已注册用户可跳过此步骤)步骤二:实名认证(已经实名认证得可跳过此步骤)点击实名认证(后续操作一步步按提示走,建议选择红框框出来的,比较便捷)步骤三:认证通过后,登录进入页面:https://console.huaweicloud.com/dds/?region=cn-north-4&locale=zh-cn#/dds/management/list步骤四:评价并点击提交:点击如图所示的服务概览页面链接,或者评价小笑脸,在弹出的评价页面评价后提交步骤五:提交后就坐等码豆入账啦,一般码豆会在评价后的7个工作日内到账如此简单!超多码豆等您来拿,期待您的满意评价,赶快参与吧~~~~~
-
一、[studio 2.16] 关于不能多文件下载问题■ 原因分析:chrome64以下版本需要自行设置多文件下载;■ 解决方案:Chrome是64版本以上就不用设置多文件下载,默认就是。Chrome-设置-帮忙-查看版本号(64以上下一步不用),然后进入chrome://flags/如下图 , 搜索parallel-download, 使其 Enable.
-
中奖结果公示:恭喜:测试人员001、xys、nukinsan、wolfandy 、十年树木、cftang、hw35824302、zekelove、阿弥陀佛中奖,奖品是华为云定制帽子/高硼玻璃杯(数量有限,先到先得)如需更换请在问卷中进行备注或私信我进行沟通。问卷链接已发送,请在3天内填写问卷,10月25日零点以后未填写的中奖用户视为放弃!国庆休假7天,国民大狂欢!外出游玩,高速公路免费行;来到华为云数据库,各种资源免费领:MOOC免费学、沙箱免费玩,还有礼品送不停!活动时间:2021/9/26~2021/10/20活动内容:1.MOOC免费学《数据库原理•GaussDB云数据库》课程链接:https://www.icourse163.org/course/NENU-1464035185参与方式:盖楼回复:华为云账号+第11节课程的学习截图(紫色框内显示绿色表示已经学完);盖楼层数X中奖用户数奖品名称X≥305公牛插座/三合一数据线X≥5010+nU盘/雨伞盖楼50层以上,每增加5层,增加一个中奖名额;n数量不限2.沙箱免费玩沙箱实验名称:使用CDM将CSV文件迁移至RDS https://lab.huaweicloud.com/testdetail_556PS:每日免费名额有限,先到先到,如遇当日名额用完的情况,请次日来操作。任务回复方式奖品名称华为云账号+实验进度100%完成的截图华为云定制帽子/高硼玻璃杯(数量有限,先到先得)沙箱盖楼超过50层,并随机赠送价值229元10000mA移动电源一个 【考证推荐 ▪ 选做】《数据库原理▪GaussDB云数据库》MOOC中涉及到GaussDB(for MySQL),巩固知识,顺便考个证!考证权益:【微认证】MySQL数据库迁移上云https://edu.huaweicloud.com/certifications/f0dd6fb4deed40e29b018ea09f764a3d适合人群:对数据库迁移感兴趣的人员,社会大众和高校师生【职业认证】HCIA-GaussDB 华为认证数据库工程师 培养与认证具备华为GaussDB数据库应用开发及管理能力的工程师适合人群:希望从事数据库开发或管理岗位的人员;售前/售后工程师/技术支持人员HCIP-GaussDB-OLTP 华为认证数据库高级工程师 培养与认证具备华为GaussDB(for MySQL)数据库二次开发及管理能力的高级工程师适合人群:希望成为GaussDB(for MySQL)数据库管理员的人员;希望成为数据库二次开发高级工程师【注意事项】1.获奖结果将在活动结束后7个工作日内进行公示,请报名和留言的伙伴关注社区内容,所有奖品将在活动结束后15个工作日内发放。2.活动奖品颜色随机,且部分奖品数量有限发完将用等值奖品代替;3.活动参与需遵守《华为社区常规活动规则》;4.为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。5.本次活动一个实名认证账号只能对应一个获奖人,如同一账号填写多个不同获奖人,不予发放奖励;6.本活动最终解释权归华为云所有。【往期活动】【第1期 有奖竞答】跟专家学《数据库原理▪GaussDB云数据库》MOOC,更有书籍、玻璃杯、GaussDB字母笔等你哦!【第2期 开学见面礼】博导带你学MOOC,盖楼就享4000元代金券服务,还有8种好礼拿!【第3期 华为“云”赏月】分享数据库MOOC,价值199元华为云背包等你来拿!
-
9月23日,在华为全联接2021主会场,华为高级副总裁、华为云CEO、消费者云服务总裁张平安发表“深耕数字化,一切皆服务”主题演讲,并发布了GaussDB(for MySQL)2.0全新版本及分享了GaussDB数据库三大核心技术。张平安表示:“数据库是企业核心交易业务与关键数据处理的基石,华为坚持战略投入GaussDB系列数据库10多年,结合云原生和AI技术打造了高性能、高可用、高扩展等极致能力。本次发布的华为云GaussDB(for MySQL)2.0全新版本通过整合华为云计算堆栈能力,实现了云栈垂直集成力量的最大化,同时推出的GaussDB三大核心技术,进一步推动企业数字化升级。”华为高级副总裁、华为云CEO、消费者云服务总裁张平安发表演讲华为云GaussDB(for MySQL)2.0全新升级作为华为云推出的新一代高性能企业级分布式数据库,GaussDB(for MySQL)基于存算分离架构,完全兼容MySQL,最高支持128TB的海量存储,可实现超百万级QPS吞吐,支持跨AZ部署,数据0丢失。既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性。此次推出的GaussDB(for MySQL)2.0全新版本,在原有基础上深度整合了华为云计算堆栈的独特能力,在性能、可用性、扩展性等方面都进行了创新,如通过并行查询PQ技术和算子下推NDP技术提升查询场景的性能,实现了云栈垂直集成力量的最大化,让算力更快更猛,也更好解决客户海量数据负载场景难点,助力企业客户业务创新。华为云GaussDB三大核心技术揭秘 华为在数据库领域深耕多年,具有深厚的数据库技术积累,GaussDB目前已在1500+金融政企与泛互联网标杆大客户规模商用。GaussDB历经金融客户严苛场景考验,不断进行技术创新和贴合业务场景,提供了极致的数据库服务能力。在千行百业的锤炼和自主创新中,华为云GaussDB推出了以下三大技术升级:复杂查询场景优化。通过算子下推技术,实现大规模查询场景中,将90%的逻辑计算在分布式存储层完成,大幅度降低了网络I/O延迟,充分释放了云计算算力,在TPC-H测试中,相比社区版本性能最高提升了34倍。秒级伸缩,应用0感知。支持Serverless根据数据容量自动伸缩,存储自动打散负载压力,无需分库分表。云原生多主架构。通过分布式全并行架构提供极致的吞吐量性能,支持多节点写入,可以轻松应对海量高并发数据处理,提升高可用能力。华为云GaussDB的创新不是简单的单点技术创新,而是与客户一起积极探索,共同设计更贴合用户场景的数据底座服务能力,真正实现技术与业务更好融合,做到升级有道。面向未来,华为云GaussDB希望能与企业共成长,一起拥抱云化,共创数字化发展成果。更多精彩内容,欢迎点击链接回顾:https://live.huawei.com/huaweiconnect/meeting/cn/9483.html
-
CREATE [OR REPLACE] TIGGER触发器名 触发时间 触发事件 ON表名 [FOR EACH ROW] BEGIN pl/sql语句 CURSOR 游标名 is SELECT * FROM 表名 (定义游标) END 其中: 触发器名:触发器对象的名称。 由于触发器是数据库自动执行的,因此该名称只是一个名称,没有实质的用途。 触发时间:指明触发器何时执行,该值可取: before---表示在数据库动作之前触发器执行; after---表示在数据库动作之后出发器执行。 触发事件:指明哪些数据库动作会触发此触发器: insert:数据库插入会触发此触发器;
-
冷备份发生在数据库已经正常关闭的情况下,将关键性文件拷贝到另外位置的一种说法 热备份是在数据库运行的情况下,采用归档方式备份数据的方法 冷备的优缺点: 1).是非常快速的备份方法(只需拷贝文件) 2).容易归档(简单拷贝即可) 3).容易恢复到某个时间点上(只需将文件再拷贝回去) 4).能与归档方法相结合,作数据库“最新状态”的恢复。 5).低度维护,高度安全。 冷备份不足: 1).单独使用时,只能提供到“某一时间点上”的恢复。 2).在实施备份的全过程中,数据库必须要作备份而不能作其它工作。也就是说,在冷备份过程中,数据库必须是关闭状态。 3).若磁盘空间有限,只能拷贝到磁带等其它外部存储设备上,速度会很慢。 4).不能按表或按用户恢复。 热备的优缺点 1).可在表空间或数据文件级备份,备份时间短。 2).备份时数据库仍可使用。 3).可达到秒级恢复(恢复到某一时间点上)。 4).可对几乎所有数据库实体作恢复。 5).恢复是快速的,在大多数情况下在数据库仍工作时恢复。 热备份的不足是: 1).不能出错,否则后果严重。 2).若热备份不成功,所得结果不可用于时间点的恢复。 3).因难于维护,所以要特别仔细小心,不允许“以失败而告终”。
-
Oracle的分区可以分为:列表分区、范围分区、散列分区、复合分区。 1). 增强可用性:如果表的一个分区由于系统故障而不能使用,表的其余好的分区仍可以使用; 2). 减少关闭时间:如果系统故障只影响表的一部份分区,那么只有这部份分区需要修复,可能比整个大表修复花的时间更少; 3). 维护轻松:如果需要得建表,独产管理每个公区比管理单个大表要轻松得多; 4). 均衡I/O:可以把表的不同分区分配到不同的磁盘来平衡I/O改善性能; 5). 改善性能:对大表的查询、增加、修改等操作可以分解到表的不同分区来并行执行,可使运行速度更快 6). 分区对用户透明,最终用户感觉不到分区的存在。
-
【功能模块】本人学习使用GaussDB的过程中,按照帮助文档想在本地的Java项目中使用JDBC连接数据库,但是怎么都连接不上【操作步骤&问题现象】1、没有购买弹性云服务器,所以想用内网连接。第一步在java项目中添加依赖2、根据帮助文档,在项目中增添类,写连接接口备注:根据文档,我所写的URL中:192.168.0.84:是所购买实例后,实例的内网读写IP地址3306:该实例开放的端口号foruser:我创建的数据库数据库:附:数据库的用户管理:3、开放端口号。我在数据库实例绑定的虚拟私有云增加安全组规则:4、测试连接数据库:【截图信息】连接不上报错信息注:用户密码我写了备忘录,创建的时候密码还有在java后端写的password都是是复制粘贴的,所以不可能出现错误我根据文档做了以上努力,目前找不到错误原因,求告知有做的不正确的地方!!或者错误原因!!感谢!!!
-
导读:云服务环境下,如何解决客户基于大量数据创建索引的性能问题,成为云服务厂商的一个挑战。华为云GaussDB(for MySQL)通过引入并行创建索引技术,很好地解决了批量索引创建和临时添加索引等性能瓶颈问题,帮助用户更快建立好索引。想要进一步了解快速创建索引的秘诀,请不要错过本文。关于MySQL索引 我们都知道,数据库使用索引技术加快数据的查询。MySQL数据库也支持若干种索引结构提高查询的性能(参见MySQL文档:https://dev.mysql.com/doc/refman/8.0/en/create-index.html),其中使用最广泛的是B+tree索引,因为B+tree索引在查询和修改的性能之间有很好的平衡,同时其存储和维护的代价也是比较优的。 MySQL的表本身由聚簇索引(必须是B+tree索引)表示,再加上若干个二级索引,包括B+tree索引,共同组成一个MySQL的独立表,可以说MySQL的表是由一组索引共同组成的。我们都知道索引是一把双刃剑,充分的索引可以更好地提升可以适配的查询的性能,但是需要维护这些索引使得其和数据同步,所以在数据修改操作阶段,更多的索引也会带来更高的开销。索引创建与否的权衡通常是动态的,用户不一定能做到在表定义之初就知道需要建立哪些索引,需要随着业务的发展变化而调整索引,这也带来了动态索引创建的一些问题。 MySQL的索引创建逻辑 我们先看一下MySQL索引创建的逻辑。首先,MySQL索引的创建可以使用两种不同的DDL(Data Definition Language: 数据定义语言)算法来实现。第一种是COPY算法,它非常低效,就是在两个表之间进行数据拷贝,来完成表结构相关的修改,尤其是它要求加表锁,现在基本不使用了。第二种是INPLACE算法,该算法不要求加锁,因此很多DDL操作是不阻塞DML(Data Manipulation Language: 数据操纵语句)操作的,比如创建索引。该算法具体的实现在存储引擎层面完成,可以进行更多的优化。实际上DDL语句还有一种INSTANT算法,但是它无法支持创建索引操作,这里不展开介绍。 对于INPLACE算法,在5.7版本之前,是采用索引记录不断地向建好的空索引插入的方式。由于插入的数据的无序性,该方法导致了明显的性能问题和潜在的空间浪费。在5.7版本以后,MySQL优化了建索引步骤,将其改进为对已排序的索引记录进行自底向上批量插入并且紧凑拼装的创建方式,如果有多个索引要创建,会单独对每个索引执行相同的算法。新的算法会经历读取数据、排序数据和创建索引这几个主要步骤。 总体而言,创建索引这类DDL操作,会比普通的DML等操作要费时,而该类DDL耗时会导致用户在继续动态添加索引加速查询的时候,需要等待很长的时间,极大影响业务;而且用户的MySQL实例开启了Binlog复制,耗时的DDL操作容易引起备库的长时间落后。MySQL的创建索引流程图云化场景下索引创建的问题 随着越来越多用户把数据托管在云服务上,以及用户数据量的不断增长,前述的动态添加索引导致的问题非常影响用户体验。同时客户的单表数据逐渐达到几TB甚至几十TB,客户对创建索引太慢所带来的性能问题的抱怨越来越多,尤其是创建索引周期如果太长,我们可能很难找到一段合适的业务低峰期来动态创建索引,避免业务的波动。因此,如何在云服务环境下,解决客户基于大量数据创建索引的性能问题,成为云服务厂商的一个挑战。 在云化场景下,还有一个主要场景对客户的体验非常重要。我们知道客户的业务要迁移上云,需要对数据进行大规模的迁移(华为云提供了数据复制服务DRS工具支持各类数据迁移场景),数据迁移比较高效的方式为:逻辑导出源端数据在目标端建表(注意,表不含二级索引)将源端导出的数据插入到目标端对目标端的表建立二级索引 如果涉及动态数据同步,相关步骤会更复杂一些,由于和该主题无关,这里不展开。以上步骤中,需要重点注意的是步骤2和4,在目标端创建表的时候先不创建二级索引。这个优化对性能影响很大,尤其是一个表有很多二级索引的场景。我们知道Btree索引的插入如果是有序的,对插入性能和结果的空间利用率是最好的,因为Btree索引的分裂会在插入区域的尾部产生,同时由于分裂算法的优化,分裂产生的页面填充率会比较高;相反地,如果是随机插入,尤其是并发地随机插入,很容易导致Btree索引在不同的节点进行分裂,并且分裂后的页面填充率都处于一个半满的状态,导致Btree最终的一个膨胀。 有了这个背景之后,我们就容易理解上面的问题,插入表数据的时候,我们屏蔽了二级索引,等所有数据都准备好了,再采用批量建立索引的方式创建二级索引,这对于二级索引创建效率是最高的。如果不这么做,每插入一条记录,就要去插入相应的二级索引,那么二级索引就是一个无序的随机插入,并发起来性能会变差很多。 虽然在数据同步准备好后,批量创建二级索引是一个有效的方案,但是如果数据量很大,这么创建二级索引还是非常耗时,导致客户在数据迁移完之后需要等待很长时间才能开展业务,这个等待周期可能是小时甚至天级别的。虽然可以考虑表级别的并发创建索引,但是这个方法也有明显的缺点:应用场景有限,要求有多表;以及表和表之间的并发其实不是一个最有效的并发形式,相互影响比较大。GaussDB(for MySQL)如何快速创建索引? 综上所述,在创建索引这个点上存在两个性能瓶颈点:一个是用户迁移数据之后的批量索引创建;第二个是用户临时需要添加一个二级索引。无论哪个点,我们都需要更快的建立好索引,提升用户的使用体验。 华为云GaussDB(for MySQL)引入了并行创建索引的技术,它改进了社区版MySQL创建索引只用单线程的问题,以此提高创建索引的效率,并一起解决了前述两个痛点。前面提到的社区版创建索引逻辑是单线程的,首先存在资源利用率不够饱满的问题;其次创建索引过程是CPU和IO开销交替进行的过程,在做一个操作的时候,即使不是资源竞争的操作也只有等待。多线程创建索引可以充分利用CPU和IO资源,同时有的线程在做CPU计算时,别的线程可以并发的做IO操作。 GaussDB(for MySQL)使用的并行创建索引,是一个全链路的并行技术。前面提到,创建索引包含了若干个阶段,我们的并行创建算法,对这里的每个阶段都做并行处理,从读取数据、排序、到创建索引,都是并行操作,每一步都由指定的N个线程并发处理。它的逻辑如下图所示: GaussDB(for MySQL)尤其对数据的归并排序做了多种优化,使得我们常规的归并排序能够充分的并行,充分利用CPU、内存和IO的资源。在并行创建索引之后的合并步骤,也使用了一套简化的算法,正确处理各种索引结构的场景。支持的索引和场景 GaussDB(for MySQL)的并行创建索引功能,目前支持的索引为Btree二级索引。对于virtual index二级索引,将会在不久的将来提供全面的支持,而MySQL的spatial index和fulltext index不在该并行创建索引覆盖范围内。 特别要注意的是,主键索引的创建目前也是不支持并行的,因此如果一个并行创建索引的SQL语句包含创建主键索引,或者前面提及的spatial index与fulltext index,那么客户端将会收到一个告警,提示该操作不支持并行创建索引,同时该语句会采用单线程创建索引的方式执行完成。 从SQL语句的角度,如前所述,创建索引可以采用不同的算法,由于COPY算法(ALGORITHM=COPY)不是采用批量插入的方式,因此不会受益于该并行创建索引优化。而对于INPLACE算法,如果创建索引用的是非rebuild的方式,都可以受益于该优化;一旦需要使用rebuild的方式创建索引,因为涉及到主键索引的建立,将无法使用并行创建索引的算法。示例下面我们通过几个实例来了解一下如何使用并行创建索引算法加快创建速度,以及我们的条件约束是如何生效的。1. 我们使用sysbench的表,表内有1亿条数据2. 在该表的k字段建索引,采用社区默认单线程,耗时82s3. 通过设置innodb_rds_parallel_index_creation_threads = 4启用4个线程建索引,可以看到建索引耗时72s,速度提升3.79倍4. 假设我们要修改主键索引,虽然指定了多线程,但是会收到一个warning,实际上只能通过单线程建索引注意事项 首先对innodb_rds_parallel_index_creation_threads这个参数进行一下说明,它控制了系统中所有并行DDL可以使用的总线程数,取值范围是[1-128]。该参数取值为1表示使用原始的单线程创建索引,取值为N,表示接下来的DDL使用N个线程创建。如果一个DDL使用了100个线程在执行,那么另外一个也要使用并行的DDL且最多只能使用剩下的28个线程;而如果128个线程都被并行DDL语句占用了,新来的DDL只能走原始的单线程创建的逻辑。 虽然该并行创建索引加快了索引的创建速度,但是在具体使用场景下,还是需要有审慎的评估。我们知道在并行算法应用之后,该DDL对硬件资源的使用会尽可能的充分,这也意味着其它操作就得不到太多的资源了。因此,针对不同的场景需要具体地分析,它决定了我们如何创建索引。 对于迁移场景,由于这时候还没有任何业务接入,用户希望尽快完成所有索引的创建,因此可以尽量设置多线程数,比如我们是16核规格的实例,那么我们就可以把并行线程的数量指定为16,加速完成操作。 如果是用户业务运行阶段要创建索引,我们还是不希望DDL操作,对正在运行的业务如DML操作等有太多的影响。因此,这时候创建索引可以指定相对少一些的线程数量,比如2-4(或者根据CPU规格以及负载决定,同时不鼓励并发地执行多个DDL操作)。这样既能相对地加速创建索引的进程,也能保证DML的正常进行。 综上所述,GaussDB(for MySQL)支持了并行创建索引,通过缩短创建索引使用的时间,很好地解决了客户关切的两类问题,提升了客户的体验。但技术无止境,在创建索引领域,还有其它的问题需要我们优化解决,例如如何减少创建索引步骤对IO的影响等等。我们后续会针对这些点进行优化,给客户带来更多的惊喜。 目前,华为云GaussDB(for MySQL) 并行创建索引优化功能已上线,欢迎大家前往华为云官网体验:https://www.huaweicloud.com/product/gaussdb_mysql.html 附:华为云GaussDB(for MySQL)内核专家系列文章华为海外女科学家为您揭秘:GaussDB(for MySQL)云栈垂直集成的力量有多大?华为云数据库内核专家为您揭秘:GaussDB(for MySQL)并行查询有多快?
-
key 是数据库的物理结构,它包含两层意义和作用,一是约束(偏重于约束和规范数据库的结构完整性),二是索引(辅助查询用的)。包括primary key, unique key, foreign key 等index是数据库的物理结构,它只是辅助查询的,它创建时会在另外的表空间(mysql中的innodb表空间)以一个类似目录的结构存储。索引要分类的话,分为前缀索引、全文本索引等;
-
【操作步骤&问题现象】manager 6.5.1.6 GaussDB A 8.0.0.1 版本数据库监控涉及的表存放在哪里?表名是什么?
-
05 混合云的产业趋势 在深入研究混合云趋势之前,有必要先来看看云产业的大格局。显然,这个市场正在以惊人的速度持续增长。企业的云策略绝大多数企业正在采用多云策略,其中51%的企业采用了混合云。这个数字很可能不完全准确,因为如前所述,多云和混合云的定义依来源而有所不同。但是,总体趋势还是非常明显的——为了在当今的企业经济结构中蓬勃发展,很多公司正在把功能强大的关键应用部署迁移到云中。 Gartner还指出:“到2020年,大多数数据和分析用例将必须连接到分布式数据源”,并且“大多数组织的DBMS部署将在本地和云中共存—即混合云DBMS”。 每天都有新出炉的文章提到又有某些公司将其部分应用栈迁移到本地基础架构之外的云上,这种趋势完全没有停止的迹象。 在DataStax,我们有63%的客户在云上运行他们的应用程序,并有超过一半的客户在多云、混合云或其组合的基础架构环境中部署应用程序。点击这里了解更多。 06 混合云和DataStax Enterprise DataStax Enterprise (DSE)是功能最强大的云数据库,专为混合云而设计。 无论是在公有云、私有云还是混合云环境下,DSE都可以通过自动的运维轻松横跨云区域和数据中心。 DSE可以帮助企业在不对应用程序做任何改变的前提下,在不同的云环境中轻松部署关键的应用程序。 分布式云数据库使您能够充分利用混合多云架构:轻松便捷地从任意IaaS供应商中选择所需的服务;根据您选择的云服务来设计架构;使数据分布在不同地区,以满足治理和合规的要求;在本地预置的数据库上运行服务的同时充分利用多云提供的资源;无缝使用不同IaaS供应商提供的工具或实现跨供应商迁移,从而在零宕机的前提下为庞大的数据量提供性能扩展;在企业内部或跨云备份,或撤离有停机担忧的区域,从而保护应用程序和客户体验免受服务中断的影响。
-
近日,华为与北京大学生物医学前沿创新中心(BIOPIC)、北京大学化学与分子工程学院、深圳湾实验室高毅勤教授课题组联合推出蛋白质多序列比对(Protein MSA)数据集,希望在标准化的数据集基础上,支撑研究人员开发先进的AI模型,加深对蛋白质结构、功能和进化的认知,并进行蛋白设计与改造。此数据集将发布于华为云AI Gallery平台,相关代码及数据集说明将依托于华为全场景AI计算框架MindSpore进行开源开放、定期扩展与维护,旨在为全世界相关的产、学、研团队提供优质的数据共享解决方案。 本次开源的Protein MSA数据集完全覆盖最新版本(2021年2月发布)的UniRef50数据库中的蛋白质序列,采用学术界的“金标准”搜索方法,对约0.5亿条蛋白序列进行了充分的MSA搜索与比对(MSA平均深度大于1000),是目前世界范围内规模最大、参考数据集最新、覆盖度最广的开源蛋白质MSA数据集(之前最大的开源MSA数据集包含10万个蛋白MSA)【1】。 人类已知的蛋白质序列已经超过4.4亿条,但仅凭这些蛋白质单序列数据库,很难了解蛋白之间的关系。Protein MSA数据库是一个对不同蛋白质序列之间的关系进行了标记的大规模“关系型”数据库,被标记为关联的蛋白质序列之间的相似度、进化关系、突变所在位点的分布等信息对蛋白质结构和功能的预测极为重要。 为了更好地服务于跨领域的研究人员,Protein MSA数据集将被组织成具有多重形态的数据格式。原始数据集(近30T)将以UniRef系列数据库【2】和UniClust数据库【3】的标准文本形式存储,并按照序列长度进行分割与压缩。为了便于AI领域的研究人员直接使用,Protein MSA数据集还会将文本格式的数据集转化为浮点数张量类型压缩存储,并对已有的AI框架如MindSpore进行数据接口的支持。 高毅勤教授表示:“我们鼓励并期待来自生物信息学、数据科学和AI研究等领域的专家和人才充分碰撞与合作,引入、改进或设计全新的AI模型,来充分地挖掘Protein MSA数据集中所隐藏的‘自然的秘密’”。 从科学的角度看,MSA的数量和质量很大程度上影响了目前最先进结构模型的预测速度和精度,而且产生MSA的非参数化算法仍是诸多蛋白预测方法中决定速度的主要步骤之一。因此,Protein MSA数据库本身可以作为这些结构预测模型的预训练材料,用来挖掘序列信息甚至快速生成新的序列特征,这对解决研究、设计蛋白质中所面临的高变异序列和孤儿序列等问题具有巨大的潜在价值。 此次数据库的发布,依托于华为云AI Gallery平台,能够充分保障国内外用户对于数据集的访问和下载,并提供可持续更新与扩充的先进数据维护方案以及下游AI应用与部署的相关支持,融合了产、学、研相结合的研究模式的优势。此外,华为也与北京大学高毅勤课题组联合开发并开源了首个国产分子动力学软件MindSponge。未来,华为将牵手更多的学术科研界合作伙伴,在材料、生物、医药等更广泛的科学计算领域打造数据推动的研究新模式。 附:数据集开源说明:https://gitee.com/mindspore/mindscience/tree/master/MindSPONGE/protein_msa数据集下载地址:https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=5802def2-5fbd-40da-85d8-a4541d1c6f1e 【1】AlQuraishi, Mohammed. "ProteinNet: a standardized data set for machine learning of protein structure." BMC bioinformatics 20.1 (2019): 1-10.【2】Suzek, B. E., Wang, Y., Huang, H., McGarvey, P. B., Wu, C. H., & UniProt Consortium. (2015). UniRef clusters: a comprehensive and scalable alternative for improving sequence similarity searches. Bioinformatics, 31(6), 926-932.【3】Mirdita M.*, von den Driesch L.*, Galiez C., Martin M. J., Söding J.#, and Steinegger M.#, Uniclust databases of clustered and deeply annotated protein sequences and alignments, Nucleic Acids Res. 2016.
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签