• [热门活动] 【11.11元包年购】华为云数据库特惠专区,包年仅需11.11元!
    双11,包年仅需11.11元还有“6大活动福利”享不停!【活动时间】2021/11/1-2021/11/30【分会场购买专区】11.11云数据库特惠,MySQL、PostgreSQL、DDS包年低至11.11元!点击链接:https://activity.huaweicloud.com/dbs_Promotion/index.html分会场购买二维码 6大活动福利福利1:7200元上云大礼包可领取7200元上云大礼包,部分券可以叠加使用于活动套餐,享折上折福利2:首次上云低至11.11元实名认证新用户购买MySQL、PostgreSQL、DDS享 11.11元/年福利3:购买时长越长,优惠越多6个月6.5折,1年5.5折,3年4.5折福利4:消费即可抽奖,100%中奖活动期间购买云数据库,即可参与分会场抽奖活动,有机会获得华为云定制礼品1份!福利5:组合购享多重优惠购买指定规格ECS+MySQL,享折上9.5折福利6:看直播抽HUAWEI MATEPAD云数据库专场直播时间:11月8日 16:00
  • [热门活动] 【1024程序员节】学、练、考三部曲,带你一睹数据库芳华!
    !!!重要提示:本帖是副帖,参与活动请前往主帖,在主帖进行回复,副帖回复不参与活动评奖。主帖入口请戳文末链接或二维码↓↓↓1024程序员节欢迎来到数据库空间站活动时间:2021/10/20-2021/11/21活动主题:学、练、考三部曲,带你一睹数据库芳华!活动目的:本次活动为大家精心打造的数据库学、练、考三部曲,帮助大家快速了解华为云数据库、考取权威证书、实现技能提升。活动评奖(双重奖项哦):1. 参与活动中任何一个环节,均有机会获奖    学、练、考三个环节相互独立,每个环节都设置了对应奖项,因此,参与其中任何一个项目均有机会获奖。2. 获得打卡秘钥,抽取大礼包    参与活动且回复符合活动要求的用户,将会获得打卡秘钥,抽取大礼包。主帖链接:【星云闪耀1024<神奇空间站>】数据库空间站,学、练、考三部曲,带你一睹数据库芳华!主帖二维码【注意事项】1.获奖结果将在活动结束后7个工作日内进行公示,请报名和留言的伙伴关注社区内容,所有奖品将在活动结束后15个工作日内发放,有任何问题,请添加小助手微信18209232786。2.活动奖品颜色随机,且部分奖品数量有限发完将用等值奖品代替;另参与人数不能达到最低楼层,不开奖。3.活动参与需遵守《华为社区常规活动规则》;4.为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。5.本次活动一个实名认证账号只能对应一个获奖人,如同一账号填写多个不同获奖人,不予发放奖励;6.本活动最终解释权归华为云所有。
  • [数据库] 【第30课】云数据库 TaurusDB如何查看和优化慢SQL
    慢SQL产生的主要原因有SQL编写问题、锁等待、业务实例相互干扰对IO/CPU资源征用和服务器硬件等。在业务运行中,由于SQL编写导致的慢SQL的概率最大,故着重从SQL编写的优化入手,并结合具体案例进行说明。如何查看慢SQL1. 登录管理控制台。2. 单击管理控制台左上角的,选择区域和项目。3. 在页面左上角单击,选择“数据库 > 云数据库 TaurusDB”。4. 在“实例管理”页面,选择目标实例,单击实例名称,进入“基本信息”页面。5. 在左侧导航树,单击“日志管理”。6. 选择“慢日志”页签,查看慢SQL语句的详细信息。慢日志功能支持查看指定执行语句类型或时间段的慢日志记录。如何进行慢SQL优化本部分从SQL编写角度介绍慢SQL可进行的优化。1. 字段类型转换导致不用索引,如字符串类型的不用引号,数字类型的用引号等,这有可能会用不到索引导致全表被扫描。2. mysql不支持函数转换,所以字段前面不能加函数,否则将用不到索引。3. 不要在字段前面加减运算。4. 字符串比较长的SQL语句,可以考虑对一部分内容进行索引,从而减少索引文件大小,提高写入效率。5. like %在前面用不到索引。6. 根据联合索引的第二个及以后的字段单独查询用不到索引。7. 不要使用select *。8. 排序请尽量使用升序。9. or的查询尽量用union代替(Innodb)。10. 复合索引高选择性的字段排在前面。11. order by/group by字段应该包括在索引当中,减少排序操作开销,效率会更高。慢SQL优化典型案例本部分以“mysql不支持函数转换,所以字段前面不能加函数,否则将用不到索引”优化点为例举例说明。原SQL语句:SELECT id,title,most_top,view_count,posttime FROM article where status=3 AND catalog_id in (select catalog_id from catalog where catalog_id=17 or parent_id=17) and DATEDIFF(NOW(),posttime)<=90 order by most_top desc,posttime desc limit 0,8 原因分析:通过explain可以看出来这个语句执行慢是因为ariticle表扫描了27298行,并进行了排序。优化步骤:1. 初步优化,对数据量进行限制。将原SQL语句修改为:SELECT id,title,most_top,view_count,posttime FROM article where status=3 AND catalog_id in (select catalog_id from catalog where catalog_id=17 or parent_id=17) and DATEDIFF(NOW(),posttime)<=90 order by most_top desc,posttime desc limit 0,8发现进行限制时间后并没有大幅度的提高。原因每次使用datediff运算导致不走索引即慢SQL优化点的第二条。2. 继续修改,修改为:SELECT id,title,most_top,view_count,posttime FROM article where status=3 AND catalog_id in (select catalog_id from catalog where catalog_id=17 or parent_id=17) and postime>='2017-09-05' order by most_top desc,posttime desc limit 0,8重新执行SQL后,SQL执行速度大幅提升。
  • [热门活动] 【数据库体验反馈赚码豆】参与华为云数据库体验问卷反馈有机会得2000码豆!!!
    填华为云数据库体验问卷即有机会得2000码豆!!有机会换大奖!!且只要参与就可得到20码豆!! 超多码豆等你来拿,赶快参与呀!各位亲爱的华为云er:即日起到2021年12月31日,填写华为云数据库产品调研问卷,反馈您的使用体验及建议,即可获得20码豆,更有机会获得2000码豆,可以兑换海量奖品,先到先得,赶快行动起来吧!参与活动产品及活动地址如下,填写任一产品调研都可获得相应码豆:GaussDB(for openGauss)GaussDB(for MySQL)GaussDB(for Cassandra)/(for Redis)/(for Mongo)/(for Influx)RDS for MySQL/PostgreSQLDDSDDMDRS如果您是老用户,请直接前往以上云服务控制台提交评价!!GaussDB(for openGauss):https://console.huaweicloud.com/gaussdb/?region=cn-east-3&locale=zh-cn#/openGauss/management/listGaussDB(for MySQL):https://console.huaweicloud.com/gaussdb/?region=cn-east-3&locale=zh-cn#/gaussdb/management/listGaussDB(for Cassandra)/(for Redis)/(for Mongo)/(for Influx):https://console.huaweicloud.com/nosql/?region=cn-north-4&locale=zh-cn#/instance/listRDS for MySQL/PostgreSQL:https://console.huaweicloud.com/rds/?agencyId=080fc88f7f800fec1f01c01e50a6781e&locale=zh-cn&region=cn-north-4#/rds/management/listDDS:https://console.huaweicloud.com/dds/?agencyId=29549b0ee9524d0894ca0eeb3537af4b&region=cn-north-4&locale=zh-cn#/dds/management/listDDM:https://console.huaweicloud.com/newddm/?agencyId=8ee675d5e7924338940db9a126e810e3&locale=zh-cn&region=cn-north-4#/insListDRS:https://console.ulanqab.huawei.com/drs/?region=cn-north-7&locale=zh-cn#/drs/migrate/list 如果您是新用户,可参考下方操作步骤参与方式: 点击进入以上任一产品的产品主页,进入如下相关调研页面详细步骤如下(以下为举例页面):步骤一:注册/登录(已注册用户可跳过此步骤)步骤二:实名认证(已经实名认证得可跳过此步骤)点击实名认证(后续操作一步步按提示走,建议选择红框框出来的,比较便捷)步骤三:认证通过后,登录进入页面:https://console.huaweicloud.com/dds/?region=cn-north-4&locale=zh-cn#/dds/management/list步骤四:评价并点击提交:点击如图所示的服务概览页面链接,或者评价小笑脸,在弹出的评价页面评价后提交步骤五:提交后就坐等码豆入账啦,一般码豆会在评价后的7个工作日内到账如此简单!超多码豆等您来拿,期待您的满意评价,赶快参与吧~~~~~
  • [热门活动] 【第4期 国庆最嗨免费区】华为云数据库:MOOC免费学、沙箱免费玩,229元移动电源送不停!
    中奖结果公示:恭喜:测试人员001、xys、nukinsan、wolfandy 、十年树木、cftang、hw35824302、zekelove、阿弥陀佛中奖,奖品是华为云定制帽子/高硼玻璃杯(数量有限,先到先得)如需更换请在问卷中进行备注或私信我进行沟通。问卷链接已发送,请在3天内填写问卷,10月25日零点以后未填写的中奖用户视为放弃!国庆休假7天,国民大狂欢!外出游玩,高速公路免费行;来到华为云数据库,各种资源免费领:MOOC免费学、沙箱免费玩,还有礼品送不停!活动时间:2021/9/26~2021/10/20活动内容:1.MOOC免费学《数据库原理•GaussDB云数据库》课程链接:https://www.icourse163.org/course/NENU-1464035185参与方式:盖楼回复:华为云账号+第11节课程的学习截图(紫色框内显示绿色表示已经学完);盖楼层数X中奖用户数奖品名称X≥305公牛插座/三合一数据线X≥5010+nU盘/雨伞盖楼50层以上,每增加5层,增加一个中奖名额;n数量不限2.沙箱免费玩沙箱实验名称:使用CDM将CSV文件迁移至RDS https://lab.huaweicloud.com/testdetail_556PS:每日免费名额有限,先到先到,如遇当日名额用完的情况,请次日来操作。任务回复方式奖品名称华为云账号+实验进度100%完成的截图华为云定制帽子/高硼玻璃杯(数量有限,先到先得)沙箱盖楼超过50层,并随机赠送价值229元10000mA移动电源一个 【考证推荐 ▪ 选做】《数据库原理▪GaussDB云数据库》MOOC中涉及到GaussDB(for MySQL),巩固知识,顺便考个证!考证权益:【微认证】MySQL数据库迁移上云https://edu.huaweicloud.com/certifications/f0dd6fb4deed40e29b018ea09f764a3d适合人群:对数据库迁移感兴趣的人员,社会大众和高校师生【职业认证】HCIA-GaussDB  华为认证数据库工程师   培养与认证具备华为GaussDB数据库应用开发及管理能力的工程师适合人群:希望从事数据库开发或管理岗位的人员;售前/售后工程师/技术支持人员HCIP-GaussDB-OLTP 华为认证数据库高级工程师   培养与认证具备华为GaussDB(for MySQL)数据库二次开发及管理能力的高级工程师适合人群:希望成为GaussDB(for MySQL)数据库管理员的人员;希望成为数据库二次开发高级工程师【注意事项】1.获奖结果将在活动结束后7个工作日内进行公示,请报名和留言的伙伴关注社区内容,所有奖品将在活动结束后15个工作日内发放。2.活动奖品颜色随机,且部分奖品数量有限发完将用等值奖品代替;3.活动参与需遵守《华为社区常规活动规则》;4.为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。5.本次活动一个实名认证账号只能对应一个获奖人,如同一账号填写多个不同获奖人,不予发放奖励;6.本活动最终解释权归华为云所有。【往期活动】【第1期 有奖竞答】跟专家学《数据库原理▪GaussDB云数据库》MOOC,更有书籍、玻璃杯、GaussDB字母笔等你哦!【第2期 开学见面礼】博导带你学MOOC,盖楼就享4000元代金券服务,还有8种好礼拿!【第3期 华为“云”赏月】分享数据库MOOC,价值199元华为云背包等你来拿! 
  • [产品体验官] 【中级体验任务】华为云数据库与应用迁移UGO使用体验活动
    体验形式:       本次体验采用有奖征集体验评测报告+群内交流的反馈的形式。我们将在体验官群内(点击链接申请成为体验官)筛选体验官若干位,然后按照UGO体验官任务卡(详见附件文档一)的要求操作和体验产品,最后输出体验报告(完成PPT任务卡填写即可),并按照华为云账号名+微信昵称+体验报告附件的格式回复至本帖。我们会从中筛选出高质量体验报告,给予礼品奖励和积分奖励。数据库和应用迁移 UGO服务简介:数据库和应用迁移 UGO(Database and Application Migration UGO,以下简称为UGO)是专注于异构数据库结构迁移的专业服务。可将数据库中的DDL一键自动将语法转换为华为云GaussDB/RDS的SQL语法,通过预迁移评估、结构迁移两大核心功能和自动化语法转换,提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。在异构数据库迁移场景中,UGO实现结构迁移和语法转化,数据库复制服务DRS实现异构数据库数据在线搬迁,可以形成完整的平滑异构数据库端到端搬迁方案,实现主流商用数据库到华为云数据库的自动化迁移,助力用户轻松实现一键上云、一键切换数据库的目的。产品链接:https://console.huaweicloud.com/ugo/?region=cn-south-1#/console/dashboard活动流程:1.如您已经成为产品体验官,小助手会在群内发布招募公告,直接报名即可。2.如您还未申请成为体验官,请点击链接先申请成为体验官,再参与活动哦~申请链接:https://developer.huaweicloud.com/activity/experience-officer.html中奖率超高哟~~☆奖品设置如下☆参与奖:若干名活动要求:按照要求完成任务卡奖品:文件收纳包+3体验官积分    优秀奖:若干名活动要求:被专家评为优秀报告奖品:京造1w毫安充电宝1个+5体验官积分           体验评测报告交稿时间:- 招募期:2021.8.24-2021.9.5- 测试期:2021.9.6-2021.9.19
  • [技术干货] 【大厂内参】第2期:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库
    【摘要】 在这里,读懂华为云数据库。文章描述一文梳理华为云数据库产品,理清RDS、DDS和GaussDB了解开源数据库上云和华为云自研数据库,读懂华为云数据库生态。初识华为云关系型数据库RDS支持MySQL、PostgreSQL、SQLServer等关系型数据库引擎。华为云DDS—云上高性价比文档数据库服务DDS兼容MongoDB协议,支持分片集群、副本集和单节点三种部署架构。超便捷的华为云数据复制服务DRS是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。万万没想到,云数据库MySQL原来是这样的!!!图文并茂了解云数据库MySQL的特点和应用场景。太给力了!认识云数据库PostgreSQL只需要这三步PostgreSQL是开源关系型数据库,兼容Oracle的语法,有丰富的第三方插件。这才是云数据库 SQL Server的正确打开方式SQL Server 是广受欢迎的商用关系型数据库,能集成各类微软常用管理开发工具。华为云数据管理服务DAS来啦!帮您轻松解决数据管理各种难题面对数量庞大且种类繁多的难题,DAS提供数据库开发、运维、智能诊断等服务。积跬步、行千里,华为云数据库前景几何?经过十余载打磨,华为数据库业务已在产品、组织、生态上整合到位。文章描述从业务和团队出发,数据库选型要“对症下药”从自身业务架构、业务数据量、数据类型、团队成员的业务能力等多角度选择数据库。没有宫廷内 斗,数据库界的延禧攻略全方位解读MySQL与MongoDB的区别:没有谁替代谁,只有哪个场景更适合谁。关系型or非关系型难以抉择,云上数据库必有一战云数据库的高性能、高扩展、高可用也让建立在数据之上的业务系统更加高效。自己挑水喝还是自来水供水?浅谈云数据优势自建数据库和云数据库的比较,就好像是自己挑水喝和自来水供水的区别。您的业务适合哪种数据库,真的知道吗?面对市场上琳琅满目的数据库引擎,选合适的数据库能节省成本、提高业务能力。浅析电商、社区、游戏行业常用 MySQL 架构MySQL架构一定要结合业务来分析、设计、优化。遇到数据并发瓶颈,如何在SQL、NewSQL、NoSQL间取舍SQL数据库在海量数据的存储及并发读写上遇到瓶颈,NoSQL和NewSQL数据库扶摇直上。文章描述开源数据库这么香,为什么我们还要下功夫自研?对于企业来讲,只有选择开放的生态,才能让自己的业务具备更好的连续性。解读华为云原生数据库设计原则,打破传统数据库上云瓶颈云服务厂商自研云数据库产品势在必行。那么,一个优秀的自研数据库产品应该要具备哪些特性呢?从“华为GaussDB”到“华为云GaussDB”,华为如何加持云基础技术实力? 华为在数据库以及整个计算产业的打法:不谋全局者,不足谋一域。技术解读丨GaussDB(for MySQL)存储架构设计的秘密是什么?深耕18年数据存储,GaussDB(for MySQL)如何实现算子下推,软硬协同性能调优,跨AZ数据0丢失。苦开源MySQL瓶颈久矣,不妨试试GaussDB(for MySQL)分布式版解读GaussDB(for MySQL)分布式版本的特性。华为云推出全自研数据库,GaussDB(openGauss)能否撑起一片天?华为首个全自研的开源数据库会给整个生态带来什么改变呢?一文读懂GaussDB(for Mongo)的计算存储分离架构通过计算存储分离架构,完美解决开源版本水平扩展的速度瓶颈及性能恶化问题。详解GaussDB bufferpool缓存策略,这次彻底懂了根据bufferpool的使用特点设计一个高效的缓存策略。领先原生PG 5倍性能,这次GaussDB(for PostgreSQL)真香了GaussDB(for PostgreSQL)遵循解耦、近数据计算下推、充分利用云存储能力、发挥SSD性能等原则。直击结构迁移和SQL转换痛点,华为云UGO要做愚公移山的事情数据库领域也有愚公移山:移走传统主流商业数据库。从GaussDB(for MySQL)看全自研数据库的正确打开方式深入剖析GaussDB(for MySQL)主备版和分布式版的关键技术和特性,相关行业应用案例。一文读懂GaussDB(openGauss) 的六大关键技术特性从分布式执行框架到GTM-Lite技术,揭秘GaussDB(openGauss) 关键技术。文章描述一个数据库管理员的自我救赎之路公司在筹备上云的事,数据库迁移用DRS就对了。86万张表迁移的优化历程 2000个库,86万张表,要在一天内要完成割接,如何完成这个不可能的挑战?华为云数据库SQL Server实践案例技术解析以金蝶K/3 WISE 为例,配合华为云SQL Server 实例快速迁移数据中心。性能诊断好难?华为云DAS服务全量SQL洞察为您支招如何安全审计SQL、快速定位性能异常、保护数据库安全?我的PG数据库备份优化之路通过DRS服务PG顺利迁移到华为云上,晚上再也不会收到数据盘空间不足的异常告警。本合集为《大厂内参》002期,欢迎大家持续关注。大厂内参根据开发者普遍关注的热门技术领域,汇编实践精华内容。从业务场景选型,应用案例分析,到前瞻趋势预测。以专题的形式,深度解读华为云核心技术,分享一线工程师的实战经验。【第一期】敏捷&Devops:80+篇实践干货分享,深度解读敏捷&DevOps如何革新软件开发【第二期】数据库:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库【第三期】云服务器:选型解读+案例分享:云服务器“软硬技术”全公开【第四期】人工智能:海量实战经验教你零门槛进场AI开发,无成本负担玩转AI应用【第五期】云原生:读懂云原生2.0,看它如何重塑业务开发架构【第六期】云安全:Get防范云安全的必杀技,学会构建云上完整安全体系【第七期】物联网:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT【第八期】数据仓库:8大场景系列玩转数仓运维,做个不秃头的DBA
  • [产品介绍] 国内首批先进级!华为云数据库应用迁移解决方案取得信通院最高级别成绩
    6月24日,经中国信息通信研究院(以下简称“信通院”)严格测试,华为云数据库应用迁移解决方案顺利通过“数据库应用迁移服务能力”评测,成为国内首批通过该项的商用数据库迁移方案。该项是国内首个针对数据库迁移能力的全面评估测试,包括6大能力域、16个能力项,共154个测试用例,评估结果分为基础级、增强级和先进级三个等级,填补了数据库领域在迁移服务能力标准方面的空白,切实为用户解决数据库产品替换难的根本顾虑。同时,也标志着国产数据库领军企业已经不再局限于仅关注产品本身的能力,还具备了为用户提供全方位、高标准的数据库迁移服务的能力,让用户不仅敢于选择,而且选的放心。华为在数据库迁移技术领域里一直有着深厚的技术积累,作为第一家参与的企业,华为云数据库应用迁移整体解决方案在本次评测中经历了迁移评估、业务改造、迁移执行、迁移验证、运维优化、安全能力6大方面的严苛考验,设计了完备的Oracle到GaussDB的迁移测试用例展示,成功取得了国内首批评测最高级别的成绩。华为云数据库应用迁移解决方案由华为云数据库和应用迁移UGO、华为云数据复制服务DRS两款产品组成。UGO专注于异构数据库结构迁移和应用SQL转换,实现商用数据库的一键迁移。DRS负责数据库毫秒级数据同步,支持同构异构数据库之间的数据传输/搬迁,降低数据库之间数据流通的复杂性,减少数据传输成本。该方案覆盖了数据库迁移、管理等环节,提供了一站式上云迁移解决方案,让用户真正做到迁移放心、管理省心!华为云数据库应用迁移解决方案架构图在信通院6大考验中,华为云UGO基于各种迁移成本为用户提供精准的评估结果;支持亿级别样本训练,当前综合语法转化率接近85%,并在持续提升中;支持预迁移评估和语法转换、对象校正等。充分满足信通院对迁移评估能力、业务改造能力、迁移执行能力等方面的要求。华为云DRS支持全量+增量迁移,能够最大限度将业务系统中断时间和业务影响最小化;严格控制使用者的操作权限,多方面保障数据库安全。充分满足信通院对迁移执行能力、迁移验证能力、安全能力等方面的要求。华为云GaussDB数据库已广泛应用于金融、政府、运营商、交通、物流、互联网等领域,服务于1000+客户,应用迁移解决方案成功帮助各行各业客户顺利高效的完成数据与应用迁移。此番通过信通院评测,进一步得到了市场和行业的广泛认可。华为云数据库将联合更多合作伙伴,持续为各行业提供极具竞争力的数据库迁移解决方案。
  • [公告] 华为云数据库开发者社群
    华为云数据库社群汇集各类活动的干货资讯,帮助你结识志同道合的人!扫码添加小助手回复【学习】进群回复【学习】通过审核后即可拉您进华为云数据库学习社群,在使用华为云数据库产品或参与活动中遇到任何问题,都可以联系小助手,我们会积极帮您处理!
  • [版主精选] QCon专题出品人、华为云数据库首席架构师彭立勋专访
     2021年5月29-31日,华为云数据库首席架构师彭立勋出席了2021年QCon全球软件开发大会。与以往不同的是,此次大会他多了一重身份——QCon全球软件开发大会“数据库与存储技术”专题出品人,与业界众多数据库领域大咖共同打造了一场精彩绝伦的技术分享盛会。华为云数据库首席架构师彭立勋现场分享  能够担任QCon“数据库与存储技术”专题的出品人,彭立勋究竟有何过人之处?他又是如何成为MySQL领域的大牛?带着这些疑问,我们对彭立勋进行了采访。 机缘巧合进入MySQL领域,深受MySQL之父鼓舞  通过采访我们得知,彭立勋并非一开始就对MySQL数据库感兴趣,他是在机缘巧合下接触MySQL,进而自学研究,从做DBA(数据库管理员)开始,然后做DA(数据库架构师),再到做内核研发、内核架构工作,经过刻苦钻研,最终成为MySQL领域大牛。 彭立勋有着光鲜亮丽的履历,他曾荣获Oracle ACE Director(for MySQL) 的极高荣誉(Oracle ACE是Oracle授予Oracle公司之外的技术人员的荣誉称号,目前MySQL领域的ACED全球仅有5人)。社区贡献方面也极具影响力,他是为数不多的 MySQL 源码贡献者,并积极参与了 ACMUG(MySQL 中国用户组)的发起和组建,担任该组织的副主席及杭州地区的组织者。同时作为 MariaDB 基金会第一位亚太成员,他是国内唯一的MariaDB提交组成员,向官方提交了 Multi-Source Replication,Thread Memory Usage Monitor 等功能补丁,并积极推进MySQL/MariaDB中国的普及。 谈及MariaDB,彭立勋还分享了自己与MySQL之父、MariaDB 公司创始人兼 CTO Michael Widenius(又名Monty)的一段不解之缘。有一天他收到一封标题为<Can we use your MySQL patches in MariaDB>的邮件,发件人竟然是MySQL之父Monty。Monty在网上看到了他开源出来的一些补丁,希望他能够授权自己合并到主干。Monty称“这些Patch的想法quite impressed(印象深刻),其中几个补丁的实现思路how talented(很有才华)”。这对一个刚毕业工作两年的新人来说,非常受鼓舞,也坚定了彭立勋一直在MySQL领域继续深入工作下去的决心。 选择华为,与巨人同行共创新价值 加入华为前,彭立勋曾在大型互联网企业和创业公司从事了10+年的数据库工作。他认为,数据库是一个投资巨大且周期很长的技术,必须要坚持长期的投入才能收获成果。华为是一家非常愿意在技术研发上进行投资的公司,拥有强大的研发基因和服务客户的基因。一方面,华为非常重视技术的先进性和软件质量;另一方面,华为对客户的声音也非常重视,对待故障的态度非常严苛。 彭立勋认为,如今数据库行业的发展,站在全球角度来看有两个趋势,一个是开源数据库的占比越来越高,商业数据库占比越来越低;另一个趋势就是数据库部署在云上的比例越来越高,而这其中,云原生数据库的占比快速增加。而站在国内市场角度来看,除了上面两个趋势之外,国产化数据库的呼声和发展得到了前所未有的提升,大量的国产数据库和国产数据库公司如雨后春笋般出现。 但我们必须面对一个现实情况,就是中国数据库行业起步较晚,行业上已经形成了事实上的行业标准,大量的应用系统都是与成熟商业数据库绑定的,开源数据库也已经被MySQL、PG这样的成熟生态覆盖,新的生态想要成熟需要付出巨大的努力,开放是唯一可能成功的道路。 这一点和华为云数据库坚持的生态开放理念不谋而合,因此,他认为华为有能把数据库做好的信心,从而选择了华为。 执着技术不停步,以云原生促进产业智能升级 彭立勋介绍道,华为云数据库坚持走开放生态的道路,目前已支持华为自有生态openGauss和MySQL、MongoDB、Redis、Cassandra、InfluxDB等主流开源数据库生态。 在创新上,华为云数据库实现了一套架构、多种产品的GaussDB架构,SQL Layer提供不同的生态兼容(比如MySQL、MongoDB等),Index Layer提供不同的数据组织方式(比如B-Tree、文档、KV等),Storage Layer使用统一的跨AZ分布式一致性存储DFV。这样华为可以在每一层单独进行演进,一方面可以兼容各种开源生态,另一方面也可以去发展华为自有生态,而底层存储技术可以单独演进,不断提升和数据库的结合能力。 除了技术创新,华为云数据库还积极拥抱云原生,云原生分布式数据库GaussDB系列的设计目标是为了充分利用云基础设施内在的能力,从简单的部署在云上使用云资源的ON CLOUD,到充分跟云基础设施结合长在云上的IN CLOUD。与云原生能力结合的GaussDB系列数据库,具备了跨AZ部署的一致性能力,以及存算分离、极致弹性,多平台软硬协同,数据存储可靠,智能运维等能力。 彭立勋认为,想让更多企业走上云原生转型之路,云厂商需要提供更高效稳定、安全性高的方案,比如客户最为关心的数据库的可用性和弹性问题,以及安全可靠问题,确保用户的数据在云上是安全的,不会发生任何未授权访问事件。此外,降本增效是所有企业都会考虑的问题,云厂商要通过技术手段,在不影响用户体验的情况下帮助用户降低使用成本。 彭立勋最后提到,技术无止境,云数据库未来的路还很长,开放生态、云原生、智能运维将是未来的发展方向。自己会继续脚踏实地,持续深耕技术,用自己的专注和思考给数据库发展注入一滴新鲜血液,为企业智能升级贡献自己的一份力量。  Ps:第三届华为云GaussDB数据库挑战赛火热进行中,还没报名的小伙伴们赶快抓紧时间前去华为云官网大赛活动页报名,机不可失,大家冲鸭! 报名链接:https://competition.huaweicloud.com/information/1000041405/introduction
  • [热门活动] #618年中钜惠#云数据库专场来啦!
    #华为云# #618年中钜惠#云数据库专场来啦!MySQL 19.9元限时抢购火热进行中!活动期间多款产品、海量规格低至3折,覆盖多种业务场景需求,助力用户轻松上云。关注+转发@华为云,6月14日抽5位小伙伴各送华为云旅行本套装1份。更多活动信息戳→https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [技术干货] 【云图说】 第209期 初识云数据库GaussDB(for Cassandra)
    云数据库GaussDB(for Cassandra)介绍页入口,详情请点击链接云数据库GaussDB(for Cassandra)成长地图入口,详情请点击链接小云妹又为大家带来的新知识,今天要着重介绍的是我们的——云数据库GaussDB(for Cassandra)话不多说,直接上图:
  • [交流分享] 云数据库rds for mysql三种链接方式
    方式一:通过数据管理服务(Data Admin Service,简称DAS)DAS连接MySQL实例1、点击mysql实例后的登录按钮2、输入mysql的root用户和密码3、DAS登录的界面如下: 方式二、在ECS上安装客户端通过内网连接MySQL实例1、购买弹性云服务器(注意云主机的VPC和安全组与RDS实例保持一致,如果不一致需要修改各自的安全组规则)2、在弹性云服务器上安装mysql数据库的客户端yum install mysql  -y3、找到mysql实例的内网地址4、在ECS上通过内网地址登录mysql实例说明:ECS与RDS实例在相同安全组时,默认ECS与RDS实例互通,无需设置安全组规则,可以在ECS上ping RDS内网地址进行验证;ECS与RDS实例在不同安全组时,需要为RDS和ECS分别设置安全组规则。方式三、通过公网(绑定弹性ip)连接 MySQL实例购买弹性公网ip返回数据库实例详情页面,在左侧导航栏,单击“连接管理”->“公网连接”->“连接信息”模块中“弹性公网IP”处单击“绑定”->“确定”。修改VPC的安全放通数据库3306端口返回控制台,在服务列表中,选择“网络 -> 虚拟私有云 VPC ->访问控制 -> 安全组”,点击以用户名命名的安全组名称,进入安全组添加“入方向规则”->“添加规则”添加端口号为3306的入方向规则(或选择一键放通,实际业务场景不推荐)。验证通过弹性公网ip是否能登录:
  • [行业资讯] 从自建到云数据库,你缺的是…
     随着企业业务的蓬勃发展和业务数据呈指数级增长,传统数据库在支撑海量数据和读写方面显得力不从心,因此,越来越多客户将目光投向了云数据库。 云数据库天然具备稳定可靠、弹性伸缩、免运维等优势,但在企业上云过程中,不少客户还是会担心出现各种问题,如应用改造工作量大、业务中断、数据丢失,安全无保障等等。而且迁移过程复杂,风险高,一不小心就踩雷,成为“前车之鉴”。 别担心!华为云数据库提供数据库结构、应用、数据一站式迁移服务,助力企业核心数据安全上云,让您迁移安心、管理省心! 数据库迁移上云场景“人人都会“的迁移和同步 长久以来,数据库迁移一直被视为复杂、高门槛的操作,其实不然。用对工具,迁移也可以像吃饭一样简单,华为云数据复制服务DRS就是一款让您轻松掌握迁移技术的工具。 华为云DRS是一款易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。它支持华为云数据库与云下数据库、它云数据库、云内跨区的数据迁移,降低了数据库之间数据流通的复杂性,减少了数据传输的成本。而且它通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效地将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云。 有别于传统场景中需要考虑专业技术、人力成本等因素,华为云DRS操作便捷,容易上手,零基础的新人也可以分钟级完成搭建迁移任务。俗称“小白都会“,大大降低了数据库迁移难度。 在众惠财产相互保险社智能化升级实践中,云技术发挥至关重要的作用。借助华为云DRS出色的迁移能力,基于华为云提供的弹性负载均衡、云数据库、专属网络等云服务,成功实现全业务系统云上应用级双活数据中心建设。在这个过程,华为云DRS功不可没。众惠相互在它的加持下,自主完成一系列非生产环境系统的全量数据迁移,整个过程业务无须停机,最大化减轻了对业务发展的影响,节省了大量的迁移和人员成本。云上灾备中心场景数据放在云上也睡得着 当客户顺利地将数据库迁移上云,如何让数据在云上安全又可靠,灾备便成为客户在云上的必修课。而在“云上灾备”这个课题上,华为云DRS很早就交出了一张令人满意的答卷。 华为云DRS推出异地多活灾备(即“两地四中心”),它支持搭建主备高可用架构,当主实例所在区域突发自然灾害等状况,主备节点均无法连接时,可将异地灾备实例切换为主实例,即可快速恢复应用的业务访问,而且可以实现主实例和跨区域的灾备实例之间的实时同步。 以锦江之星酒店为例,华为云根据其具体需求量身打造解决方案,力求实现在多种业务场景中数据库规格与服务器配置的匹配,做到了兼顾业务场景的需求之余,还提供异地双活部署数据库的灾备方案。有了这样的设计,当主数据中心发生意外时,备用的数据中心便可解燃眉之急,在不影响业务的情况下给技术人员留出足够的时间去修复主数据中心,实时为企业数据安全保驾护航! 数据库买8送4,企业上云好时节  如今企业数字化转型已加快,谁能当机立断,将核心业务迁移至高效、安全、稳定的公有云平台上,谁就可以在未来竞争中获得更多主动权。为了更好助力各行各业高效无忧上云,华为云数据库团队精心策划了一场搬迁上云活动,用户可享有免费体验DRS迁移服务7天,购买数据库8个月送4个月等多种权益。更多优惠详情请移步华为云-数据库搬迁上云专场。https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [技术干货] 华为云数据库GaussDB(for Cassandra)揭秘第二期:内存异常增长的排查经历
    背景介绍华为云数据库GaussDB(for Cassandra) 是一款基于计算存储分离架构,兼容Cassandra生态的云原生NoSQL数据库;它依靠共享存储池实现了强一致,保证数据的安全可靠。核心特点是:存算分离、低成本、高性能。问题描述GaussDB(for Cassandra)自研架构下遇到一些挑战性问题,比如cpu过高,内存泄漏,内存异常增长,时延高等问题,这些也都是开发过程中遇到的典型问题。分析内存异常增长是一个比较大的挑战,内存的异常增长对于程序来说是一个致命的问题,因为其可能触发OOM,进程异常宕机,业务中断等结果,所以对内存进行合理的规划使用及控制就显得尤为重要。通过调整cache容量,bloom过滤器大小,以及memtable大小等等,实现性能提升,读写时延改善等效果。在线下测试过程中发现内核在长时间运行后,内存只增不减,出现异常增长的情况,怀疑可能存在内存泄漏。分析&验证首先根据内存使用,将内存分为堆内和堆外两个部分,分别进行该两块内存的分析。确定有问题的内存是堆外内存,进一步对堆外内存分析。引入更高效的内存管理工具tcmalloc,解决内存异常增长问题。下面为具体分析验证过程。确定内存异常区域使用jdk的jmap命令和Cassandra的监控(配置jvm.memory.*监控项)等方法,每隔1min采集jvm的堆内内存及进程整体内存。启动测试用例,直到内核的整体内存达到上限。分析采集到的堆内内存和进程内存变化曲线,发现其堆内内存仍保持相对稳定,未出现一直持续上涨,但期间内核的整体内存仍然在持续上涨,两者的增长曲线不符。即问题应该发生在堆外内存。堆外内存分析验证· glibc内存管理使用pmap命令打印进程的内存地址空间分布,发现有大量的64MB的内存块和许多内存碎片,该现象与glibc的内存分配方式有关。堆外内存的使用和进程整体的内存增长趋势相近,初步怀疑该问题是由堆外内存导致。加之glibc归还内存的条件苛刻,即内存不易及时释放,内存碎片多,猜测问题和gblic有关系。当内存碎片过多,空闲内存浪费严重,最终进程内存的最大使用量会出现超过预期计划最大值的可能,甚至出现OOM。· tcmalloc内存管理引入tcmalloc内存管理器,代替glibc的ptmalloc内存管理方式。减少过多的内存碎片,提高内存使用效率,本次分析验证采用gperftools-2.7源码进行tcmalloc的编译。运行相同的测试用例,发现内存仍在持续上涨,但是上涨幅度较之前降低,通过pmap打印出该内存地址分布情况,发现之前的小内存块和内存碎片显著减小,说明该工具有一定优化效果,印证了前面提到内存碎片过多的猜测。但是内存异常增长的问题仍然存在,有点像是tcmalloc的回收不及时或者不回收导致。实际上tcmalloc的内存回收是比较 "reluctant" 的,主要是为了当再次需要内存申请时可以直接使用,减少系统调用次数,提高性能。基于此原因,下来进行手动调用其释放内存接口releasefreememory。发现效果不明显,原因暂时未知(可能确实存在没待释放的空闲内存)。· 手动触发tcmalloc的releasefreememory接口为验证该问题,通过设置cache容量的方式进行。先设置cache的容量为6GB,然后将读请求压起来,使cache的6GB容量填满修改cache的容量为2GB,为快速是内存释放,手动调用tcmalloc的releasefreememory接口,发现没有效果,推测采用tcmalloc之后,内存仍然一直上涨不下跌的原因可能与该接口的有关。在releasefreememory接口内部的多个地方记录日志,然后启动进程再次测试,发现一处报错是在进行系统调用madvise时有出现失败。代码位置:报错日志信息:通过该处的调用失败,分析代码。发现tcmalloc的内存释放逻辑是“round-robin”,即中间有一个span释放失败,则后续待释放的span被终止,releasefreememory逻辑调用结束。这个就和前面的现象吻合,执行完releasefreememory接口后基本没有效果,发现每次都是在释放了几十MB时,因为该接口的调用失败导致释放逻辑终止。再次分析该系统调用madvise失败原因。通过给内核的该方法打patch,发现其失败原因是因为传入的地址块对应的内存状态是LOCKED状态。导致系统调用失败,报错为非法参数。内存为LOCKED状态,和该状态相关的有代码调用mlock系统方法、系统的ulimit配置。分析相关代码未发现异常点。查询系统ulimit配置,发现max locked memory 为unlimited。修改其配置为16MB,重启Cassandra进程,再次测试,发现内存释放效果显著。继续运行测试,发现内存持续上涨的情况消失。在业务持续存在的情况下,内存会上涨到最高,不再上涨,保持平稳,符合内存计划使用量。业务压力减少甚至停止后,内存出现缓慢下降趋势。解决&总结引入tcmalloc工具,优化内存管理。比较优秀的内存管理器有Google的tcmalloc和Facebook的jemalloc等修改系统的max locked memory参数配置。合理分配进程需要使用内存的最大值,并预留一定容量,对于不符合预期增长的内存需要进一步分析。内存相关问题和程序相关性较强。系统的关键配置需谨慎,要评估其影响。同时排查了类似的所有配置。增加releasefreememory的命令,后端进行调用,优化tcmalloc hold内存不释放问题。不过releasefreememory命令的执行会锁整个pageHeap,可能导致内存分配请求被hang,所以需要小心执行。后端增加可动态配置tcmalloc_release_rate的参数,来调整tcmalloc将内存交还给操作系统的频率。该值的合理范围是[0-10],0表示永远不交还,值越大,表示交还的频率越高,默认值是1。 结语本文通过分析开发过程中遇到的内存增长问题,使用更优秀的内存管理工具,以及更细粒度的内存监控,更直观的监控数据库运行期间的内存状态,确保数据库平稳高性能运行。 本文作者:华为云GaussDB(for Cassandra)团队产品首页:https://www.huaweicloud.com/product/gaussdbforcassandra.html欢迎加入我们!华为云GaussDB(for Cassandra)团队(深圳、西安、杭州)zhaojuan.zhao@huawei.com
总条数:436 到第
上滑加载中