• [产品体验官] 【中级体验任务】华为云数据库与应用迁移UGO使用体验活动
    体验形式:       本次体验采用有奖征集体验评测报告+群内交流的反馈的形式。我们将在体验官群内(点击链接申请成为体验官)筛选体验官若干位,然后按照UGO体验官任务卡(详见附件文档一)的要求操作和体验产品,最后输出体验报告(完成PPT任务卡填写即可),并按照华为云账号名+微信昵称+体验报告附件的格式回复至本帖。我们会从中筛选出高质量体验报告,给予礼品奖励和积分奖励。数据库和应用迁移 UGO服务简介:数据库和应用迁移 UGO(Database and Application Migration UGO,以下简称为UGO)是专注于异构数据库结构迁移的专业服务。可将数据库中的DDL一键自动将语法转换为华为云GaussDB/RDS的SQL语法,通过预迁移评估、结构迁移两大核心功能和自动化语法转换,提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。在异构数据库迁移场景中,UGO实现结构迁移和语法转化,数据库复制服务DRS实现异构数据库数据在线搬迁,可以形成完整的平滑异构数据库端到端搬迁方案,实现主流商用数据库到华为云数据库的自动化迁移,助力用户轻松实现一键上云、一键切换数据库的目的。产品链接:https://console.huaweicloud.com/ugo/?region=cn-south-1#/console/dashboard活动流程:1.如您已经成为产品体验官,小助手会在群内发布招募公告,直接报名即可。2.如您还未申请成为体验官,请点击链接先申请成为体验官,再参与活动哦~申请链接:https://developer.huaweicloud.com/activity/experience-officer.html中奖率超高哟~~☆奖品设置如下☆参与奖:若干名活动要求:按照要求完成任务卡奖品:文件收纳包+3体验官积分    优秀奖:若干名活动要求:被专家评为优秀报告奖品:京造1w毫安充电宝1个+5体验官积分           体验评测报告交稿时间:- 招募期:2021.8.24-2021.9.5- 测试期:2021.9.6-2021.9.19
  • [技术干货] 【大厂内参】第2期:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库
    【摘要】 在这里,读懂华为云数据库。文章描述一文梳理华为云数据库产品,理清RDS、DDS和GaussDB了解开源数据库上云和华为云自研数据库,读懂华为云数据库生态。初识华为云关系型数据库RDS支持MySQL、PostgreSQL、SQLServer等关系型数据库引擎。华为云DDS—云上高性价比文档数据库服务DDS兼容MongoDB协议,支持分片集群、副本集和单节点三种部署架构。超便捷的华为云数据复制服务DRS是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。万万没想到,云数据库MySQL原来是这样的!!!图文并茂了解云数据库MySQL的特点和应用场景。太给力了!认识云数据库PostgreSQL只需要这三步PostgreSQL是开源关系型数据库,兼容Oracle的语法,有丰富的第三方插件。这才是云数据库 SQL Server的正确打开方式SQL Server 是广受欢迎的商用关系型数据库,能集成各类微软常用管理开发工具。华为云数据管理服务DAS来啦!帮您轻松解决数据管理各种难题面对数量庞大且种类繁多的难题,DAS提供数据库开发、运维、智能诊断等服务。积跬步、行千里,华为云数据库前景几何?经过十余载打磨,华为数据库业务已在产品、组织、生态上整合到位。文章描述从业务和团队出发,数据库选型要“对症下药”从自身业务架构、业务数据量、数据类型、团队成员的业务能力等多角度选择数据库。没有宫廷内 斗,数据库界的延禧攻略全方位解读MySQL与MongoDB的区别:没有谁替代谁,只有哪个场景更适合谁。关系型or非关系型难以抉择,云上数据库必有一战云数据库的高性能、高扩展、高可用也让建立在数据之上的业务系统更加高效。自己挑水喝还是自来水供水?浅谈云数据优势自建数据库和云数据库的比较,就好像是自己挑水喝和自来水供水的区别。您的业务适合哪种数据库,真的知道吗?面对市场上琳琅满目的数据库引擎,选合适的数据库能节省成本、提高业务能力。浅析电商、社区、游戏行业常用 MySQL 架构MySQL架构一定要结合业务来分析、设计、优化。遇到数据并发瓶颈,如何在SQL、NewSQL、NoSQL间取舍SQL数据库在海量数据的存储及并发读写上遇到瓶颈,NoSQL和NewSQL数据库扶摇直上。文章描述开源数据库这么香,为什么我们还要下功夫自研?对于企业来讲,只有选择开放的生态,才能让自己的业务具备更好的连续性。解读华为云原生数据库设计原则,打破传统数据库上云瓶颈云服务厂商自研云数据库产品势在必行。那么,一个优秀的自研数据库产品应该要具备哪些特性呢?从“华为GaussDB”到“华为云GaussDB”,华为如何加持云基础技术实力? 华为在数据库以及整个计算产业的打法:不谋全局者,不足谋一域。技术解读丨GaussDB(for MySQL)存储架构设计的秘密是什么?深耕18年数据存储,GaussDB(for MySQL)如何实现算子下推,软硬协同性能调优,跨AZ数据0丢失。苦开源MySQL瓶颈久矣,不妨试试GaussDB(for MySQL)分布式版解读GaussDB(for MySQL)分布式版本的特性。华为云推出全自研数据库,GaussDB(openGauss)能否撑起一片天?华为首个全自研的开源数据库会给整个生态带来什么改变呢?一文读懂GaussDB(for Mongo)的计算存储分离架构通过计算存储分离架构,完美解决开源版本水平扩展的速度瓶颈及性能恶化问题。详解GaussDB bufferpool缓存策略,这次彻底懂了根据bufferpool的使用特点设计一个高效的缓存策略。领先原生PG 5倍性能,这次GaussDB(for PostgreSQL)真香了GaussDB(for PostgreSQL)遵循解耦、近数据计算下推、充分利用云存储能力、发挥SSD性能等原则。直击结构迁移和SQL转换痛点,华为云UGO要做愚公移山的事情数据库领域也有愚公移山:移走传统主流商业数据库。从GaussDB(for MySQL)看全自研数据库的正确打开方式深入剖析GaussDB(for MySQL)主备版和分布式版的关键技术和特性,相关行业应用案例。一文读懂GaussDB(openGauss) 的六大关键技术特性从分布式执行框架到GTM-Lite技术,揭秘GaussDB(openGauss) 关键技术。文章描述一个数据库管理员的自我救赎之路公司在筹备上云的事,数据库迁移用DRS就对了。86万张表迁移的优化历程 2000个库,86万张表,要在一天内要完成割接,如何完成这个不可能的挑战?华为云数据库SQL Server实践案例技术解析以金蝶K/3 WISE 为例,配合华为云SQL Server 实例快速迁移数据中心。性能诊断好难?华为云DAS服务全量SQL洞察为您支招如何安全审计SQL、快速定位性能异常、保护数据库安全?我的PG数据库备份优化之路通过DRS服务PG顺利迁移到华为云上,晚上再也不会收到数据盘空间不足的异常告警。本合集为《大厂内参》002期,欢迎大家持续关注。大厂内参根据开发者普遍关注的热门技术领域,汇编实践精华内容。从业务场景选型,应用案例分析,到前瞻趋势预测。以专题的形式,深度解读华为云核心技术,分享一线工程师的实战经验。【第一期】敏捷&Devops:80+篇实践干货分享,深度解读敏捷&DevOps如何革新软件开发【第二期】数据库:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库【第三期】云服务器:选型解读+案例分享:云服务器“软硬技术”全公开【第四期】人工智能:海量实战经验教你零门槛进场AI开发,无成本负担玩转AI应用【第五期】云原生:读懂云原生2.0,看它如何重塑业务开发架构【第六期】云安全:Get防范云安全的必杀技,学会构建云上完整安全体系【第七期】物联网:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT【第八期】数据仓库:8大场景系列玩转数仓运维,做个不秃头的DBA
  • [产品介绍] 国内首批先进级!华为云数据库应用迁移解决方案取得信通院最高级别成绩
    6月24日,经中国信息通信研究院(以下简称“信通院”)严格测试,华为云数据库应用迁移解决方案顺利通过“数据库应用迁移服务能力”评测,成为国内首批通过该项的商用数据库迁移方案。该项是国内首个针对数据库迁移能力的全面评估测试,包括6大能力域、16个能力项,共154个测试用例,评估结果分为基础级、增强级和先进级三个等级,填补了数据库领域在迁移服务能力标准方面的空白,切实为用户解决数据库产品替换难的根本顾虑。同时,也标志着国产数据库领军企业已经不再局限于仅关注产品本身的能力,还具备了为用户提供全方位、高标准的数据库迁移服务的能力,让用户不仅敢于选择,而且选的放心。华为在数据库迁移技术领域里一直有着深厚的技术积累,作为第一家参与的企业,华为云数据库应用迁移整体解决方案在本次评测中经历了迁移评估、业务改造、迁移执行、迁移验证、运维优化、安全能力6大方面的严苛考验,设计了完备的Oracle到GaussDB的迁移测试用例展示,成功取得了国内首批评测最高级别的成绩。华为云数据库应用迁移解决方案由华为云数据库和应用迁移UGO、华为云数据复制服务DRS两款产品组成。UGO专注于异构数据库结构迁移和应用SQL转换,实现商用数据库的一键迁移。DRS负责数据库毫秒级数据同步,支持同构异构数据库之间的数据传输/搬迁,降低数据库之间数据流通的复杂性,减少数据传输成本。该方案覆盖了数据库迁移、管理等环节,提供了一站式上云迁移解决方案,让用户真正做到迁移放心、管理省心!华为云数据库应用迁移解决方案架构图在信通院6大考验中,华为云UGO基于各种迁移成本为用户提供精准的评估结果;支持亿级别样本训练,当前综合语法转化率接近85%,并在持续提升中;支持预迁移评估和语法转换、对象校正等。充分满足信通院对迁移评估能力、业务改造能力、迁移执行能力等方面的要求。华为云DRS支持全量+增量迁移,能够最大限度将业务系统中断时间和业务影响最小化;严格控制使用者的操作权限,多方面保障数据库安全。充分满足信通院对迁移执行能力、迁移验证能力、安全能力等方面的要求。华为云GaussDB数据库已广泛应用于金融、政府、运营商、交通、物流、互联网等领域,服务于1000+客户,应用迁移解决方案成功帮助各行各业客户顺利高效的完成数据与应用迁移。此番通过信通院评测,进一步得到了市场和行业的广泛认可。华为云数据库将联合更多合作伙伴,持续为各行业提供极具竞争力的数据库迁移解决方案。
  • [公告] 华为云数据库开发者社群
    华为云数据库社群汇集各类活动的干货资讯,帮助你结识志同道合的人!扫码添加小助手回复【学习】进群回复【学习】通过审核后即可拉您进华为云数据库学习社群,在使用华为云数据库产品或参与活动中遇到任何问题,都可以联系小助手,我们会积极帮您处理!
  • [版主精选] QCon专题出品人、华为云数据库首席架构师彭立勋专访
     2021年5月29-31日,华为云数据库首席架构师彭立勋出席了2021年QCon全球软件开发大会。与以往不同的是,此次大会他多了一重身份——QCon全球软件开发大会“数据库与存储技术”专题出品人,与业界众多数据库领域大咖共同打造了一场精彩绝伦的技术分享盛会。华为云数据库首席架构师彭立勋现场分享  能够担任QCon“数据库与存储技术”专题的出品人,彭立勋究竟有何过人之处?他又是如何成为MySQL领域的大牛?带着这些疑问,我们对彭立勋进行了采访。 机缘巧合进入MySQL领域,深受MySQL之父鼓舞  通过采访我们得知,彭立勋并非一开始就对MySQL数据库感兴趣,他是在机缘巧合下接触MySQL,进而自学研究,从做DBA(数据库管理员)开始,然后做DA(数据库架构师),再到做内核研发、内核架构工作,经过刻苦钻研,最终成为MySQL领域大牛。 彭立勋有着光鲜亮丽的履历,他曾荣获Oracle ACE Director(for MySQL) 的极高荣誉(Oracle ACE是Oracle授予Oracle公司之外的技术人员的荣誉称号,目前MySQL领域的ACED全球仅有5人)。社区贡献方面也极具影响力,他是为数不多的 MySQL 源码贡献者,并积极参与了 ACMUG(MySQL 中国用户组)的发起和组建,担任该组织的副主席及杭州地区的组织者。同时作为 MariaDB 基金会第一位亚太成员,他是国内唯一的MariaDB提交组成员,向官方提交了 Multi-Source Replication,Thread Memory Usage Monitor 等功能补丁,并积极推进MySQL/MariaDB中国的普及。 谈及MariaDB,彭立勋还分享了自己与MySQL之父、MariaDB 公司创始人兼 CTO Michael Widenius(又名Monty)的一段不解之缘。有一天他收到一封标题为<Can we use your MySQL patches in MariaDB>的邮件,发件人竟然是MySQL之父Monty。Monty在网上看到了他开源出来的一些补丁,希望他能够授权自己合并到主干。Monty称“这些Patch的想法quite impressed(印象深刻),其中几个补丁的实现思路how talented(很有才华)”。这对一个刚毕业工作两年的新人来说,非常受鼓舞,也坚定了彭立勋一直在MySQL领域继续深入工作下去的决心。 选择华为,与巨人同行共创新价值 加入华为前,彭立勋曾在大型互联网企业和创业公司从事了10+年的数据库工作。他认为,数据库是一个投资巨大且周期很长的技术,必须要坚持长期的投入才能收获成果。华为是一家非常愿意在技术研发上进行投资的公司,拥有强大的研发基因和服务客户的基因。一方面,华为非常重视技术的先进性和软件质量;另一方面,华为对客户的声音也非常重视,对待故障的态度非常严苛。 彭立勋认为,如今数据库行业的发展,站在全球角度来看有两个趋势,一个是开源数据库的占比越来越高,商业数据库占比越来越低;另一个趋势就是数据库部署在云上的比例越来越高,而这其中,云原生数据库的占比快速增加。而站在国内市场角度来看,除了上面两个趋势之外,国产化数据库的呼声和发展得到了前所未有的提升,大量的国产数据库和国产数据库公司如雨后春笋般出现。 但我们必须面对一个现实情况,就是中国数据库行业起步较晚,行业上已经形成了事实上的行业标准,大量的应用系统都是与成熟商业数据库绑定的,开源数据库也已经被MySQL、PG这样的成熟生态覆盖,新的生态想要成熟需要付出巨大的努力,开放是唯一可能成功的道路。 这一点和华为云数据库坚持的生态开放理念不谋而合,因此,他认为华为有能把数据库做好的信心,从而选择了华为。 执着技术不停步,以云原生促进产业智能升级 彭立勋介绍道,华为云数据库坚持走开放生态的道路,目前已支持华为自有生态openGauss和MySQL、MongoDB、Redis、Cassandra、InfluxDB等主流开源数据库生态。 在创新上,华为云数据库实现了一套架构、多种产品的GaussDB架构,SQL Layer提供不同的生态兼容(比如MySQL、MongoDB等),Index Layer提供不同的数据组织方式(比如B-Tree、文档、KV等),Storage Layer使用统一的跨AZ分布式一致性存储DFV。这样华为可以在每一层单独进行演进,一方面可以兼容各种开源生态,另一方面也可以去发展华为自有生态,而底层存储技术可以单独演进,不断提升和数据库的结合能力。 除了技术创新,华为云数据库还积极拥抱云原生,云原生分布式数据库GaussDB系列的设计目标是为了充分利用云基础设施内在的能力,从简单的部署在云上使用云资源的ON CLOUD,到充分跟云基础设施结合长在云上的IN CLOUD。与云原生能力结合的GaussDB系列数据库,具备了跨AZ部署的一致性能力,以及存算分离、极致弹性,多平台软硬协同,数据存储可靠,智能运维等能力。 彭立勋认为,想让更多企业走上云原生转型之路,云厂商需要提供更高效稳定、安全性高的方案,比如客户最为关心的数据库的可用性和弹性问题,以及安全可靠问题,确保用户的数据在云上是安全的,不会发生任何未授权访问事件。此外,降本增效是所有企业都会考虑的问题,云厂商要通过技术手段,在不影响用户体验的情况下帮助用户降低使用成本。 彭立勋最后提到,技术无止境,云数据库未来的路还很长,开放生态、云原生、智能运维将是未来的发展方向。自己会继续脚踏实地,持续深耕技术,用自己的专注和思考给数据库发展注入一滴新鲜血液,为企业智能升级贡献自己的一份力量。  Ps:第三届华为云GaussDB数据库挑战赛火热进行中,还没报名的小伙伴们赶快抓紧时间前去华为云官网大赛活动页报名,机不可失,大家冲鸭! 报名链接:https://competition.huaweicloud.com/information/1000041405/introduction
  • [热门活动] #618年中钜惠#云数据库专场来啦!
    #华为云# #618年中钜惠#云数据库专场来啦!MySQL 19.9元限时抢购火热进行中!活动期间多款产品、海量规格低至3折,覆盖多种业务场景需求,助力用户轻松上云。关注+转发@华为云,6月14日抽5位小伙伴各送华为云旅行本套装1份。更多活动信息戳→https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [技术干货] 【云图说】 第209期 初识云数据库GaussDB(for Cassandra)
    云数据库GaussDB(for Cassandra)介绍页入口,详情请点击链接云数据库GaussDB(for Cassandra)成长地图入口,详情请点击链接小云妹又为大家带来的新知识,今天要着重介绍的是我们的——云数据库GaussDB(for Cassandra)话不多说,直接上图:
  • [交流分享] 云数据库rds for mysql三种链接方式
    方式一:通过数据管理服务(Data Admin Service,简称DAS)DAS连接MySQL实例1、点击mysql实例后的登录按钮2、输入mysql的root用户和密码3、DAS登录的界面如下: 方式二、在ECS上安装客户端通过内网连接MySQL实例1、购买弹性云服务器(注意云主机的VPC和安全组与RDS实例保持一致,如果不一致需要修改各自的安全组规则)2、在弹性云服务器上安装mysql数据库的客户端yum install mysql  -y3、找到mysql实例的内网地址4、在ECS上通过内网地址登录mysql实例说明:ECS与RDS实例在相同安全组时,默认ECS与RDS实例互通,无需设置安全组规则,可以在ECS上ping RDS内网地址进行验证;ECS与RDS实例在不同安全组时,需要为RDS和ECS分别设置安全组规则。方式三、通过公网(绑定弹性ip)连接 MySQL实例购买弹性公网ip返回数据库实例详情页面,在左侧导航栏,单击“连接管理”->“公网连接”->“连接信息”模块中“弹性公网IP”处单击“绑定”->“确定”。修改VPC的安全放通数据库3306端口返回控制台,在服务列表中,选择“网络 -> 虚拟私有云 VPC ->访问控制 -> 安全组”,点击以用户名命名的安全组名称,进入安全组添加“入方向规则”->“添加规则”添加端口号为3306的入方向规则(或选择一键放通,实际业务场景不推荐)。验证通过弹性公网ip是否能登录:
  • [行业资讯] 从自建到云数据库,你缺的是…
     随着企业业务的蓬勃发展和业务数据呈指数级增长,传统数据库在支撑海量数据和读写方面显得力不从心,因此,越来越多客户将目光投向了云数据库。 云数据库天然具备稳定可靠、弹性伸缩、免运维等优势,但在企业上云过程中,不少客户还是会担心出现各种问题,如应用改造工作量大、业务中断、数据丢失,安全无保障等等。而且迁移过程复杂,风险高,一不小心就踩雷,成为“前车之鉴”。 别担心!华为云数据库提供数据库结构、应用、数据一站式迁移服务,助力企业核心数据安全上云,让您迁移安心、管理省心! 数据库迁移上云场景“人人都会“的迁移和同步 长久以来,数据库迁移一直被视为复杂、高门槛的操作,其实不然。用对工具,迁移也可以像吃饭一样简单,华为云数据复制服务DRS就是一款让您轻松掌握迁移技术的工具。 华为云DRS是一款易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务。它支持华为云数据库与云下数据库、它云数据库、云内跨区的数据迁移,降低了数据库之间数据流通的复杂性,减少了数据传输的成本。而且它通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效地将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云。 有别于传统场景中需要考虑专业技术、人力成本等因素,华为云DRS操作便捷,容易上手,零基础的新人也可以分钟级完成搭建迁移任务。俗称“小白都会“,大大降低了数据库迁移难度。 在众惠财产相互保险社智能化升级实践中,云技术发挥至关重要的作用。借助华为云DRS出色的迁移能力,基于华为云提供的弹性负载均衡、云数据库、专属网络等云服务,成功实现全业务系统云上应用级双活数据中心建设。在这个过程,华为云DRS功不可没。众惠相互在它的加持下,自主完成一系列非生产环境系统的全量数据迁移,整个过程业务无须停机,最大化减轻了对业务发展的影响,节省了大量的迁移和人员成本。云上灾备中心场景数据放在云上也睡得着 当客户顺利地将数据库迁移上云,如何让数据在云上安全又可靠,灾备便成为客户在云上的必修课。而在“云上灾备”这个课题上,华为云DRS很早就交出了一张令人满意的答卷。 华为云DRS推出异地多活灾备(即“两地四中心”),它支持搭建主备高可用架构,当主实例所在区域突发自然灾害等状况,主备节点均无法连接时,可将异地灾备实例切换为主实例,即可快速恢复应用的业务访问,而且可以实现主实例和跨区域的灾备实例之间的实时同步。 以锦江之星酒店为例,华为云根据其具体需求量身打造解决方案,力求实现在多种业务场景中数据库规格与服务器配置的匹配,做到了兼顾业务场景的需求之余,还提供异地双活部署数据库的灾备方案。有了这样的设计,当主数据中心发生意外时,备用的数据中心便可解燃眉之急,在不影响业务的情况下给技术人员留出足够的时间去修复主数据中心,实时为企业数据安全保驾护航! 数据库买8送4,企业上云好时节  如今企业数字化转型已加快,谁能当机立断,将核心业务迁移至高效、安全、稳定的公有云平台上,谁就可以在未来竞争中获得更多主动权。为了更好助力各行各业高效无忧上云,华为云数据库团队精心策划了一场搬迁上云活动,用户可享有免费体验DRS迁移服务7天,购买数据库8个月送4个月等多种权益。更多优惠详情请移步华为云-数据库搬迁上云专场。https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [技术干货] 华为云数据库GaussDB(for Cassandra)揭秘第二期:内存异常增长的排查经历
    背景介绍华为云数据库GaussDB(for Cassandra) 是一款基于计算存储分离架构,兼容Cassandra生态的云原生NoSQL数据库;它依靠共享存储池实现了强一致,保证数据的安全可靠。核心特点是:存算分离、低成本、高性能。问题描述GaussDB(for Cassandra)自研架构下遇到一些挑战性问题,比如cpu过高,内存泄漏,内存异常增长,时延高等问题,这些也都是开发过程中遇到的典型问题。分析内存异常增长是一个比较大的挑战,内存的异常增长对于程序来说是一个致命的问题,因为其可能触发OOM,进程异常宕机,业务中断等结果,所以对内存进行合理的规划使用及控制就显得尤为重要。通过调整cache容量,bloom过滤器大小,以及memtable大小等等,实现性能提升,读写时延改善等效果。在线下测试过程中发现内核在长时间运行后,内存只增不减,出现异常增长的情况,怀疑可能存在内存泄漏。分析&验证首先根据内存使用,将内存分为堆内和堆外两个部分,分别进行该两块内存的分析。确定有问题的内存是堆外内存,进一步对堆外内存分析。引入更高效的内存管理工具tcmalloc,解决内存异常增长问题。下面为具体分析验证过程。确定内存异常区域使用jdk的jmap命令和Cassandra的监控(配置jvm.memory.*监控项)等方法,每隔1min采集jvm的堆内内存及进程整体内存。启动测试用例,直到内核的整体内存达到上限。分析采集到的堆内内存和进程内存变化曲线,发现其堆内内存仍保持相对稳定,未出现一直持续上涨,但期间内核的整体内存仍然在持续上涨,两者的增长曲线不符。即问题应该发生在堆外内存。堆外内存分析验证· glibc内存管理使用pmap命令打印进程的内存地址空间分布,发现有大量的64MB的内存块和许多内存碎片,该现象与glibc的内存分配方式有关。堆外内存的使用和进程整体的内存增长趋势相近,初步怀疑该问题是由堆外内存导致。加之glibc归还内存的条件苛刻,即内存不易及时释放,内存碎片多,猜测问题和gblic有关系。当内存碎片过多,空闲内存浪费严重,最终进程内存的最大使用量会出现超过预期计划最大值的可能,甚至出现OOM。· tcmalloc内存管理引入tcmalloc内存管理器,代替glibc的ptmalloc内存管理方式。减少过多的内存碎片,提高内存使用效率,本次分析验证采用gperftools-2.7源码进行tcmalloc的编译。运行相同的测试用例,发现内存仍在持续上涨,但是上涨幅度较之前降低,通过pmap打印出该内存地址分布情况,发现之前的小内存块和内存碎片显著减小,说明该工具有一定优化效果,印证了前面提到内存碎片过多的猜测。但是内存异常增长的问题仍然存在,有点像是tcmalloc的回收不及时或者不回收导致。实际上tcmalloc的内存回收是比较 "reluctant" 的,主要是为了当再次需要内存申请时可以直接使用,减少系统调用次数,提高性能。基于此原因,下来进行手动调用其释放内存接口releasefreememory。发现效果不明显,原因暂时未知(可能确实存在没待释放的空闲内存)。· 手动触发tcmalloc的releasefreememory接口为验证该问题,通过设置cache容量的方式进行。先设置cache的容量为6GB,然后将读请求压起来,使cache的6GB容量填满修改cache的容量为2GB,为快速是内存释放,手动调用tcmalloc的releasefreememory接口,发现没有效果,推测采用tcmalloc之后,内存仍然一直上涨不下跌的原因可能与该接口的有关。在releasefreememory接口内部的多个地方记录日志,然后启动进程再次测试,发现一处报错是在进行系统调用madvise时有出现失败。代码位置:报错日志信息:通过该处的调用失败,分析代码。发现tcmalloc的内存释放逻辑是“round-robin”,即中间有一个span释放失败,则后续待释放的span被终止,releasefreememory逻辑调用结束。这个就和前面的现象吻合,执行完releasefreememory接口后基本没有效果,发现每次都是在释放了几十MB时,因为该接口的调用失败导致释放逻辑终止。再次分析该系统调用madvise失败原因。通过给内核的该方法打patch,发现其失败原因是因为传入的地址块对应的内存状态是LOCKED状态。导致系统调用失败,报错为非法参数。内存为LOCKED状态,和该状态相关的有代码调用mlock系统方法、系统的ulimit配置。分析相关代码未发现异常点。查询系统ulimit配置,发现max locked memory 为unlimited。修改其配置为16MB,重启Cassandra进程,再次测试,发现内存释放效果显著。继续运行测试,发现内存持续上涨的情况消失。在业务持续存在的情况下,内存会上涨到最高,不再上涨,保持平稳,符合内存计划使用量。业务压力减少甚至停止后,内存出现缓慢下降趋势。解决&总结引入tcmalloc工具,优化内存管理。比较优秀的内存管理器有Google的tcmalloc和Facebook的jemalloc等修改系统的max locked memory参数配置。合理分配进程需要使用内存的最大值,并预留一定容量,对于不符合预期增长的内存需要进一步分析。内存相关问题和程序相关性较强。系统的关键配置需谨慎,要评估其影响。同时排查了类似的所有配置。增加releasefreememory的命令,后端进行调用,优化tcmalloc hold内存不释放问题。不过releasefreememory命令的执行会锁整个pageHeap,可能导致内存分配请求被hang,所以需要小心执行。后端增加可动态配置tcmalloc_release_rate的参数,来调整tcmalloc将内存交还给操作系统的频率。该值的合理范围是[0-10],0表示永远不交还,值越大,表示交还的频率越高,默认值是1。 结语本文通过分析开发过程中遇到的内存增长问题,使用更优秀的内存管理工具,以及更细粒度的内存监控,更直观的监控数据库运行期间的内存状态,确保数据库平稳高性能运行。 本文作者:华为云GaussDB(for Cassandra)团队产品首页:https://www.huaweicloud.com/product/gaussdbforcassandra.html欢迎加入我们!华为云GaussDB(for Cassandra)团队(深圳、西安、杭州)zhaojuan.zhao@huawei.com
  • 五一出行高峰期,你的业务系统扛得住吗?
    伴随五一长假的临近,相信不少小伙伴已经拟定出行计划,翘首以待。对于不少行业来说,也是不容忽视的业务高峰期,毕竟过不好,就变成“劫“日了。例如五一车票开抢,短时间大量的流量访问,导致系统崩了。出门自驾游导航,定位不精准,数据反应慢,实时查询不到路线。假期酒店门店间每日数据汇总耗时数小时等等。 数据量骤增,访问量变大,传统数据库便招架不住了。云数据库便成为政企数字化转型与核心数据上云的选择。这个时候,华为云数据库就闪亮登场了!有别于传统数据库,华为云数据库具有高性能、高扩展、一致性、易操作等特性,为企业海量数据处理、智能存储、业务应用提供强有力的平台支撑。超高性能,轻松应对业务高峰流量高峰不用慌,华为云RDS通过内核线程优化,解决社区版因高并发资源消耗过大导致性能下降问题,确保业务在高并发场景下性能依旧稳稳当当;在业务流量突发情况下,华为云RDS支持自动负载均衡,几分钟就可以完成存储1TB的只读实例扩展,轻松应对流量高峰,同时支持在大量连接下,提供更快速的响应时间,客户以后再也不用担心系统突然崩溃、业务反应慢的问题了。安全可靠,数据放在云上也睡得着对于诸如金融交易等行业而言,系统需具备更严格的高可用和高安全特性,数据安全可靠是首要诉求。位置应用服务需要提供实时定位,不能接受业务中断、数据丢失等故障问题。而这些,正是华为云RDS的长处。在业务高负载情况下,华为云RDS并行高速复制下主备延时≈0,保证数据不丢失;用户可自定义备份策略,备份和恢复时间最长可达732天;而且支持跨AZ部署,故障发生时可以快速恢复,保障业务的持续运行。简单易用,性价比杠杠的对比自建数据库,华为云数据库在搭建上拥有无出其右的优势。它无需购买服务器、安装操作系统、安装数据库等一系列的操作,它依托于镜像容器的解决方案实现秒级搭建,分钟级实现投入使用,极大地减少了开发人员在数据库上搭建的时间。此外,它完全托管软硬件部署、补丁升级、自动备份、监控告警、弹性扩容、故障转移等功能,不需要额外的安装和维护工作,减轻DBA运维压力的同时,又可以大大的节省企业成本。暖春心意价,助您无忧上云人间四月天,正是上云好时节!为了回馈新老客户的支持和支撑用户顺利搬迁上云,华为云数据库团队精心为用户提供了一系列搬迁上云权益活动:不限新老用户购买云数据库MySQL、PostgreSQL等产品8个月时长,赠送4个月,免费体验迁移工具数据复制服务等等,详情请移步华为云-数据库搬迁上云专场:https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [热门活动] HDC.Cloud2021|4月24日-26日华为云数据库分论坛直播概览
    HDC.Cloud2021|华为云数据库分论坛4月24日高校专场直播主题直播地址华为云GaussDB数据库高校训练营-北京大学深圳研究生院&华为云GaussDB数据库联合出品https://live.huawei.com/hdc2021/meeting/cn/8105.html“学好数据库,玩转IT都不怕”——面试官心中的最佳数据库人才模型https://live.huawei.com/hdc2021/meeting/cn/8254.html智能基座慕课大讲堂https://live.huawei.com/hdc2021/meeting/cn/8023.html华为云GaussDB数据库高校训练营-北京大学深圳研究生院&华为云GaussDB数据库联合出品HDC.Cloud2021|华为云数据库分论坛4月25日峰会专场直播主题中文直播间英文直播间鹏城论剑,共话数据库前沿技术和趋势https://live.huawei.com/hdc2021/meeting/cn/7998.htmlhttps://live.huawei.com/hdc2021/meeting/en/8048.htmlHDC.Cloud2021|华为云数据库分论坛4月26日数据库频道直播主题直播地址从单机百万tpmc到分布式千万tpmc,GaussDB性能提升的3个关键技术剖析https://live.huawei.com/hdc2021/meeting/cn/8192.html金蝶云苍穹如何基于存算分离的数据库满足百万用户的并发访问?https://live.huawei.com/hdc2021/meeting/cn/8198.html基于GaussDB内外协同的数字化办公平台交付分享https://live.huawei.com/hdc2021/meeting/cn/8197.html5步上云,华为云GaussDB无缝迁移上云解决方案https://live.huawei.com/hdc2021/meeting/cn/8203.html
  • [热门活动] 【HDC.Cloud2021华为开发者大会】华为云数据库有哪些看点?快来一探究竟吧~
    HDC.Cloud2021华为开发者大会即将开幕,作为数字化转型的关键数据底座,华为云数据库此次以开放与开源,驱动数据库技术创新为主旨,云集各界技术大咖,倾力分享高校开发者人才培养政策、前沿内核技术、技术架构带来的用户价值、最佳应用实践等,现场更有精彩互动,学习、体验、实践、奖品**,让您轻松畅游又学有所获,快来这里一探究竟吧!作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!点击链接,了解大会详细信息。https://developer.huaweicloud.com/HDC.Cloud2021.html
  • [热门活动] 【特惠专场】华为云数据库产品,新用户低至2折
    学生用户,3个月仅需99元;政企用户,487.8元起,或买8个月送4个月购买、回帖晒单,送64G 防水U盘、米格系列移动电源2500mA、手机懒人支架、书籍《华为数据之道》、书籍《openGauss数据库核心技术》、GaussDB字母笔......活动链接:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=121539
  • [热门活动] HDC大会福利来袭!华为云数据库《MySQL数据库迁移上云》微认证限时0元秒杀
    HDC大会福利来袭!华为云数据库《MySQL数据库迁移上云》微认证:4月24~25日,全场3折,下单就送价值22元的GaussDB字母笔7支/盒;4月26日,限时0元秒杀,仅此一天;活动期间,下单并考取微认证的用户,将证书上传到活动帖,即可得到64GU盘、GaussDB字母笔、华为数据之道、《openGauss数据库核心技术》任意礼品一个。活动链接:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=121539
总条数:504 到第 页
上滑加载中