• [全栈开发者] 【数据库全栈成长计划】邀“好友”:+20积分!
    数据库全栈成长计划—【邀“好友”】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【邀“好友”】打卡,获双重奖励:奖励1:参与奖励报名后,完成【邀“好友”】打卡成功,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:终极奖励获得对应的20积分,根据积分值兑换奖品如何获取【邀“好友”】:20积分?-邀请活动时间:2021/11/15-12/28-活动奖励:方式一:邀请”好友”,送积分,系统自动统计报名现已开启>>>>>>>点击此处了解详情一起学习,共享进步!积分规则:邀请人数≥30个,给10个积分;邀请人数每增加10个,给邀请者加5个积分,以此类推…...操作步骤:Step 1:邀请人成功报名【数据库全栈成长计划】活动后(点此去报名)点击图示中的“分享有礼”按钮Step 2:通过生成的专属链接/邀请二维码,即可邀请好友报名活动Step 3:好友点击邀请链接,报名即可。方式二:邀请好友后,好友完成“沙箱实验 / 微认证 / 职业认证 / openGauss应用构建”中任意一个任务,让好友截图回复到指定帖子中回复方式:华为云账号+邀请者华为云账号+完成截图积分奖励规则:完成任务的好友人数每增加1个,邀请者得5个积分,以此类推……说明:若邀请人数符合条件,则按照完成有效邀请时间进行排序发奖-活动规则:>参与邀请要求:参与邀请用户与被邀请用户必须完成华为云官方平台实名认证和华为云专业进测评指定版块;>有效邀请者要求:1. 被邀请用户需完成华为云专业技能测评指定版块2.完成后将成绩截图按照要求回复到指定活动贴:点击回复活动帖-注意事项:1.活动从2021/11/15 - 2021/12/28 23:59课程结束止,此外时间内邀请人数不算有效邀请2.专属链接/二维码禁止在本期课程学习群内露出,如发现群内露出将取消活动邀请资格3.参与活动需获取专属链接,专属链接需大家按照上述活动步骤自行获取4.本次邀请活动为大数据全栈成长计划全阶段期间活动~全阶段结束后会在20个工作日内结算并将奖品寄出,寄出时间根据实际情况动态调整,如有延期敬请见谅;5.活动结束后将统计最终排名及获奖结果,如核查发现存在邀请账号为机器注册账号或无效账号将取消此部分邀请数据。如出现邀请人数并列的情况,按最先达成人数的时间优先排名。
  • 【数据库全栈成长计划】openGauss应用构建:+60积分!
    数据库全栈成长计划—【openGauss应用构建】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【openGauss应用构建】打卡,获双重奖励:奖励1:参与奖励报名后,完成【openGauss应用构建】打卡的用户,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:终极奖励获得对应的60积分,根据积分值兑换奖品如何获取【openGauss应用构建】:60积分?题目:学生选课系统学生选课系统是大学校园中常用的一个系统,该系统能帮助学生完成心仪课程自主选择。要求:结合openGauss的学习,完成学生选课系统核心表的设计,不局限于上述要求,学员也可以根据自己的实际情况自由发挥。        1. 重点体现数据库设计的思路,例如:需求分析,概念模型,逻辑模型,物理模型;        2. 着手分布式改造,对系统在数据库设计层面提出一些优化思路提示:openGauss应用构建题目不会做的同学,参考12月2日晚上19:00《华为云数据库GaussDB从入门到实践》直播课,直播课上老师会进行openGauss应用构建的Demo演示。具体的内容可参考下方附件。IAM用户IAM用户是管理员在IAM中创建的用户,是云服务的使用人员,具有独立的身份凭证(密码和访问密钥),根据帐号授予的权限使用资源。本次《openGauss应用构建》所有使用openGauss代金券的用户,都已经授予了IAM子用户权限,直接登录IAM账户即可(IAM用户不进行独立的计费,由所属帐号统一付费)。IAM用户登录方法如下:step1:在华为云的登录页面,单击登录下方的“IAM用户”,在“IAM用户登录”页面,输入帐号名,IAM用户名/邮件地址和密码。租户名/原华为云帐号:hw12227922。IAM用户名/邮件地址:填写自己的华为云账号。IAM用户密码:sjkqz2021。step2:单击“登录”,登录华为云。开发指南:基于GaussDB的日常操作练习,请基于DAS连接数据库。基于GaussDB做程序开发,所需要的驱动,以及各种开发语言(Java, C, C++, Python)所对应的驱动包、接口、参数等信息,请见这里,学生可以根据要使用的编程语言来选择。cid:link_1打卡有效期限:2021/11/15 - 2021/12/28 23:59结束回复方式:在本帖下方回复即可(文档、直接回复等形式不限)积分规则:专家打分,最高60分在此期限内,所有按要求完成分享并回复楼层的用户,每人都会获得60积分(积分会累计更新在每周积分排行中)◎活动规则:1.请务必按照上述要求提交内容,以免影响积分增加;回帖已设置仅小助手可见,请大家按要求回复哦,不会外泄大家的隐私呢~2.学习任务提交后,小助手会在整个阶段学习周期内,按序完成审核,并增加活动积分;3.若积分值相同则以完成学习任务的时间先后排序,其中任务完成时间的判定优先级为:openGauss应用构建打卡 > 相关认证 > 沙箱实验 > 直播小作业 > 自测题 > 代金券 > 分享海报 > 邀请好友4.本次课程具体内容可点击链接:cid:link_0
  • [全栈开发者] 【数据库全栈成长计划】直播课小作业:+30积分
    数据库全栈成长计划—【直播课小作业】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【直播课小作业】打卡,获双重奖励:奖励1:参与奖励报名后,完成【直播课小作业】打卡的用户,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:终极奖励获得对应的30积分,根据积分值兑换奖品12月2日 19:00华为云数据库专家silence老师为大家带来的开篇直播-【华为云数据库GaussDB从入门到实践】,直播过程中将有3轮抽奖,奖品有公牛插座、手机支架、《数据库技术openGauss》书籍。直播内容简介:1.GaussDB的前世今生2.沙箱实验《openGauss数据库在金融领域的使用实践》的演示3.openGauss应用构建,专家进行Demo演示直播链接与回看传送>>>>>>>>>>>>>如何获取【直播课小作业】:30积分?直播小作业和题目要求已放在本帖附件处,大家可以下载并完成经专家评定通过后,即可获得对应30积分,积分会每周反馈在积分榜中直播小作业提交时间: 2021年12月02日-12月28日回复到本帖:华为云帐号+答案(文档上传/直接回复)举个栗子:grandmaster+华为云小助手01+答案◎活动规则:1.请务必按照上述要求提交内容,以免影响积分增加;回帖已设置仅小助手可见,请大家按要求回复哦,不会外泄大家的隐私呢~2.学习任务提交后,小助手会在整个阶段学习周期内,按序完成审核,并增加活动积分;3.若积分值相同则以完成学习任务的时间先后排序,其中任务完成时间的判定优先级为:openGauss应用构建打卡 > 相关认证 > 沙箱实验 > 直播小作业 > 自测题 > 代金券 > 分享海报 > 邀请好友4.本次课程具体内容可点击链接:cid:link_0
  • [全栈开发者] 【数据库全栈成长计划】微/职业认证:+40积分,还有U盘、手机支架、公牛插座哦!
    数据库全栈成长计划—【微认证/职业认证】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【微/职业认证】打卡,可获3重奖励:奖励1:参与奖励报名后,完成【微/职业认证】打卡的用户,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:每周奖励在每周完成沙箱实验/ 微认证/ 职业认证打卡的用户中随机抽取5位送出U盘、手机支架、公牛插座。(PS:打卡人数不足20人,不开奖哦!)奖励3:终极奖励考取 微认证/职业认证 获得对应的40积分,根据积分值兑换奖品如何获取【微/职业认证】:40积分?  01 微 认 证   本次活动提供(指定)以下3个微认证,1. 有效微认证积分奖励说明:1)每提交一个有效微认证可获得40分,微认证积分上限为120积分,多劳多得;2)在活动开始时间前(2021年11月15日)得到微认证证书不算入本次活动积分;2. 选择微认证1)华为云数据库服务实践(欲购从速:原价28元,双11大促:11.11元;12月1日后,5折优惠=14元)2)MySQL数据库迁移上云(原价68元,活动期间5折优惠=34元)3)openGauss数据库在金融领域的使用实践(活动期间38元)3.参与方式回复到本帖下方:完成认证时间+华为云账号+姓名+证书编号+证书名称 +证书截图(回复到本帖评论区即可)举个栗子:2021.11.15(认证时间)+hw12312312(华为云账号)+小明(姓名)+xxxxx(证书编号)+ MySQL数据库迁移上云(证书名称)获奖证书展示  02  职 业 认 证   本次活动提供(指定)以下2个职业认证:1. 有效微认证积分奖励说明:1)每提交一个有效微认证可获得40分,职业认证积分上限为80积分,多劳多得;2)在活动开始时间前(2021年11月15日)得到微认证证书不算入本次活动积分;2. 选择职业认证华为认证数据库工程师 HCIA-GaussDB华为认证数据库高级工程师  HCIP-GaussDB-OLTP3.参与方式回复到本帖下方: 完成认证时间+华为云账号+姓名+证书编号+证书名称 +证书截图(回复到本帖评论区即可)举个栗子:2021.11.15(认证时间)+hw12312312(华为云账号)+小明(姓名)+xxxxx(证书编号)+华为认证数据库工程师/华为认证数据库高级工程师◎活动规则:1.请务必按照上述要求提交内容,以免影响积分增加;回帖已设置仅小助手可见,请大家按要求回复哦,不会外泄大家的隐私呢~2.学习任务提交后,小助手会在整个阶段学习周期内,按序完成审核,并增加活动积分;3.若积分值相同则以完成学习任务的时间先后排序,其中任务完成时间的判定优先级为:openGauss应用构建打卡 > 相关认证 > 沙箱实验 > 直播小作业 > 自测题 > 代金券 > 分享海报 > 邀请好友4.本次课程具体内容可点击链接:https://developer.huaweicloud.com/activity/full-stack/2021-database-developer.html
  • [全栈开发者] 【数据库全栈成长计划】沙箱实验:+30积分!还有U盘、手机支架、公牛插座哦!
    数据库全栈成长计划—【沙箱实验】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【沙箱实验】打卡,可获3重奖励:奖励1:参与奖励报名后,完成【沙箱实验】打卡,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:每周奖励在每周完成沙箱实验/ 微认证/ 职业认证打卡的用户中随机抽取5位送出U盘、手机支架、公牛插座。(PS:打卡人数不足20人,不开奖哦!)奖励3:终极奖励获得对应的终极30积分,根据积分值兑换奖品如何获取【沙箱实验】:30积分?1.选择沙箱实验本次活动提供(指定)以下3个沙箱实验,大家可根据自己的兴趣进行选择: 2.参与回复回复方式:沙箱实验名称+华为云账号+实验进度100%的截图注意事项:有效沙箱实验积分奖励:1)每提交一个有效沙箱实验可获得30分,沙箱实验积分上限为30积分;2)在活动开始时间前得到沙箱实验证书不算入本次活动积分;活动规则:1.请务必按照上述要求提交内容,以免影响积分增加;回帖已设置仅小助手可见,请大家按要求回复哦,不会外泄大家的隐私呢~2.学习任务提交后,小助手会在整个阶段学习周期内,按序完成审核,并增加活动积分;3.每个华为云账号用户仅可获得一次积分奖励,多个微信号转发视为无效;4.本次课程具体内容可点击链接:https://developer.huaweicloud.com/activity/full-stack/2021-database-developer.html5.若积分值相同则以完成学习任务的时间先后排序,其中任务完成时间的判定优先级为:openGauss应用构建打卡 > 相关认证 > 沙箱实验 > 直播小作业 > 自测题 > 代金券 > 分享海报 > 邀请好友;
  • [全栈开发者] 【数据库全栈成长计划】分享海报:+20 积分!
    数据库全栈成长计划—【分享海报】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【分享海报】打卡,可获双重奖励:奖励1:参与奖励报名后,完成【分享海报】打卡的用户,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:终极奖励获得对应的20积分,根据积分值兑换奖品如何获取【分享海报】:20积分?获积分方式:在此期限内所有按要求完成分享并回复楼层的用户,每人都会获得20积分(积分会累计更新在每周积分排行中)打卡有效期限:2021/11/15 - 2021/12/28 23:59操作步骤:转发下方活动海报至朋友圈,+转发语:华为云数据库全栈成长计划,0基础—>专项进阶,专家带你玩,秒懂数据库,快来和我一起来参与吧!公开可见保持2小时以上,将转发内容的朋友圈截图回复至下方评论区!tips:一定要公开可见保持2小时哦~活动规则:1.请务必按照上述要求提交内容,以免影响积分增加;回帖已设置仅小助手可见,请大家按要求回复哦,不会外泄大家的隐私呢~2.学习任务提交后,小助手会在整个阶段学习周期内,按序完成审核,并增加活动积分;3.每个华为云账号用户仅可获得一次积分奖励,多个微信号转发视为无效;4.本次课程具体内容可点击链接:https://developer.huaweicloud.com/activity/full-stack/2021-database-developer.html5.若积分值相同则以完成学习任务的时间先后排序,其中任务完成时间的判定优先级为:openGauss应用构建打卡 > 相关认证 > 沙箱实验 > 直播小作业 > 自测题 > 代金券 > 分享海报 > 邀请好友;
  • [全栈开发者] 【数据库全栈成长计划】自测题:+30 积分!
    数据库全栈成长计划—【自测题】打卡你走的每一步都作数,让努力和成绩成正比做任务—得积分—赢奖品,请为心中的梦想冲刺吧!参与【自测题】打卡,可获双重奖励:奖励1:参与奖励报名后,完成【自测题】打卡的用户,即可获得200码豆(每个ID只有一次领取机会,参与其他活动/打卡帖不叠加)奖励2:终极奖励获得对应的30积分,根据积分值兑换奖品如何获取【自测题】: 30积分?注意事项:1)进入测试平台,请根据自身知识储备自行选择岗位,所选岗位只要有对应的“数据库技能测试”选项即可2)按要求完成测评后回帖,自测题80分以上算通过,可获得积分 30积分;3)自测题积分上限30积分,多测评不多给积分;4)参与某一等级考试未通过,需要2小时以后才能进行。在此期间可参与其他级别测试。具体步骤:1)点击链接进入测评平台:https://devcloud.huaweicloud.com/expert/assessment/skill2)完成“数据库技能测试”。可根据自身情况,自行选择岗位,只要岗位有对应的“数据库技能测试”选项即可。3) 然后根据自己的知识储备,选择任一等级,点击进入,完成测评,达到80分以上通过。4)通过测评后即可点亮徽章,之后请大家将“测评通过截图+点亮的徽章截图”,按要求回复到本帖评论区截图务必漏出右上角“自己华为云账号”,回复正确格式举例:grandmaster(华为云账号)+技能测评截图(2张,缺一不可)测评通过截图点亮的徽章截图◎活动规则:1.请务必按照上述要求提交内容,以免影响积分增加;回帖已设置仅小助手可见,请大家按要求回复哦,不会外泄大家的隐私呢~2.学习任务提交后,小助手会在整个阶段学习周期内,按序完成审核,并增加活动积分;3.若积分值相同则以完成学习任务的时间先后排序,其中任务完成时间的判定优先级为:openGauss应用构建打卡 > 相关认证 > 沙箱实验 > 直播小作业 > 自测题 > 代金券 > 分享海报 > 邀请好友4.本次课程具体内容可点击链接:https://developer.huaweicloud.com/activity/full-stack/2021-database-developer.html5.其他积分获取方式请查看活动社群公告;
  • 【数据库全栈成长计划】100%中奖!0基础->进阶,专家带你玩,秒懂数据库!
    中奖用户公示:本次活动总积分公示见本帖最下方留言区(楼层7),前70名中奖用户需要填写问卷信息进行奖品发放,请填写问卷请在3个工作日内填写问卷,1月7日中午12点停止收集问卷,未填写的中奖用户视为放弃!第70~100名是1000码豆,不需要填写问卷,近日会直接发放到中奖用户账号上。Gartner 曾预测,到 2023 年,75% 的数据库都会跑在云平台之上。云数据库行业的爆发也让整个数据库行业面临严峻的问题——数据库人才的匮乏。华为云官方特别推出【DevRun在线训练营】之【数据库全栈成长计划】课程免费学,考官方认证证书 和专家零距离交流,和技术者同平台Battle 加入社群参与活动,还有3重奖励哦!回复:“数据库全栈”,进群第1重奖励:【人人可领】报名后,完成任一打卡任务,即可获得200码豆(每个ID只有一次领取机会,不叠加)第2重奖励:【每周奖品】按时完成每周打卡任务,就能抽奖哦!第3重奖励:【总积分兑奖】做任务,换积分,兑奖品。HuaWei GT2智能手表、富士INSTAX 一次成像相mini7、华为手环4PRO等你来! 活动介绍活动时间:2021年11月15日-12月31日适合人群:高校师生、开发达人、跨行业及对数据库感兴趣的用户活动亮点:1.报名福利课程一键报名后,做任意一个任务打卡,获200码豆(码豆可在vmall商城兑换奖品哦)。2.免费资源免费学数据库课程 + 免费代金券,提升技能3.基础理论与动手实训结合基础理论+动手实操,全方位理解数据库精髓4.就业加分优质项目实践 + 官方证书,给简历锦上添花活动流程▶学前自测:测一测自己的数据库知识GET等级- 点击右方链接完成学前自测:点此完成学前自测▶报名活动:- 活动报名入口:   点此报名活动-全阶段课程一键报名: 点此报名/查看课程阶段课程表和学习任务安排 ▶数据库全栈成长计划课程表:▶数据库学习任务配置:点击图片放大查看详细打卡标准(课程开启后按要求回复到指定活动帖中)序号积分项对应阶段任务详情活动积分奖励附加奖励参与入口1openGauss代金券服务任务完成方式:活动期间,在指定帖子后回复如下内容回复格式:华为云账号+微信昵称+openGauss代金券服务30积分/每个有效反馈截图/点击回帖2自测题任务完成方式:活动期间,完成“自测题”,完成后截图回复到指定帖子中回复格式:华为云账号+截图(露出右上角华为云ID,且有效提交次数≥1)30积分/每个有效反馈截图/点击回帖3分享海报任务完成方式:本规定时间内,按要求将海报分享到朋友圈,后截图回复到指定帖子中回复格式:朋友圈公开保留2小时以上截图(1个ID只有1次机会)20积分/每个有效反馈截图/点击回帖4邀请“好友”方式一:邀请”好友”(系统自动统计,不用回复)积分规则:邀请人数≥30个,给10个积分;邀请人数每增加10个,给邀请者加5个积分,以此类推…10积分+/任务一:系统自动统计/点击回帖方式二:邀请好友后,好友完成“沙箱实验/微认证/职业认证/应用构建”中任意一个任务,让好友截图回复到指定帖子中回复方式:华为云账号+邀请者华为云账号+完成截图积分规则:完成任务的好友人数每增加1个,邀请者得5个积分,以此类推……10积分+/任务二:每个有效反馈截图5课程学习打卡任务完成方式:本阶段课程结束后,按要求完成,后截图回复到指定帖子中回复格式:华为云账号+学习完成截图(露出右上角华为云ID,且有效提交次数≥1)20积分/每阶段考核任务/点击回帖6沙箱实验任务完成方式:按要求完成对应的沙箱实验内容,后截图回复到指定帖子中回复方式:华为云账号+截图30积分/每个有效沙箱实验与微认证/职业认证一同每周抽取5位打卡送U盘/手机支架/公牛插排,随机发放点击回帖7微认证/职业认证任务完成方式:按要求完成对应的微认证内容,后截图回复到指定帖子中回复方式:华为云账号+截图40积分/ 每个有效微认证/职业认证与沙箱实验一同每周抽取抽取5位打卡送U盘/手机支架/公牛插排,随机发放点击回帖8直播课小作业任务完成方式:报名直播课程,根据直播中老师留的作业和相关要求,在规定时间内完成作业,后截图回复到指定帖子中回复格式:华为云账号+截图30积分/完成直播课后小作业经过审核通过即可获得积分(包含在原有学习任务里面的不额外加分)点击回帖12月3日开始9参与应用构建活动任务完成方式:完成GaussDB应用构建项目,后截图回复到指定帖子中;回复方式:华为云账号+文档积分规则:专家打分,最高60分60积分/完成应用构建经过后台审核通过确定是正确线索才可获得对应积分点击回帖12月3日开始颁发实体结业证书要求:完成以上1、2、3、5、6、7、8、9的打卡活动(4、邀请“好友”不强求),就有机会赢取实体结业证书。活动奖励 本次课程不仅免费跟大厂大佬们学习干货和知识,更重要的是:跟随课程更新,打卡学习任务,获得专属积分每次有效提交的学习任务都会得到对应积分,每阶段根据积分排行会有对应的实物奖品全阶段累计积分最高者可获以下奖励总阶段积分奖励活动其他事宜通知○所有活动奖品将在活动结束后20个工作日内完成发放;○活动奖品颜色随机,且部分奖品数量有限发完即止,如对应奖品无库存会更换等价奖品;○活动奖品需要进行华为云账号实名认证后领取;○为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等**活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。○本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。○本次活动回帖内容需满足华为云论坛发帖规范:cid:link_14 
  • [版主精选] 11.11上云嘉年华,华为云数据库助力客户备战业务高峰
    云计算的飞速发展,促使各行各业加快数字化转型的步伐。数据库作为信息系统核心服务,在云化的浪潮中,逐渐发展出云数据库的技术路线,不断地迭代创新。数据库产品形态演进纵观数据库行业发展历程,从早期的单机MySQL到近年来分布式数据库、NoSQL系列,数据库始终秉承着一个理念——把简单留给用户,把复杂留给数据库。1.单机早期,为了弥补单机MySQL扩展性,用户要在业务层做分库分表、读写分离。但随着数据规模持续增长,用户业务、运维负担过重。2.分布式、NoSQL随后,分布式数据库开始流行。这一代数据库数据容量大,还能够水平扩展,同时也提高了可用性。而NoSQL系列的出现,也让业务设计更加灵活。例如,Redis的key-value数据结构,搭配内部的sorted set,非常适合搭建游戏排行榜;MongoDB作为最流行的文档数据库之一,能够帮用户便捷存储json文本。3.云原生、存算分离伴随用户的业务需求复杂化,诸如“当访问量小,但数据量巨大,加上核心数据不能丢。此时只是想增加些存储空间”,传统分布式架构便“不再完美”。如今,我们已进入崭新的云原生时代。走在行业前沿的数据库产品都在进行新一轮演进,拥有更强大、更灵活的全新架构——存算分离。以企业级Redis——GaussDB(for Redis)为例,图中展示存算分离的本质:资源解耦,按需使用。“计算不足扩节点、存储不够扩容量”,这种分层、弹性的扩容机制,也为用户节省很多不必要的开销。此外,在完全兼容Redis之余,GaussDB(for Redis)也兼顾了轻量级场景——用户可随时下单8GB规格实例,使用低成本、稳定可靠的企业级Redis。GaussDB云原生带来的价值基于用户常见的4大类业务痛点场景,华为云GaussDB数据库基于存算分离架构,给出了它的解法。1.数据写满了急需扩容随着企业规模扩张,更大的算力需求、更多的存储容量需求是必然的。例如在游戏开服、11.11大促抢购高峰期间,数据量爆发性增长,此时需要对数据库进行扩容,而且在不少的业务场景下,扩容的速度甚至要求达到“用户0感知“的级别。而开源Redis由于资源以节点为单位,扩容只能计算、存储一起扩,资源浪费是一方面,还不得不做数据跨节点拷贝,耗时长。其实不少用户在扩容时,还可能面临着时间无法评估的尴尬。存算分离数据库不仅拥有秒级扩容的优势,还能满足用户“算力不足扩节点、容量不足扩容量”的要求,完全不必担心资源“买多”问题。2.节点宕机导致数据长时间不可用,业务受损单机数据库一旦宕机,全量数据不可用,只能等待数据库重启,导致业务受损严重。传统分布式数据库一旦部分数据分片故障,会导致一段时间内部分数据无法访问,依然对业务产生不小影响。存算分离数据库能够解决极端场景下的数据可用性问题。由于存储池有“共享”的性质,当部分计算层节点故障时,其他健康节点可以立刻接管“本不属于自己”的数据,让业务只感受到秒级抖动,即可继续访问全量数据,不必等待故障节点的“复活”。3.高峰期间,数据库写入拥塞业务高峰是每一个企业关注的关键场景之一。开源Redis集群虽然比简单的主+备更能应付并发访问,但面对大量写入,依然会力不从心。一是因为它的节点是单线程做命令处理的工作,容易发生请求阻塞。二是由于备节点只读,因此它的集群中仅半数节点可写,抗写能力不足。GaussDB(for Redis)抗写能力极强,能从容应对企业最关心的业务高峰。首先,它采用了多线程做命令处理的设计,单点不易发生请求阻塞。其次,在存算分离的架构优势下,实例中并不存在主备关系,全部节点都可写,吞吐能力强。4.数据库成本难降分布式存储池将存储以细粒度提供给用户,相比一块块独立硬盘低效率使用,GaussDB存储池成本会极大降低。另外,相比开源Redis纯内存设计,GaussDB(for Redis)全量数据下沉到存储池中,从根本上解决了纯内存硬件价格昂贵问题。11.11上云嘉年华之际,华为云数据库给用户提供低至0.05折的大幅折扣,包括:7200元上云大礼包,新用户首购云数据库MySQL、PostgreSQL等产品年付低至11.11元,GaussDB系列产品包年、包月4折,其中GaussDB(for Redis)小规格给出了19.9元/6个月的惊喜优惠。让用户在业务数字化转型,数据上云之初,便能感受到一剂强心剂——“成本控制不是难题,稳定可靠依然有保障”。戳此直达体验>> https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [版主精选] 10位GaussDB大咖金句,哪句最打动你?
    DTCC2021各位技术大咖各显所长奉献了一场场精彩绝伦的视听盛宴我们收集了10位GaussDB大咖的高能金句看看哪句最能打动你
  • [行业资讯] 华为云GaussDB持续深耕创新与开放,打造企业核心数据上云信赖之选
    11月5日,第七届DAMS中国数据智能管理峰会在上海成功举办,华为云Markting部部长董理斌先生与华为云数据库解决方案架构师唐立先生出席并在会上发表了精彩的主题演讲,分享了华为云GaussDB在产品布局、商业成功、生态建设等方面的发展规划,以及在金融行业核心业务场景的应用实践,为企业数字化转型提供新动力。华为云GaussDB深耕创新与开放,提供全场景云服务在上午的峰会主会场,华为云Markting部部长董理斌与参会嘉宾分享了华为对产业趋势的理解和思考,表示随着企业的数字化建设加速进入全面云化阶段,由现在的ON CLOUD进阶到IN CLOUD,企业业务真正生于云、长于云,华为云基于“云原生基础设施2.0”陆续推出多个云原生2.0创新产品,在客户云基础设施面临的应用与资源割裂、单数据中心架构、单一应用生态等问题上提供了相关的云原生2.0解决方案,助力客户的数字化转型与升级。华为云Markting部部长董理斌数据库作为根技术之一,华为发挥软硬全栈优势,坚持长期战略投入,打造开放生态,围绕全球多活高可用、软硬深度协同、企业级混合负载、云原生、数据安全与可信以及AI-Native智能运维与调优这六大数据库关键技术方向,打造根技术竞争力。华为云GaussDB为客户提供满足其全场景业务诉求的数据库产品、生态工具以及智能管理服务,让客户“选型安心、迁移放心、管理省心“,当前已经在1500+金融政企标杆大客户中实现规模商用,包括对产品综合能力要求最为严苛的银行业,并且已经在国有6大银行中的4家核心系统部署并商用。数据库呼唤开放的生态,客户希望从封闭走向开放。华为云在积极拥抱开源生态的同时,也将GaussDB单机主备能力贡献出来,和开发者、伙伴一起共建openGauss开放社区,当前已经吸引了2000+开发者,70家头部企业,12家合作伙伴基于openGauss发布了自有品牌数据库产品。数据库产业在蓬勃发展,人才是数据库行业最大的难点之一。华为在人才方面坚持长期战略投入,全球布局,吸引全球顶尖数据库内核专家加入我们的研发团队;同时通过培训认证和人才生态合作伙伴为产业链提供人才,提升能力;并通过教育部“智能基座”、新工科等项目,深化与高校的课程建设以及学术合作,保证客户和华为自身未来的人才供给。华为云GaussDB在金融行业核心系统的商用实践在下午的金融分会场,华为云数据库解决方案架构师唐立先生通过三个典型金融场景案例,介绍了客户从传统数据库迁移到华为云GaussDB的完整过程,为金融行业核心系统迁移改造提供了新范例。华为云数据库解决方案架构师唐立近年来,随着数据量的快速增长和信息安全的战略要求,传统数据库软件已经无法满足客户诉求,从互联网到金融、政企、运营商等企业都在逐步向国产数据库迁移。但数据库迁移是一个系统工程,需要客户、数据库厂商、合作伙伴的共同参与,开发、测试、运维等多部门的合作和投入,共同解决上云迁移过程中的难点。基于多年的企业级客户服务经验,以及华为自身对云化、数字化的理解,华为云GaussDB提供全场景、全开放的完整数据生命周期解决方案,帮助客户做好数据库选型,通过数据库和应用迁移工具——UGO和数据复制服务DRS,做好数据迁移的精准迁移评估、语法转换、应用改造,并实现数据的平滑迁移,为客户提供一站式迁移解决方案,打造极致用户体验。以某国有大行改造为例,华为云GaussDB分布式数据库高效支撑大机下移和分布式改造的工作,基于“UGO+DRS” 一站式全链路迁移解决方案,在上万对象改造和百万级代码改造中,语法转换率高达98%,成本大幅降低。而且GaussDB支持超过1000+节点的扩展能力和PB级数据容量,支持同城跨AZ秒级恢复和两地三中心容灾分钟级切换,满足金融安全监管要求,替换后报表和复杂查询场景耗时从分钟级降低到秒级,实现高并发和低时延。数据库的发展需要持续投入基础研究与创新,扎实培育人才 ,更需要“产学研用”全产业链的通力协作,共创未来。华为云GaussDB希望和伙伴们一起促进数据库行业的繁荣发展。华为云数据库双十一优惠专场盛大来袭!新用户购买云数据库MySQL、PostgreSQL、DDS只需11.11元/年!4.5折超低折扣、7200元上云大礼包、消费满赠华为手机等豪礼享不停!活动详情→:https://activity.huaweicloud.com/dbs_Promotion/index.html 
  • [优秀博文] 技术创新+开放共赢 华为云GaussDB加速企业数字化转型
    文/陶然云、AI、5G等技术驱动,数据库行业迎来新的需求,云数据库也在不断演进升级。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB进行了进阶与革新,以统一的架构,支持关系型与非关系型的数据库引擎。近日,在第十二届中国数据库技术大会上,笔者有幸采访到了华为云数据库CTO庄乾锋,庄老师向我们详细解读了GaussDB如何从产品架构革新,做到支持全场景全业务,并从解决方案与案例的维度分享了华为云数据库的优秀实践。华为云数据库CTO 庄乾锋华为云GaussDB打造全场景数据库云服务如今,数字化转型已从“以资源为中心”转换成“以应用为中心”,数字化转型进入新阶段。华为云GaussDB紧随时代发展潮流,紧密结合客户业务场景,不断进行自主创新,积极打造极致性能、高可用的数据库服务。 据庄乾锋介绍,华为云GaussDB数据库在2020年升级为全场景云服务以来,取得了一系列的突出进展: 首先,华为云在今年4月份的华为开发者大会上正式发布了GaussDB新品,主打金融政企核心业务场景,是能满足最严苛金融级需求的分布式数据库。 庄老师进一步表示,今年的新版本具备应对海量并发事务处理与复杂查询混合负载的能力,通过技术与全并行架构创新,性能大幅领先对手,并具备超过1000+节点的弹性扩展能力。 同时我们还推出全球首款纯软全密态技术,保障数据传输、计算、存储全链路的安全。并且通过将AI技术植入到数据库内核的架构和算法中,让数据库管理更加智能与高效。 不仅如此,华为云并没有停止前进的步伐。据介绍,在8月份,我们又重磅推出了两个内核新特性:Ustore存储引擎和基于Paxos协议的DCF高可用组件。 Ustore存储引擎是GaussDB内核新增的一种存储模式,这种数据存储能带来更高性能、更高效率,空间利用更充分,整体系统运行更加平稳,适应更多业务场景和工作负载。 而DCF组件则使得GaussDB在保证数据一致性的同时,在高可用方面可进一步得到增强,用户不仅可以免去系统脑裂的风险,还可以提升可用性。 其次,在9月份的2021华为全联接大会上,发布了GaussDB(for MySQL)2.0全新版本及三大核心技术,在原有基础上深度整合了华为云计算全栈的独特能力,在性能、可用性、扩展性等方面都进行了创新,实现了云栈垂直集成力量的最大化,让算力更快更猛,也能更好解决客户海量数据负载场景难点,助力企业客户业务创新。 最后,今年我们在公有云上也上线了数据库和应用迁移工具UGO,这是一款专注于传统数据库的结构迁移与语法转换的利器。未来我们还将在五大技术方向上持续创新,包括云原生多主、基于Memory Pool的HTAP、云原生Serverless、AI Native、全密态。打造一个有技术、更懂客户的数据库,与客户一起深耕数字化转型。 华为云GaussDB携手伙伴共建数据库生态 华为一直坚持合作开放共赢的生态理念。一个能使能客户成功的商业产品,不仅产品要做好,还需要一个成熟健康的生态。 据庄老师介绍,华为云GaussDB积极拥抱并完全兼容和支持业界主流的关系型数据库生态,如MySQL、PostgreSQL及非关系型数据库MongoDB、Redis等生态,另一方面华为公司2020年6月30日宣布开源的openGauss也是开放的生态。 华为云GaussDB对外开源,做到架构开放、代码开放、技术开放和社区开放,不会让客户从封闭的数据库走向另外一个封闭的数据库, openGauss这种方式,能让更多的“同道中人”一起来解决缺陷,一起来理解这个架构,从而维护起来更加方便。 在人才生态方面,华为致力于培养数据库人才,发起高校人才培养计划,计划3年投入5亿人民币,通过智能基座、教育部新工科项目,持续与高校联合开课,截止目前已经投入2亿多,有80+所合作高校,每年覆盖23000多名学生。未来一年计划覆盖200所高校,8万学生。 如今,GaussDB已经广泛应用在1500+政企大客户,涵盖金融、税务、医保、能源、交通、电信运营商、互联网、电商、物流等行业。 在对数据库要求最为苛刻的金融行业,6大国有大型银行中有4家银行已经选择了GaussDB,包括工行,农行,建行,邮储,以及多家股份制银行和保险证券机构。 在财政、税务、医保、自然资源等泛政府行业,GaussDB已和22+省级,100+市级单位开展合作,支持效率提升更好服务社会。 根据国际数据公司(IDC)最新发布了《2020年下半年中国关系型数据库软件市场数据跟踪报告》。报告显示,华为云数据库凭借GaussDB以9.8%的市场份额,占据本地部署市场国产数据库份额第一,同时公有云市场数据库份额增速第一。 面向未来,华为坚持做持续创新的数据库,数据库的持续创新离不开产学研的通力合作,一方面,与合作伙伴、高校以及开发者共建开源生态,鼓励有能力的合作伙伴发展基于openGauss的自有品牌数据库产品,为上层应用提供更多数据库选择,和业界共同繁荣数据库产业生态。 另一方面,华为也基于openGauss的生态,增强分布式内核能力,发布GaussDB商业版本,通过华为云和华为云Stack,满足金融政企客户、华为消费者云、流程IT以及运营商业务对分布式数据库的高性能、高可靠、高安全的需求。目标是打造世界级的国产数据库,为客户提供更优秀、更有竞争力的产品。
  • [其他] 万人逐鹿、十强争霸!华为云GaussDB数据库两大重量级赛事圆满落幕
    9月底,伴随着一场线上作品答辩形式总决赛的结束,历经几个月的2021年第三届华为云GaussDB数据库挑战赛终于在如火如荼的进行中落下了帷幕。同时,华为云GaussDB参与的由教育部与华为云数据库联合命题的第七届“互联网+”大赛产业命题赛道在10月份也终于迎来了终章。至此,华为云数据库本年度两场重要大赛画上了圆满的句号。万人角逐,最强10队突出重围获终极大奖2021年第三届华为云GaussDB数据库挑战赛以GaussDB分布式数据库相关特性为重点课题,由华为云数据库和Gauss松鼠会联合承办。华为云GaussDB数据库挑战赛自举办以来,始终秉承着“综合科研教学成果及商业需求,探索数据库领域技术问题的可行性,为需求方和开发者提供联接的桥梁”的宗旨,面向全社会开放,竭力搭建一个技术交流、人才培养、机遇共创的数据库开发者平台和生态,至今已成功举办了三届。作为数据库领域的重量级赛事,比赛的报名预热阶段就吸引了无数的行业人士,从个人开发者到企业团队都跃跃欲试。整个比赛过程中,11860位选手热情参与,组成1123个参赛团队披荆斩棘,经过初赛的紧张PK,1036支团队晋级复赛,在更为激烈的较量中,最终10支团队在这场激烈的角逐中脱颖而出,斩获终极大奖,共同瓜分20万超“壕”华奖品池。2021年第三届华为云GaussDB数据库挑战赛获奖榜单本届比赛的规模也在前两届的基础上有了空前的扩大。2019年,第一届华为云数据库挑战赛由近千人组成400多支队伍展开竞争,提交了近6000次作品;2020年,第二届华为云数据库挑战赛在开发者和伙伴们的高涨呼声中再次启动,近3000人参与竞赛,涵括了250+高校、30+行业;今年的比赛参赛人数上万,组成的团队上千,提交作品1500多次。这足以证明这场比赛在数据库领域中的影响力正在快速扩大。开发者作为创新技术的主力,是企业发展的源动力,因此,数据库人才的培养和生态建设,是华为一直以来都很重视的事情。华为云GaussDB数据库挑战赛举办三届以来始终坚守初心,与行业精英和数据库爱好者共同探索数据库领域的创新技术与工程实现。在这场呼声高涨的比赛中,这些团队无一不将自己内心对大赛赛题的层层推敲和专业能力的日夜沉淀都用键盘表达在了一串串的代码中,传达给屏幕前的我们,展现他们基于GaussDB数据库内核特性开发的能力,让评委们高赞十强团队选手的实力,作品不仅满足了赛题要求的基本功能,同时还实现了代码模块设计合理,性能最优化,内存资源占用尽量最小化。强强联合,联手教育部首次共创全新赛制10月中旬,由教育部牵头主办的第七届中国国际“互联网+”大学生创新创业大赛落下帷幕,至此,教育部联合华为云数据库共创的全新赛事——第七届“互联网+”大赛产业命题赛道·华为云GaussDB命题比赛也迎来了终结的篇章。本届大赛的产业命题赛道,是七届大赛以来的首创之举,目的是为了推进赛事组织的线上线下融合,推进高校创新创业教育与破解产业实际技术难题相结合,真正落实大赛“以赛促教,以赛促学,以赛促创”的重要任务。本次教育部联合华为云数据库以实际场景出发,以产业为主体,共创这样的全新赛道,为比赛的举办注入了全新的活力,开放、灵活的竞赛空间为这些朝气蓬勃的参赛者们提供了更多的机遇。作为本届大赛产业赛道的重要命题之一,华为云GaussDB命题深度融合“产、学、研”的技术创新体系,以此次教育部发起的互联网+大赛为载体,加强与高校、初创企业的创新合作,通过给定式命题“基于GaussDB(for MySQL)数据库实现高性能、高扩展性的bufferpool(缓冲池)”倡导参赛者基于企业实际业务场景思考并解决数据库领域技术问题,提高参赛者对数据库的理解、掌握与实际场景应用能力,从而促进数据库专业人才培养和产业升级。此次华为云数据库与教育部强力的联合共创,一方面丰富了国家、高校和企业对数据库人才培养的渠道和方式,能够有效提高人才培养的质量,另一方面通过企业和高校的紧密联动合作来提升开发者的实际业务场景应用能力和创新能力,有助于数据库人才和生态的双重建设。强力后援,专家坐镇为参赛者们保驾护航不管是第三届华为云GaussDB数据库挑战赛还是强强联合下的 “互联网+”大赛产业命题赛道,为了让参赛者们发挥出最好的水平,华为云数据库大赛组都做足了准备,提前向参赛者们提供了相关的学习资料,以确保有充分的准备应对知识闯关。不仅如此,大赛组还成立了由五位华为云数据库高级技术专家组成的权威专家团,全程为参赛者们保驾护航。从比赛开始,专家团就在为各位参赛者随时答疑解惑,从交流群疑难的答复,到日常的技术交流,都为选手们的参赛提供了充分的知识储备。为了让参赛者更好地了解赛题设计思路和命题方向,大赛组还精心准备了命题攻略和线上技术直播解读,华为云数据库资深架构师苏斌在直播间详细解读了GaussDB命题攻略,通过剖析数据库关键技术和赛题考点,助力选手们在比赛中稳操胜券。大赛组权威专家团成员近年来,国家的数字化进程不断加快,企业快速适应数字化的发展模式已经成为必然趋势,在这背后,是企业大量的业务需求对于行业新技术的高要求,技术的革新则是第一生产力,其核心开发者便成为其中重要一环。多年来,华为一直致力于数据库人才的培养,为开发者提供技术交流和机遇共创的舞台,携手更多伙伴共建合作、开放、共赢的生态。虽然目前两大赛事已经画上圆满的句号,不过接下来十一月份即将启动的华为云GaussDB海外亚太区域赛将会更加精彩,让我们拭目以待! 华为云数据库双十一优惠专场盛大来袭!新用户购买云数据库MySQL、PostgreSQL、DDS只需11.11元/年!4.5折超低折扣、7200元上云大礼包、消费满赠华为手机等豪礼享不停!活动详情→:cid:link_0
  • [优秀博文] 海量数据分析更快、更稳、更准!GaussDB(for MySQL) HTAP只读分析特性详解
    1      引言HTAP(Hybrid Transactional/Analytical Processing)这个词相信大家最近经常会听到,它能够同时支撑在线事务处理(On-Line Transactional Processing, 简称OLTP) 和在线数据分析 (On-Line Analytical Processing, 简称 OLAP)。令人惊喜的是,ClickHouse 作为近年来炙手可热的大数据分析系统可以通过 MaterializeMySQL 引擎挂载为 MySQL 的从库,作为 MySQL 的 "协处理器" 面向 OLAP 场景提供高效数据分析能力,这对解决异构数据库之间数据共享问题提供了新的途径。我们可以充分发挥 ClickHouse 的分析性能,结合 TP 类引擎如 MySQL 等提供 HTAP 能力。然而实际应用场景中 ClickHouse 仍然面临一些挑战,因此 GaussDB(for MySQL)的HTAP只读分析应运而生,除了拥有 ClickHouse 本身的极致性能外,GaussDB(for MySQL)的HTAP只读分析在 MaterilizeMySQL引擎的性能和稳定性等方面具有更优秀的表现,为提供更快更准的数据分析保驾护航。2      背景大数据时代的到来,数据量急剧增长的同时用户结构也越来越多样化,这些用户处理数据时发现,仅仅是创建一个可视化报表需要经过数据的抽取 (Extract), 转换 (Transform) 和装载 (Load), 整个周期可能长达数日甚至数周。事实上,ETL 模式的优点在于能够结合数据湖等处理多源数据,低成本处理海量数据且生态较完善,当然缺点也十分明显,传统的数据仓库和数据湖等无法支持大量实时并发的更新,数据分析时效性较低。除此之外,ETL 模式应对变化的能力也相对较弱,如上游数据源发生变化(例如表结构的变化等),整个数据链的处理过程都需要做相应的修改,增加了数据维护的难度。如何追求实时分析呢?答案是 HTAP。HTAP 可以支持大量并发的更新且数据同步时延通常在在秒级或毫秒级,有效避免传统解决方案中数据抽取,转换和装载等繁琐步骤,极大提升数据处理的时效性。3     极致性能-ClickHouseClickHouseClickHouse 是 Yandex 公司开源的面向 OLAP 的分布式列式数据库,具有实时查询、完备的DBMS、高效数据压缩压缩,支持批量更新及高可用等特性。此外,ClickHouse 拥有非常完善的SQL支持以及开箱即用等许多特点。在官方公布的基准测试对比中,ClickHouse 遥遥领先对手。Row Store & Column StoreMySQL 存储采用的 Row Store,表中数据按照 Row 为逻辑存储单元在存储介质中连续存储。这种存储方式适合随机的增删改查操作,对于按行查询较为友好。但如果选择查询的目标只涉及一行中少数几个属性,Row 存储方式也不得不将所有行全部遍历再筛选出目标属性,当数据表很宽(表的属性很多)时,查询效率通常较低。尽管索引等优化方案在 OLTP 应用场景中能够提升一定效率,但是在面对海量数据背景的 OLAP 场景仍然显得有些力不从心。ClickHouse 则采用的是 Column Store,表中数据按照 Column 为逻辑存储单元在存储介质中连续存储。这种存储方式适合采用 SIMD (Single Instruction Multiple Data) 并发处理数据,恰恰弥补了 Row Store 存储方式的缺陷,尤其在大宽表(属性很多)的时候,查询效率明显提升。此外,列存方式相邻数据类型相同,因此天然适合数据压缩,从而达到极致的数据压缩比。Performance下表是 Yandex 公司官方公布的性能测试数据,数据集 100 million,从上至下的三条数据分别表示:Cold Cache,Second Round,Third Round 的查询响应时间,可以看出 ClickHouse 的性能遥遥领先各大数据库引擎,相比于MySQL而言,性能甚至高达600多倍。注:以下实验数据均为单节点:2 * Intel (R) Xeon (R) CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 on 8 6TB SATA HDD; ext4.4    巨人肩膀上的 GaussDB(for MySQL) HTAP只读分析尽管 ClickHouse 拥有如此极致的性能,但实践生产过程中仍然面临一些困境。比如存在数据类型不支持,全量复制性能问题等方面的挑战。此外也有一些与引擎本身设计有关的性能问题:比如 FINAL 去重导致的查询性能问题等,给用户使用过程带来一些不好的体验。全量并行复制MaterializeMySQL 引擎通过消费 BinLog 的方式来订阅 MySQL 数据。数据同步过程分为三个步骤,首先是检验源端 MySQL 参数是否符合规范,然后是全量和增量复制阶段。ClickHouse 数据同步的全量复制过程是单线程的,在数据量较大时复制时延较高。GaussDB(for MySQL) HTAP只读分析对全量复制进行了并行化处理,优化后的复制性能平均提升 8-10 倍,对实际生产实践是十分有意义的。MVCC & SnapshotMaterializeMySQL 引擎在 DDL 转化过程中默认增加了2个隐藏字段:_sign (-1删除, 1插入/更新) 和 _version (数据版本)。下方是同一张表在 MySQL 和 ClickHouse 里的 DDL:Create Table: CREATE TABLE `runoob_tbl` ( `runoob_id` int unsigned NOT NULL AUTO_INCREMENT, PRIMARY KEY (`runoob_id`) ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 --------------------------------------------------------------- ATTACH TABLE _ UUID '14dbff59-930e-4aa8-9f20-ccfddaf78077' ( `runoob_id` UInt32, `_sign` Int8 MATERIALIZED 1, /// _sign 字段 `_version` UInt64 MATERIALIZED 1 /// _version 字段 )MaterializeMySQL 引擎当前不提供 MySQL 数据的事务一致性视图,数据行以批量插入的方式同步到 ClickHouse 中,引擎底层使用的是 ReplacingMergeTree。如果数据发生了修改,获取最新的数据时需要指定 FINAL(类似于 GROUP BY)去重,并使用过滤器隐藏已删除的行。然而当数据规模很大时,FINAL 操作的性能往往不太理想。为了感知事务,GaussDB(for MySQL) HTAP只读分析实现了事务一致性并提供四种隔离级别,用户可以根据具体使用场景选择不同的隔离级别。此外,GaussDB(for MySQL) HTAP只读分析还提供了快照功能,优化 FINAL 带来的查询性能问题。read_uncommitted: 不提供 MVCC 支持,可能会引入脏读 read_committed: 提供 MVCC 支持(包括SubQuery),读最新已 commit 的数据 query_snapshot: 规避 SELECT + FINAL 查询中的 Merge 开销,直接查询快照 query_raw: 不做任何优化,返回所有数据(包括已删除和更新的不同版本)FINAL 性能优化前面提到 MaterializeMySQL 底层使用的是 ReplacingMergeTree,该引擎后台会按照一定规则执行 Merge 操作,用户想要获得最新数据则必须通过 FINAL 操作去重。除了采用 MVCC + Snapshot 机制保障查询性能外,GaussDB(for MySQL) HTAP只读分析从索引以及过滤策略等方面对 ReplacingMergeTree 引擎本身的 FINAL 操作进行了优化,即使不依赖 MVCC + Snapshot 也能提供不错的查询性能。5    GaussDB(for MySQL) HTAP只读分析兼容性及稳定性类型支持增强MySQL 和 ClickHouse 的基本数据类型之间都有对应的映射关系(见下表),值得一提的是 ClickHouse 将不支持的 MySQL 数据类型都转换为 String 类型存储。MySQL 不支持的 ClickHouse 类型也都被转换为 MYSQL_TYPE_STRING 类型。从下表中不难看出,ClickHouse 仍有一部分数据类型还未支持,而这部分数据类型在实际应用场景中是有可能出现的,因此 GaussDB(for MySQL) HTAP只读分析针对常用的数据类型例如 BIT 和 TIME 以及 YEAR 等做了适配,解决部分用户的刚要需求。Unique Key 同步支持MaterializeMySQL 引擎当前仅支持含有 Primary Key 的表同步,现实生产过程中是可能存在一些表格没有主键,但却含有 Unique Key 的,因此有必要支持这种表的数据同步。GaussDB(for MySQL) HTAP只读分析对仅含有 Unique Key (NOT NULL) 的表单独处理,使用 Unique Key 进行分区。优雅的复制中断重连实际应用过程中,全量数据复制的数据规模通常较大,同步时间较长,复制中断(网络,MySQL服务端宕机等)的情况是有可能发生的,ClickHouse 遇到上述情况时选择终止当前库的同步并返回错误。为了提升数据同步的稳定性,GaussDB(for MySQL) HTAP只读分析针对 MaterializeMySQL 引擎设计了重连,当中断发生时清理现场并在一定时间间隔内进行重连。与全量复制中断重连不同的是,增量复制中断后不需要清理现场,这与增量复制的方式有关,增量复制基于 BinLog Event,已经增量同步成功的数据不需要重新再来一次,重新建立连接后会根据全局 GTID 找到最新的同步点开始同步。更完备的异常处理机制GaussDB(for MySQL) HTAP只读分析不仅引入了 MVCC + Snapshot 以及并行复制等新特性,也为内核嵌入了更完备的异常处理机制。以全量并行复制为例,GaussDB(for MySQL) HTAP只读分析为所有并行线程维护独立的异常处理信息和堆栈。在新的异常处理机制下 GaussDB(for MySQL) HTAP只读分析更加稳定,更容易帮助用户发觉潜在问题的根源。6      GaussDB(for MySQL) HTAP只读分析个性化定制Show Slave Status 支持GaussDB(for MySQL) HTAP只读分析为用户提供了类似 MySQL 主备间的 SHOW SLAVE STATUS 指令,通过该指令可以直观地获取 MaterializeMySQL 引擎同步的数据库状态。这些状态信息除了反应同步线程是否异常之外,还涵盖了当前复制的 BinLog 位点,GITD 以及 Second Behind Master 等有价值的信息,为用户运维提供极大方便。ALTER Database 支持Alter Database 为 MaterializeMySQL 引擎用户提供了如下操作:ALTER DATABASE db MODIFY SETTING ... // 修改库级 settings ALTER DATABASE db ADD TABLE OVERRIDE tbl ... // ADD TABLE 且支持 Override ALTER DATABASE db MODIFY TABLE OVERRIDE tbl ... // MODIFY TABLE 且支持 Override ALTER DATABASE db DROP TABLE ...表定义重写 Override为了提供个性化的建库同步操作,GaussDB(for MySQL) HTAP只读分析为 MaterializeMySQL 引擎增加了 Over Write 功能,用户可以覆盖指定表的列并添加新列,添加索引并覆盖 PARTITION BY 或 SAMPLE BY 字段,使用示例如下:CREATE DATABASE test ENGINE=MaterializeMySQL('host:port', 'db', 'user', 'pw') TABLE OVERRIDE table1 ( _staged UInt8 MATERIALIZED 1 // 增加 MATERIALIZED 列,类型为 UInt8 ) PARTITION BY (...) // 覆盖分区字段适配 MySQL Partition数据分区是提升数据库使用性能的重要途径之一,ClickHouse 的分区策略是优先考虑日期,否则会选择类型长度较小的字段做哈希处理并进行分区。可以看到,ClickHouse 的分区策略和 MySQL 有一定区别,为了尽可能的支持 MySQL 的分区策略, GaussDB(for MySQL) HTAP只读分析目前支持 Range 分区,如果建表语句里没有 Range 分区,则使用 ClickHouse 默认的分区策略。黑/白名单过滤MaterializeMySQL 引擎建立的数据同步是库级的,意味着默认情况下会尝试将该库所有表全部复制,在某些实际应用场景中往往不需要复制全部的表,或者说有些表本身不适合复制(例如没有 Primary Key 或者 NOT NULL 的 Unique Key),GaussDB(for MySQL) HTAP只读分析不希望因为部分表无法复制导致整个库的复制失败,而是能够有选择的进行复制。GaussDB(for MySQL) HTAP只读分析针对这个问题设计了黑/白名单的过滤,允许用户自定义需要复制的表,这在生产应用是十分有意义的,用法参考如下:CREATE DATABASE test ENGINE = MaterializeMySQL('host:port', 'db', 'user', 'pw') SETTINGS black_list='T1,T2' // 将T1、T2加入黑名单7     场景示例前文分析了许多 GaussDB(for MySQL) HTAP只读分析的优点,那 GaussDB(for MySQL) HTAP只读分析到底能提供什么样的解决方案,为用户解决数据难题呢?上图以 MySQL + GaussDB(for MySQL) HTAP只读分析为例,用户既能得到 MySQL 完备的事务保障,又能享受到 GaussDB(for MySQL) HTAP只读分析的极致分析性能。用户从不同渠道获取数据并加载到 MySQL 引擎,GaussDB(for MySQL) HTAP只读分析作为 MySQL 的 “从库” 实时同步用户数据并提供高效的数据分析能力。高实效性与传统 ETL(T + 1)方案不同,GaussDB(for MySQL) HTAP只读分析搭配 MySQL 的 HTAP 解决方案能够提供秒级数据同步。数据压缩GaussDB(for MySQL) HTAP只读分析底层存储采取 Column Store,这种存储形式天然适合数据压缩,因此 GaussDB(for MySQL) HTAP只读分析拥有极致的数据压缩比,同等条件下能够为用户节约大量存储成本。历史备份相比在 MySQL 中备份,GaussDB(for MySQL) HTAP只读分析的存储成本更低,某些场景下更适合用于历史数据备份。存储分层为了进一步降低用户存储成本,GaussDB(for MySQL) HTAP只读分析提供 ESSD + EVS + OBS 分层存储方案,将热数据温数据和冷数据分别存在不同的存储介质中,进一步降低存储成本。8     小结HTAP 虽然不是一个非常新的概念,但随着现阶段数据业务越来越模糊(AP业务TP化 ,TP业务AP化),这个概念又重新回到了人们的视线。用户对数据处理和消费需求的不断迭代和升级,也为 HTAP 的发展创造了更多机会。GaussDB(for MySQL) HTAP只读分析站在 ClickHouse 极致性能的肩膀上针对实际生产遇到的问题做了一系列优化,获得更快更好的使用体验。相信未来 HTAP 的竞争会愈演愈烈,这对 GaussDB(for MySQL) HTAP只读分析来说既是挑战也是机会, GaussDB(for MySQL) HTAP只读分析会继续为用户提供海量数据的高效解决方案,助力企业数字化转型。更多产品了解,请戳https://www.huaweicloud.com/product/gaussdb_mysql.html 注:该功能目前在邀请测试阶段,想体验的小伙伴们欢迎评论区留言!
  • [热门活动] 【1024程序员节】学、练、考三部曲,带你一睹数据库芳华!
    !!!重要提示:本帖是副帖,参与活动请前往主帖,在主帖进行回复,副帖回复不参与活动评奖。主帖入口请戳文末链接或二维码↓↓↓1024程序员节欢迎来到数据库空间站活动时间:2021/10/20-2021/11/21活动主题:学、练、考三部曲,带你一睹数据库芳华!活动目的:本次活动为大家精心打造的数据库学、练、考三部曲,帮助大家快速了解华为云数据库、考取权威证书、实现技能提升。活动评奖(双重奖项哦):1. 参与活动中任何一个环节,均有机会获奖    学、练、考三个环节相互独立,每个环节都设置了对应奖项,因此,参与其中任何一个项目均有机会获奖。2. 获得打卡秘钥,抽取大礼包    参与活动且回复符合活动要求的用户,将会获得打卡秘钥,抽取大礼包。主帖链接:【星云闪耀1024<神奇空间站>】数据库空间站,学、练、考三部曲,带你一睹数据库芳华!主帖二维码【注意事项】1.获奖结果将在活动结束后7个工作日内进行公示,请报名和留言的伙伴关注社区内容,所有奖品将在活动结束后15个工作日内发放,有任何问题,请添加小助手微信18209232786。2.活动奖品颜色随机,且部分奖品数量有限发完将用等值奖品代替;另参与人数不能达到最低楼层,不开奖。3.活动参与需遵守《华为社区常规活动规则》;4.为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。5.本次活动一个实名认证账号只能对应一个获奖人,如同一账号填写多个不同获奖人,不予发放奖励;6.本活动最终解释权归华为云所有。
总条数:179 到第 页
上滑加载中