• [版主精选] 华为云GaussDB专家走进课堂,跟莘莘学子聊聊数据库
    近期,各地疫情又一次席卷而来,居家隔离成为常态。不过,外出的不便并没有阻挡莘莘学子求知的渴望,线上课堂成为了大多学生上课的主要形式。在北京邮电大学中,邓芳老师、卢向群老师、杜军平老师、肖晨老师等多名老师所带的计算机学院和国际学院班级中的200多名学生就这样在线开启了本学期数据库课程的学习。 《数据库系统原理》是计算机科学与技术学科知识体系中信息管理领域的核心课程,也是计算机相关专业的核心专业课程。通过此课程的学习,学生可以深入了解数据库系统的基础理论和基本方法、数据库管理系统的核心技术、数据库应用系统设计开发过程、数据库系统操作能力和应用系统设计开发能力,具有对数据库技术领域复杂工程问题采用科学有效的方法进行研究的能力。本学期的《数据库系统原理课程设计》是理论课的后续课程。对学生来说,这更像是一篇毕业论文,因为从确定方向、系统设计、编码、调试、编译、发布,再调试、再学习......每个环节要不断试错、完善,才能完成。这是一场新的探索之旅,将满腹所学皆应用于实践。 校企联合共促数据库产业人才培养所学皆所用,是学习的价值所在。为了让学生们真正将理论应用到实践中,北京邮电大学与华为展开了深入的合作。北京邮电大学是华为与教育部联合建设产学育人“智能基座”项目中的其中一所高校,本着校企联合、产学育人的目的,华为为学校提供教学课件、教学平台等教学资源,并将企业在行业实际应用方面的经验积累、打磨的产品提供给高校,通过双方合作,培养更适用于数据库行业的应用型人才。应北京邮电大学邓芳老师和卢向群老师的邀请,3月16日,华为云数据库技术专家窦德明与北京邮电大学的众多学生相约线上,进行了一次数据库行业知识和技术的分享与交流,目的是让高校的学生们在学习数据库理论的同时,有机会了解数据库行业发展的趋势、动态、新技术探索以及商业环境中的实际应用,为未来有志于从事数据库工作的学生开阔视野,提供实用性的参考和指引。GaussDB走进课堂之数据库行业洞察数据库是“根技术”,一直被誉为基础软件皇冠上的明珠。就像50年代核弹氢弹是高精尖,而在信息时代,信息产业的高精尖主要在基础软硬件的核心控制上,数据库就是其中最重要的软件。从上世纪60年代至今,经历了前关系型数据库、关系型数据库、后关系型数据库三个阶段。二十一世纪一零年代以来,随着互联网与云计算的发展,国产数据库进入快速发展时期,越来越多的厂商在数据库领域进行布局,随之而来的是,数据库相关的各类组织陆续成立,数据库人才培养体系、生态体系也在快速完善。(图片来源:中国信通院发布《数据库发展研究报告(2021年)》)(图片来源:中国信通院发布《数据库发展研究报告(2021年)》)根据中国信通院研究报告数据,2020年全球数据库市场规模为671亿美元,其中中国数据库市场规模为35亿美元(约合241亿元人民币),占全球5.2%。预计到2025年,全球数据库市场规模将达到798亿美元,而中国数据库市场总规模将达到688亿元,市场年复合增长率将达到(CAGR)为23.4%。在数据库发展如火如荼的时代下,上云已经成为数字化时代的一个新标志。从行业角度来说,云是数字化和新基建的关键要素。据预测,到2025年,85%的应用都将运行在云上。软件云化的趋势已经不可逆转,基于云的软件开发也将是未来软件开发的主要形态。云计算也将是各位学子未来的主要职业通道。和IDC或ECS自建数据库相比,使用云数据库可以节省大量的人力和成本,减少繁重和重复的运维工作,客户可以将主要精力聚焦在自己的核心业务上。基于对产业趋势的理解和华为在IT软硬件全栈的长期技术积累,华为云数据库从人才、软硬协同和生态三方面进行战略布局。华为在数据库领域持续研发投入已经有10多个年头,布局全球7大研究所,拥有1000+数据库专业人才;同时,华为积极拥抱开源,并将GaussDB单机主备的核心代码开源,托管到openGauss开源社区,真正做到架构开放、代码开放、技术开放和社区开放;另外,积极推进产、学、研、用相结合,大力投入高校合作,通过校企联合课程培养未来数据库产业人才,与学术界紧密合作,共同开展数据库前沿技术创新及难题公关。GaussDB走进课堂之前沿技术探索在介绍完数据库行业趋势后,窦德明向学生们介绍了华为云数据库——GaussDB的关键特性和核心技术。GaussDB是基于openGauss开源生态打造的企业级分布式数据库,服务于金融政企客户。邓芳老师上学期的数据库课程随堂实验就是基于GaussDB进行,让学生可以专注于学习、实践,学习和了解分布式数据库架构与创新,提前体验商业环境中的数据库形态。在本学期,学生将继续使用GaussDB来进行数据库课程的课程设计。作为新一代金融级分布式数据库,GaussDB是华为全自研产品,应用了多项黑科技核心技术,拥有高性能、高可用、高扩展、高安全、AI-Native自治等诸多核心能力。GaussDB当前已经在1500+金融政企客户规模商用,成功支撑银行核心业务完成系统分布式改造,助力华为消费者云实现智慧化业务运营......越来越多的金融政企客户选择华为云GaussDB作为数字化转型的坚实数据底座。.GaussDB课堂问答两个小时的时间,窦德明为北邮的学生们带来了一场有声有色的数据库知识分享,同时还与学生积极互动,就学生关注的话题做了详细解答,这里我们节选了部分问答:“假定有一个Redis数据库采用AOF作为持久化策略,设定每秒同步一次,如果在同步之前服务器突然宕机,那这一秒的数据改如何恢复呢?”“内存中的数据如果已经写入日志,但日志未写入磁盘的话是恢复不了的。任何数据库都有这个问题,即使跨区域容灾的灾备同步,也无法完全保证这种情况下的数据不丢失。”“对于一些很重要的服务,如何提高数据的可靠性呢?”“这个问题需要从架构上解决,有很多方案。一种是基于存储级的高可靠,在存储与存储之间进行数据备份;一种是数据库级的高可靠,比如华为云分布式数据库支持多副本机制,把数据打散做分片,存储在各个数据节点上,当A节点出现故障后B节点有分片数据,只要存在一个可用数据副本,数据库的状态就是正常的。”“云原生数据库、分布式数据库和大数据技术的区别与联系是什么?”“这是三个不同的维度。云原生数据库主要是和传统数据库进行区分的,传统数据库是客户自己买服务器,自己建机房,硬件资源和数据库只给自己用,就是我们通常所说的“私有云”,云原生数据库是生于云、长于云,从一开始就是基于云的架构体系而孵化出来的数据库,可以理解为面向公有云和混合云场景。分布式数据库是和原来的单机主备数据库进行区分的,比如Oracle、MySQL、DB2这些都是单机主备数据库,数据库实例到达一定数据规模时无法水平扩展,分布式数据库是运用一些新技术,如大集群通信、计算存储分离、数据重分布等实现计算节点、存储节点的弹性扩缩容,解决数据库的扩展性问题。大数据的概念比较泛,通常大家说的大数据是指Hadoop这套体系,比如Spark、Flink等,但远不止这些,数据库、数据仓库、数据湖都是大数据领域的一部分,大数据是相对于传统数据量比较小、数据还没有爆发性增长时而言的,大数据更聚焦于把数据汇集到一起,进行海量数据的分析与挖掘。”“什么叫CN互为主备?如何保证SQL请求只被单个CN节点获取呢?”“CN互为主备就是材料中写的Active-Active,可以理解为断连重连,比如CN 1出现故障, jdbc会自动路由连接CN 2,所有新的SQL请求会通过CN 2下发执行,已经由CN 1下发的SQL将失败回滚。虽然应用连接配置的可能是多个CN,但一条SQL只能通过一个CN下发,只有这个CN故障后,这条SQL重新请求才会走到另外一个CN,以此保证SQL请求只被单个CN获取。”“老师,能不能直接在裸机上开发数据库内核,绕过操作系统呢?”“单纯的数据库内核编译可以绕过操作系统,但调试、部署这些是绕不过的,因为数据库底下就是操作系统,必须跑在操作系统上,还要解决不同操作系统的兼容性问题,所以是没办法绕过去的。”从学生的互动中可以感受到,北京邮电大学数据库课程的学生,不仅仅限于对数据库课堂内容的学习,还对数据库的可靠性、架构以及未来可能的创新点有进一步研究和探索。数据库是讲究生态的产业,生态需要耐心持续的投入。一直以来,华为云GaussDB积极参与和推进产业生态,与高校、开发者、合作伙伴共建生态,并已与国内80+所院校建立起合作关系。未来,华为云GaussDB也将继续携手北京邮电大学以及更多高校,积极推进校企联合,为学生们输送更多行业前沿动态和技术探索,持续完善华为云GaussDB数据库的人才培养体系,保障数据库产业未来人才供给。华为云数据库团队2023届实习岗位已经开放,向想要步入数据库行业的人才张开了怀抱。如果你对数据库充满热爱和好奇,快来和我们一起探索代码奥秘吧!HR专员:zhaochao1@huawei.com
  • [技术干货] 华为云GaussDB期刊上线啦!点击详情下载
    近日,华为云GaussDB重磅推出了《华为云数据库GaussDB》专刊。在这里,我们将为您剖析数据库最前沿技术及方向,解读GaussDB全套解决方案,跨越数字化实践应用鸿沟,为千行百业持续提供稳定高效智能的数据服务。五大板块,全方位为您提供更丰富的数据库内容:产业观点:洞悉数据库前沿发展趋势,掌握数据库最新方向解决方案:全套GaussDB数据库迁移解决方案,让客户安心、省心、放心客户实践:成功在1500+大型客户规模商用,助力千行百业数字化转型开放生态:产学研用,汇聚创新力量,助推数据库产业生态发展最新动态:新品上市、产业动态、行业资讯、开发者活动等重大内容抢先知我们相信,未来一定会有越来越多的企业基于云数据库来构建更稳定可靠的数据底座服务,企业数字化进程也会在云数据库的助力下变得更快、更稳。想了解更多《华为云数据库GaussDB》专刊内容,欢迎点击下方【附件】下载哦!
  • 【第39课】GaussDB如何进行性能调优
    GaussDB性能调优过程需要综合考虑多方面因素,因此,调优人员应对系统软件架构、软硬件配置、数据库配置参数、并发控制、查询处理和数据库应用有广泛而深刻的理解。调优流程调优各阶段说明,如下表所示。阶段描述确定性能调优范围获取集群各节点的CPU、内存、I/O和网络资源使用情况,确认这些资源是否已被充分利用,是否存在瓶颈点。SQL调优指南审视业务所用SQL语句是否存在可优化空间,包括:通过ANALYZE语句生成表统计信息:ANALYZE语句可收集与数据库中表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以确定最有效的执行计划。分析执行计划:EXPLAIN语句可显示SQL语句的执行计划,EXPLAIN PERFORMANCE语句可显示SQL语句中各算子的执行时间。查找问题根因并进行调优:通过分析执行计划,找到可能存在的原因,进行针对性的调优,通常为调整数据库级SQL调优参数。编写更优的SQL:介绍一些复杂查询中的中间临时数据缓存、结果集缓存、结果集合并等场景中的更优SQL语法。数据库性能调优通常发生在用户对业务的执行效率不满意,期望通过调优加快业务执行的情况下。正如“性能因素”小节所述,数据库性能受影响因素多,从而性能调优是一项复杂的工程,有些时候无法系统性地说明和解释,而是依赖于DBA的经验判断。尽管如此,此处还是期望能尽量系统性的对性能调优方法加以说明,方便应用开发人员和刚接触GaussDB的DBA参考。性能因素多个性能因素会影响数据库性能,了解这些因素可以帮助定位和分析性能问题。系统资源数据库性能在很大程度上依赖于磁盘的I/O和内存使用情况。为了准确设置性能指标,用户需要了解集群部署硬件的基本性能。CPU,硬盘,磁盘控制器,内存和网络接口等这些硬件性能将显著影响数据库的运行速度。负载负载等于数据库系统的需求总量,它会随着时间变化。总体负载包含用户查询,应用程序,并行作业,事务以及数据库随时传递的系统命令。比如:多用户在执行多个查询时会提高负载。负载会显著地影响数据库的性能。了解工作负载高峰期可以帮助用户更合理地利用系统资源,更有效地完成系统任务。吞吐量使用系统的吞吐量来定义处理数据的整体能力。数据库的吞吐量以每秒的查询次数、每秒的处理事务数量或平均响应时间来测量。数据库的处理能力与底层系统(磁盘I/O,CPU速度,存储器带宽等)有密切的关系,所以当设置数据库吞吐量目标时,需要提前了解硬件的性能。竞争竞争是指两组或多组负载组件尝试使用冲突的方式使用系统的情况。比如,多条查询视图同一时间更新相同的数据,或者多个大量的负载争夺系统资源。随着竞争的增加,吞吐量下降。优化数据库优化可以影响到整个系统的性能。在执行SQL制定、数据库配置参数、表设计、数据分布等操作时,启用数据库查询优化器打造最有效的执行计划。调优范围确定性能调优主要通过查看集群各节点的CPU、内存、I/O和网络这些硬件资源的使用情况,确认这些资源是否已被充分利用,是否存在瓶颈点,然后针对性调优。如果某个资源已达瓶颈,则:          检查关键的操作系统参数和数据库参数是否合理设置。          通过查询最耗时的SQL语句、跑不出来的SQL语句,找出耗资源的SQL,进行SQL调优指南。如果所有资源均未达瓶颈,则表明性能仍有提升潜力。可以查询最耗时的SQL语句,或者跑不出来的SQL语句,进行针对性的SQL调优指南。
  • 【第38课】GaussDB如何进行SQL调优
    数据库使用过程中,SQL调优是提升数据库性能的重点。SQL调优的唯一目的是“资源利用最大化”,即CPU、内存、磁盘IO、网络IO四种资源利用最大化。所有调优手段都是围绕资源使用开展的。所谓资源利用最大化是指SQL语句尽量高效,节省资源开销,以最小的代价实现最大的效益。本章介绍典型的SQL调优的方法和案例。调优流程对慢SQL语句进行分析,通常包括以下步骤:1. 收集SQL中涉及到的所有表的统计信息。在数据库中,统计信息是规划器生成计划的源数据。没有收集统计信息或者统计信息陈旧往往会造成执行计划严重劣化,从而导致性能问题。从经验数据来看,10%左右性能问题是因为没有收集统计信息。具体请参见更新统计信息。通过查看执行计划来查找原因。如果SQL长时间运行未结束,通过EXPLAIN命令查看执行计划,进行初步定位。如果SQL可以运行出来,则推荐使用EXPLAIN ANALYZE或EXPLAIN PERFORMANCE查看执行计划及实际运行情况,以便更精准地定位问题原因。有关执行计划的详细介绍请参见SQL执行计划介绍。3. 审视和修改表定义。4. 针对EXPLAIN或EXPLAIN PERFORMANCE信息,定位SQL慢的具体原因以及改进措施,具体参见典型SQL调优点。5. 通常情况下,有些SQL语句可以通过查询重写转换成等价的,或特定场景下等价的语句。重写后的语句比原语句更简单,且可以简化某些执行步骤达到提升性能的目的。查询重写方法在各个数据库中基本是通用的。经验总结:SQL语句改写规则介绍了几种常用的通过改写SQL进行调优的方法。典型调优案例选择合适的分布列现象描述:表定义如下:CREATE TABLE t1 (a int, b int);CREATE TABLE t2 (a int, b int);执行如下查询:SELECT * FROM t1, t2 WHERE t1.a = t2.b;优化分析:如果将a作为t1和t2的分布列:CREATE TABLE t1 (a int, b int) DISTRIBUTE BY HASH (a);CREATE TABLE t2 (a int, b int) DISTRIBUTE BY HASH (a);则执行计划将存在“Streaming”,导致DN之间存在较大通信数据量。如果将a作为t1的分布列,将b作为t2的分布列:CREATE TABLE t1 (a int, b int) DISTRIBUTE BY HASH (a);CREATE TABLE t2 (a int, b int) DISTRIBUTE BY HASH (b);则执行计划将不包含“Streaming”,减少DN之间存在的通信数据量,从而提升查询性能。建立合适的索引。现象描述:查询与销售部所有员工的信息:SELECT staff_id,first_name,last_name,employment_id,state_name,city FROM staffs,sections,states,places WHERE sections.section_name='Sales' AND staffs.section_id = sections.section_id AND sections.place_id = places.place_id AND places.state_id = states.state_id ORDER BY staff_id;优化分析:建议在places.place_id和states.state_id列上建立2个索引。更多其他调优案例请参考调优案例。
  • 【第37课】Oracle同步至GaussDB的最佳实践方案
    本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据长期同步。业务架构图操作流程创建GaussDB实例创建GaussDB实例,作为迁移任务目标库。具体请参考创建实例。迁移前构造数据迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。具体请参考这里。创建迁移任务创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB实例中test_database_info数据库中。1.  登录华为云控制台。2.  单击管理控制台左上角的图标,选择区域。选择目标实例所在的区域。3. 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。4. 左侧导航栏选择“实时同步管理”,单击“创建迁移任务”。5. 配置同步实例信息。选择区域,项目,填写任务名称。配置迁移任务的类型,选择目标实例和子网。单击“下一步”。6. 配置源库及目标库信息。填写源库的IP、端口、用户、密码等信息。填写完成后,需要单击“测试连接”,测试连接信息是否正确。填写目标库的账户和密码。填写完成后,需要单击“测试连接”,测试连接信息是否正确。单击“下一步”,仔细阅读提示内容后,单击“同意,并继续”。7. 设置同步。在源库选择需要迁移的数据库和表。本次实践中选择“test_info”中的“DATATYPELIST”表。​​​​​​​选择完成后,可以设置迁移后是否重新命名库名和表名。​​​​​​​本次实践将表名重新命名为“DATATYPELIST_After”。注意重新命名时不要使用特殊符号,否则会导致迁移后执行SQL语句报错。​​​​​​​确认重命名设置内容,单击“下一步”。​​​​​​​8. 高级设置。本页面内容仅做确认,无法修改,确认完成后单击“下一步”。9. 数据加工。在该页面可以对迁移的表进行加工。包括选择迁移的列,重新命名迁移后的列名,本次实践将“COL_01_CHAR______E”重新命名为“new-line”。选择需要加工的表。      编辑“COL_01_CHAR______E”列。      将“COL_01_CHAR______E”重新命名为“new-line”,单击“确定”。      单击“下一步”。10. 预检查。所有配置完成后,进行预检查,确保迁移成功。对于未通过的项目,根据检查结果中的提示信息修复,修复完成后,单击“重新校验”,直到预检查通过率为100%。​​​​​​​预检查全部通过后,单击“下一步”。11. 任务确定。检查所有配置项是否正确。单击“启动任务”,仔细阅读提示后,勾选“我已阅读启动前须知”。单击“启动任务”,完成任务创建。      12. 任务创建成功。任务创建成功后,返回任务列表查看创建的任务状态。
  • [行业资讯] 华为云数据库亮相2021PG中国技术大会并斩获4项大奖
    1月7日-9日,以“开源论道·数据驱动·共建数字化未来”为主题的第十一届PostgreSQL中国技术大会隆重举办。华为多位数据库专家出席并发表了重要演讲,分享了华为云数据库最新技术与实践,积极推动商业落地,使能企业智能升级。会上,华为云RDS for PostgreSQL荣获“数据库最具潜力产品奖”,华为流程IT DBA团队荣获“PostgreSQL中国最具价值团队奖”,华为数据库架构师陈华军和华为云数据库高级专家赵全明分别荣获“十周年卓越贡献特别奖”、“中国PostgreSQL最具价值专家MVP奖”。大会主会场,华为质量与流程IT数据库架构师陈华军分享了《华为集团IT PostgreSQL运用实践》主题演讲。他介绍到,流程IT作为服务华为公司19万员工的企业IT部门,支持华为公司全球业务、全球研发、全球协同,客户覆盖全球170多个国家、服务上亿消费者。为了应对日益增长的业务数据和海量并发问题,华为集团对交易库选择主要采用云数据库PostgreSQL去“O”,通过架构部署、参数调优、客户端配置、监控告警、性能诊断工具、闪回实现等能力,很好地解决了数据库兼容性、扩展性、数据一致性、性能等方面的问题。目前,华为集团IT去“O”和上云工作已完成一半。华为云数据库高级工程师刘志俊在分论坛分享了《Oracle迁移到PostgreSQL的挑战与突破》。他提到,近年来去“O”的呼声越来越大,大量的传统企业开始脱离“IOE”集中式架构,进行云端分布式改造。针对扩展性、技术不可控、高成本等去“O”难题,华为云GaussDB推出了数据库和应用迁移UGO+数据复制服务DRS专属组合解决方案,该方案从迁移评估、结构迁移、应用迁移、全量+增量数据迁移、数据一致性动态校验、流量回放等方面提供了一站式迁移上云方案,让客户上云更轻松、更高效。华为云数据库产品经理冯万里分享了《解锁华为云数据库PostgreSQL高速增长密码》。他表示,华为云数据库PostgreSQL连续3年保持5倍营收增长,持续为5000+客户创造了价值。取得这一重大成果的原因在于,华为云RDS for PostgreSQL具备卓越的高可靠、高安全、插件丰富、兼容开源、便捷上云、低成本等能力优势,并在国家地理信息服务平台天地图和中国一汽等企业中成功落地。华为云数据库高级工程师杨科伟在分论坛分享了《GaussDB(for Redis)的云原生存算分离架构实践》。他指出,存算分离的分布式架构是大势所趋,目前已经有越来越多企业选择将核心业务上云到该架构。华为云GaussDB(for Redis)基于该架构,完美避开了开源Redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%等问题,构筑了强一致、高可用、冷热分离、弹性伸缩、高性能等极具竞争力的能力优势,极大促进了企业业务的发展。华为云数据库高级工程师党李飞分享了《华为云DDS数据库容灾关键技术》。他介绍到,华为云DDS是一款兼容MongoDB 3.4/4.0版本的文档数据库服务,目前支持分片集群、副本集和单节点三种部署架构。华为云DDS基于华为云数据复制服务DRS灾备技术,支持主备倒换,通过数据抓取和数据回放,保障数据一致性。通过优化原生Change Streams,华为云DDS支持更丰富的DDL语句,对于集合删除、数据库删除事件,日志拉取不中断,支撑近50000 ops,与社区版相比,性能得到大幅提升。技术不止步,服务更贴心,华为云数据库未来将会打造更优、更专业高效的数据库服务,赋能企业挖掘数据价值,推动业务革新,加速企业数字化转型。 错过直播不要怕,点击下面链接可直接回顾精彩:1月7日,华为数据库架构师陈华军演讲链接:https://live.csdn.net/room/postgresqlchina/1Ppndzfv?spm=1001.2014.3001.55011月8日,华为云数据库高级工程师刘志俊演讲链接:https://live.csdn.net/room/postgresqlchina/FS0reRwq?spm=1001.2014.3001.55011月9日,华为云数据库高级工程师杨科伟和党李飞、华为云数据库产品经理冯万里演讲链接:https://live.csdn.net/room/postgresqlchina/XB2Uc2AA?spm=1001.2014.3001.5501 【阅读原文】https://www.huaweicloud.com/product/dbs.html
  • [版主精选] 华为云数据库携手微鲤,打造数字技术与时间管理的强强联合!
    人总说,时间从来不语,却回答了所有问题。它将每一分秒凝成过去,镌史成册,几千年后的我们仍可与之对语。若说有什么能跨越千年,告知我们时间的答案,那想必,二十四节气必占一席之地。二十四节气,在国际气象界被誉为中国第五**明,从春秋时代的初现雏形,经历了战国后期《吕氏春秋•十二纪》中的积累延续,再到秦汉年间完全确立,经过人类智慧的创造,它已经不仅仅是准确反映自然节律变化那么简单,更蕴含着深厚的文化内涵和悠久的历史积淀。古时,人们用二十四节气记录时间,以此为标准来指导农耕生产,而经过几千年的传承,记录时间的方式已经有了更多元化的选择,比如——日历。在网络不发达的年代,老百姓们家里挂着的还是纸质日历,在我们的印象中,老人每天早上站在日历前,撕下旧的一页,展出新的一张,代表着新的一天到来了。随着网络的发展,科技的进步,手机日历融入到了我们的生活中,但已不单单是记录时间那么简单,它可以天气预报,提前预知温度变化;可以日程提醒,让工作和生活有条不紊;可以休闲阅读,让身心随时放松...... 这些都在中华万年历APP中得到了淋漓尽致的体现,一款日历软件,连接起了**的时间和有趣的事儿,成为了3亿人的共同选择。如果说中华万年历能让我们在生活中更便捷地规划时间,那么微鲤看看这款软件则让我们在时间的缓缓流逝中再一次爱上生活。作为一款创新型资讯社区APP,微鲤看看给了我们足不出户就可以看世界的机会,养生、音乐、美食等几十类资讯无所不有,社区互动带给我们更多志同道合的伙伴,让每个人在匆忙赶路的同时享受当下生活,让时间过得慢一些,再有趣一些。赶上云原生的早班车,也渴望新技术的更新换代让时光充满乐趣,是微鲤一直在做的事情。微鲤是一家移动互联网公司,一直专注于时间管理和软件开发,中华万年历和微鲤看看作为其旗下的知名APP,月活数千万,在业内影响力极大。随着云原生时代的演进,微鲤赶上了这趟早班车,成为最早一批的云原生使用者,在数字化变革的红利之下,其用户数快速增长,仅中华万年历一款APP的累计用户截至目前已经突破3亿,跻身千万级移动应用行业。业务量在日渐增长,一些问题也随之而来。例如中华万年历和微鲤看看两款软件的数据库实例都多达64个,中华万年历通过手动拆分进行分库分表,造成了明显的资源浪费,同时业务代码时有侵入,也需要大量的维护工作;微鲤看看日志主机的存量数据量较大,但随着业务调整,资源出现冗余,没有较好地整合。面对如此种种现状,对中华万年历数据库的分库分表改造和微鲤看看的资源整合问题迫在眉睫,于是,选择将业务迁移割接到新的数据库系统来彻底解决这些问题在微鲤的技术团队中形成共识。不过,原先使用的数据库实例较多,不同实例参数差异大,且不同APP之间的数据分别存在于不同的数据库之中,各APP对于迁移割接方案的要求也不尽相同,因此,将各业务都实现平滑迁移面临着较大的挑战。华为云数据库有的放矢,助力微鲤业务降本增效基于以上的业务需求,微鲤亟需一款可弹性伸缩和极致性能的数据库来解决资源冗余的问题,并保证迁移过程中业务不受影响。众里寻他千百度,在一众的数据库产品中,微鲤将眼光瞄向了华为云数据库。华为云数据库基于多年累积的数据库研发、搭建和维护经验,结合云化改造技术,大幅优化传统数据库,打造出了多款高性能、高可靠、高安全、可弹性伸缩的数据库,并拥有容灾、备份恢复、实时监控、在线迁移等全面的解决方案。经过多次业务交流,微鲤对华为云数据库表示高度认可,并选择华为云数据库作为长期合作伙伴,双方在数据领域展开了深入合作。针对微鲤业务上面临的挑战,华为云数据库团队快速响应需求,有的放矢提供了针对性的方案:迁移方案评估:在项目前期对整体业务和应用系统进行充分调研,梳理出所有业务的应用场景,针对不同APP对割接时间的要求进行分类,输出三种割接方案,进行多次DRS数据迁移测试和割接演练,确保各项业务平滑迁移至华为云上。中华万年历分库分表改造方案:当前中华万年历的业务存在分表不分库、分库不分表、分库分表三种场景,根据实际的业务场景需求和未来3-5年的发展规划,梳理出当前手动分库分表逻辑,统计分库分表的数据量,依据业务的常用查询条件,选择合适的分片键和实例规格数量,将近10亿的数据量同步到分布式中间件DDM+RDS for MySQL中。微鲤看看数据库合并方案:深入了解微鲤看看的业务应用场景,查看源端自建实例的监控指标,分析各个实例的读写压力,再结合数据量,按照业务的写入数据的模式,将64个自建MySQL实例优化合并为5个RDS实例。在华为云项目团队的高效运作下,仅两个多月的时间内,微鲤多项业务平滑迁移至华为云数据库RDS for MySQL中。中华万年历在不影响业务性能的前提下,近10亿的数据在高效同步的同时做到了0丢失,数据可靠性大大增强;不仅如此,使用DDM+RDS for MySQL替代原有复杂的分库分表方式既简化了业务代码,又提高了整个业务的读写性能。微鲤看看通过实例合并和数据均摊的方式有效均衡了业务读写压力,降低运维成本,减轻了后期维护压力。良好的开端是成功的一半。目前,针对微鲤业务的解决方案已经在实施中取得明显成效,微鲤剩余的业务量将会按计划陆续搬迁至华为云数据库,在保障业务稳定性的前提下进行业务切换,顺利完成业务迁移。着眼将来,华为云将继续携手微鲤,深化合作,不忘初心,以数字科技持续赋能时间管理和休闲方式,让每个人的清浅时光在白驹过隙之中都有迹可循。华为云数据库携手微鲤以数字科技重新定义时间管理让流逝的分秒尽可光芒万丈 近10亿数据量同步0丢失64个自建实例优化合并为5个RDS实例业务代码结构简化,读写性能大幅提升
  • [版主精选] 2021华为云GaussDB年度大盘点,感恩有你
    回首2021,我们探索数字化实践和前沿技术之路,深入产业发展与生态合作,勇攀一个个高峰;展望2022,我们怀抱更大的数字梦想,继续探索数字时代星辰大海。前行之路感谢相伴,华为云GaussDB 与您一起筑梦前行。https://www.huaweicloud.com/product/dbs.html
  • [行业资讯] 再获认可!华为云GaussDB数据库荣获年度优秀创新软件产品大奖
    12月27日,由中国电子信息行业联合会和盐城市人民政府联合主办的2021年度中国电子信息行业发展大会在盐城顺利召开。会上,华为云数据库GaussDB以显著的优势脱颖而出,揽获“2020-2021年优秀创新软件产品”大奖。近年来,随着新一代信息技术的高速发展,电子信息产业迸发出了蓬勃的生机,逐步成为国民经济的战略性、基础性和先导性产业。此次在盐城召开的中国电子信息行业发展大会作为业内的权威盛会,吸引了无数专业人士的目光,业内专家学者、企业家代表等汇聚一堂,在这里分享经验,深入交流,共商发展大计,共谋宏伟蓝图。同时,会上举办了2020-2021年度优秀创新软件产品发布会,对优秀的软件产品给予奖项肯定。在此次大会上获得“2020—2021年优秀创新软件产品”殊荣的GaussDB基于华为主导的开放生态openGauss而打造,是一款主打政企核心业务负载的企业级分布式数据库旗舰产品,在技术的创新性和先进性上都有着突出的优势,能够满足客户高可靠、高性能、高扩展等多方面的需求。GaussDB具备应对海量并发事务处理与复杂查询混合负载的能力,通过Numa-Aware技术与全并行架构的创新,性能大幅领先同行产品,并具备超过1000+节点的弹性扩展能力;同时,与金融客户的联创证明了它具备出色的金融级高可用商用能力,如同城AZ内高可用、跨AZ高可用、异地跨Region的两地三中心容灾方案等,能够满足金融级监管的高要求;在安全性上,应用了华为推出的全球首款纯软全密态技术来实现数据传输、计算、存储全链路的加密,从而实现数据全生命周期内的安全保护,轻松解决数据库云上隐私泄露及第三方信任问题;并通过将AI技术植入到数据库内核的架构和算法中,实现数据库智能调优、索引推荐、自诊断、自运维等多种能力,协助DBA降低运维难度,大幅提升管理效率。经过数十年的积累,GaussDB已经广泛适用于金融、政企、互联网、运营商等关键场景,经受住了各种严苛场景的锤炼。在对数据库要求最为苛刻的金融行业,已经有6大国有大型银行中的4家银行(包括工商银行,农业银行,建设银行,邮政储蓄银行),以及多家股份制银行和保险证券机构都选择了GaussDB作为其数字化转型的坚实数据底座。长期以来,华为云一直将技术研发作为重点,进行大量的投入,技术创新能力和水平都处于国内领先地位。放眼将来,华为云GaussDB将持续聚焦数据库根技术,联合更多合作伙伴,共创共赢,打造更多更贴合用户场景的数据底座服务能力,为企业的数字化转型保驾护航。
  • [行业资讯] 华为云GaussDB新产品特性亮相DTC2021,重磅新品开源预告
    12月23-24日,以“智能·创新·新生态——数据智领未来 生态共创价值”为主题的第十一届数据技术嘉年华(DTC2021)在线上盛大开启。华为云数据库产品部CTO庄乾锋携3位GaussDB技术专家线上分享了产品最新技术、优秀实践案例,以及透露了重大新品即将开源,以数据驱动业务发展,为企业数字化转型持续注入新动力。华为云数据库产品部CTO庄乾锋线上发表演讲华为云GaussDB深耕技术创新与生态开放,推进企业数字化转型23日上午主会场,庄乾锋分享了《深耕创新与开放合作——GaussDB企业级云原生架构演进与开放生态》主题演讲。他介绍到,华为云GaussDB基于统一的底层DFV分布式存储架构,围绕“金融级高可用、软硬深度协同、企业级混合负载、云原生多主架构、全密态数据库、AI-Native自治”等6大数据库基础研究方向,持续技术创新,打造根技术竞争力。华为云GaussDB基于融合开放理念,积极拥抱并兼容业界主流的数据库开源生态,并对外开源openGauss单机主备能力,积极推进openGauss开源社区“共建共享共治”。此外,还联合产业联盟与标准组织、高校、合作伙伴、开发者打造数据库开放生态,共同繁荣数据库产业。华为云GaussDB提供了全场景、全开放的数据库生态选择,为客户量身打造了“架构+应用+数据”一体化的数据库迁移方案,提供了高性能、高可用、极速扩展、稳定可靠的服务能力,帮助政企客户“选型安心、迁移放心、管理省心”,不断推进企业数字化转型。华为云GaussDB:内核存储引擎和同城双集群高可用方案揭秘内核技术作为数据库技术的灵魂,影响着系统的安全可靠,对业务发展至关重要。华为云GaussDB技术专家王磊在会上揭秘了GaussDB新一代内核存储引擎技术。GaussDB存储引擎分为磁盘引擎和内存引擎,磁盘引擎面向通用的、大容量业务场景,内存引擎面向容量可控的、追求极致性能的业务场景。通过对两者的结合,GaussDB提供了高性能/高扩展的并发控制事务系统、高可靠/高可用的日志系统、灵活的表级存储格式/引擎、统一的行存访存接口等能力,面对大容量、追求极致性能的业务场景表现更优。王磊还揭秘了GaussDB同城双集群高可用方案,通过提供金融级高可用服务,支持RPO=0 、RTO<60s的同城双集群切换,尽最大可能保障企业用户的核心业务7X24小时无中断,为企业业务保驾护航。华为云GaussDB(for MySQL):聚焦客户需求,构建五维一体的云原生数据库能力云原生在各领域逐渐成为主流,越来越多的企业应用基于云原生架构运行,云原生数据库也开始在各行各业核心系统应用实践。在服务客户过程中,华为云GaussDB总结了五个业界和客户最关心的问题,分别是海量数据存储与管理、高性能、高可靠、高扩展、易用易维。如何提升云原生数据库的能力,满足这五个维度的需求,是服务好企业应用上云的关键。华为云GaussDB系统架构以6点云原生设计理念为基础,在演进过程中不断地引入各种企业级高阶特性,针对不同场景提供各类解决方案,如并行查询、NDP、Faster DDL、多主、HTAP等。GaussDB原生设计和高阶特性都从若干个切入点解决上述提到的客户最关切的五个维度问题,并致力于从这五个维度持续演进,提供最佳的云原生数据库体验。华为云时序数据库GaussDB(for Influx):持续演进,即将开源时序数据存在于各行各业,体量也随着业务发展不断变大,随之而来的高成本、海量数据管理、复杂场景处理也逐渐困扰着企业用户。应对挑战,华为云数据库创新Lab技术专家徐然通过几个常见难题,针对性地提出了高效可靠的解决方案。比如成本高昂问题,GaussDB(for Influx)通过数据分区,单集群轻松管理PB级数据,同时自适应多级压缩算法,压缩率较开源提升50%~200%,极大减轻了存储和管理成本。再如多维聚合查询场景,GaussDB(for Influx)设计了一款面向多维聚合的查询引擎,大数据量聚合查询性能是开源的10倍以上,并支持多维条件组合查询。徐然还透露GaussDB(for Influx)已完成2.0版本的重构,写入和查询的性能都得到了大幅提升,后续有计划开源,将释放更多能力。未来GaussDB(for Influx)将使用社区版本制作商业发行版,并在支持更大规模时间线、支持更大规模集群、新增统计分析算子等方面发展演进,为更多客户提供高效可靠的服务。技术演进,创新不止,华为云GaussDB会持续开源开放,携手更多合作伙伴,打造更优、更专业高效的数据库服务,加速企业数字化转型,普惠千行百业。 【重磅活动推荐】12.12 华为云数据库专场火热来袭,云数据库MySQL 低至12.12元,爆款云数据库包年1折起,更多优惠详情,请前往华为云官网:https://activity.huaweicloud.com/dbs_Promotion/index.html
  • [版主精选] DTC大会收官!华为云GaussDB大咖金句新鲜“出炉”,快来一睹为快!
    今天DTC数据技术嘉年华迎来了完美收官华为云GaussDB大咖们又产出了哪些金句呢?快来一睹为快!
  • [行业资讯] DTC精彩议程抢先知!大咖云集分享华为云GaussDB技术创新与实践经验
    12月23-24日,2021年第十一届DTC数据技术嘉年华将盛大开启,大会采取线上形式,届时,华为云数据库四位技术专家将现身分享GaussDB数据库技术创新、探索实践经验以及未来在技术、生态方向的发展规划。精彩议程抢先知晓,让我们一睹为快!
  • [行业资讯] 华为云GaussDB技术创新持续发力,荣膺DTCC2021创新大奖
    近日,在第十二届DTCC中国数据库技术大会“2021技术卓越奖”评选活动中,华为云GaussDB同城双集群RPO=0高可用方案凭借卓越的高可用技术和完善的技术架构荣获“年度最佳创新解决方案奖”。第十二届DTCC中国数据库技术大会是由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的数据库领域顶级盛会,经过数十年的积累与沉淀,已成为国内数据库领域的技术风向标,见证了整个行业的发展和变革。大会历年来颁发的奖项更是成为数据技术领域的权威奖项。本次华为云数据库数十位技术专家受邀参加这场年度技术盛宴,在华为云定制专场详细分享了GaussDB在技术创新方面的深入探索以及行业最佳应用与实践,而GaussDB同城双集群RPO=0高可用方案凭借突出的优势,在众多的竞品中脱颖而出,荣获“年度最佳创新解决方案奖”。GaussDB同城双集群RPO=0高可用方案是GaussDB深入洞察客户痛点,基于华为云全栈打造的全新高可用架构。该方案中数据库集群的多副本机制结合存储的硬件故障检测和自愈能力,使数据安全实现双保险,大幅提升了整个系统的可靠性;数据库集群间完全解耦,资源域和故障域隔离,避免了全局性的网络故障和集群管理组件故障。该方案满足金融级高可用,支持RPO=0、RTO<60s的同城双集群切换,针对性能和稳定性有更高要求的核心业务场景提供了安全可靠的数据库服务,保障企业用户的核心业务7×24小时无中断。技术创新永无止境。每一份奖项和荣誉都不是终章,而是竿头日进的新起点。华为云GaussDB在数据库领域持续深耕,积累了深厚的技术底蕴,获得行业的广泛认可。未来,也将继续携手更多企业,一起积极探索,共创数字化发展成果。
  • [行业资讯] 权威认证!华为云GaussDB两大数据库通过信通院最新评测
    近期,中国信通院公布了第十三批数据库产品基础能力、性能和稳定性评审结果。在本次评审会的关系型云数据库基础能力评测项目中,华为云 GaussDB(for MySQL)数据库和 GaussDB数据库凭借卓越的产品特性,经过严格的产品资料审核、测试报告审核、参评厂商答辩、质询与答疑、集中评议五个环节,获得专家团队的一致认可。这不仅代表着该两款数据库达到行业公认水平,更是对华为云数据库多年来技术能力的高度认可。华为云GaussDB作为一款主打政企核心业务负载的企业级分布式数据库旗舰产品,基于华为公司的开放生态openGauss而打造,无论从生态还是代码都由华为自主研发,能够满足客户高安全、高可靠、高性能、高扩展的需求。它具备应对海量并发事务处理与复杂查询混合负载的能力,通过技术与全并行架构的创新,性能大幅领先同行产品,并具备超过1000+节点的弹性扩展能力;同时,与金融客户的联创证明了它具备出色的金融级高可用商用能力;还应用了华为推出的全球首款纯软全密态技术来保障数据传输、计算、存储全链路的安全;并通过将AI技术植入到数据库内核的架构和算法中,让数据库管理更加智能与高效。作为一款金融级数据库,GaussDB受到众多有高性能和高可用应用场景需求的企业的青睐。在对数据库要求最为苛刻的金融行业,已经有6大国有大型银行中的4家银行(包括工商银行,农业银行,建设银行,邮政储蓄银行),以及多家股份制银行和保险证券机构选择了GaussDB作为数字化转型的坚实数据底座。作为华为另一款自研的新一代高性能云原生分布式数据库,华为云GaussDB(for MySQL)在云原生业务场景有很明显的核心优势。GaussDB(for MySQL) 基于存算分离架构,完全兼容MySQL 8.0,最高支持128TB的海量存储,可实现超百万级QPS吞吐,支持跨AZ部署,数据0丢失,既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性。而全新推出的GaussDB(for MySQL)2.0版本更是在性能、可用性、扩展性等各方面都进行了创新和升级,2.0版本在原有的技术基础上深度整合了华为云计算堆栈的独特能力,通过并行查询PQ技术和算子下推NDP技术的融合,大大提升了查询场景的性能;并支持Serverless根据数据容量自动伸缩,轻松实现秒级伸缩和应用0感知;面对海量高并发数据处理场景,该版本通过分布式全并行架构及多节点写入来提供极致的吞吐量性能。GaussDB(for MySQL)数据库面向企业云原生赛道,在音视频、互联网电商、游戏、保险、汽车制造、物流、交通出行等多个行业场景得到广泛应用,包括助力永安保险重构核心业务系统,帮助电商富米科技打造领先的服装供应链电商平台,赋能中国一汽红旗和一汽大众数字化转型......数据库是需要长期持续战略投入和孵化门槛很高的产品。华为云GaussDB将继续凭借华为软硬件全栈协同优势和多年来的数据库内核技术积累,与客户一起积极探索,共同打造更贴合用户场景的数据底座服务能力,真正实现技术与业务的更好融合,并积极拥抱和兼容更多数据库生态,牵手更多合作伙伴、产业组织和高校,携手向前,共创未来!华为云数据库12.12专场来袭~助力千行百业加速上云!MySQL、DDS、GaussDB(for Redis)等多款产品免费试用,点击链接体验。cid:link_0
  • [热门活动] 【年终回馈】云数据库包年1折,新用户12元享6个月!
    华为云会员年末福利来袭~云数据库MySQL、GaussDB(for Redis)等产品新用户低至12元,包年1折起!领取万元红包,消费满额送华为保时捷设计手机!更多活动信息请前往云数据库专场:https://activity.huaweicloud.com/dbs_Promotion/index.html
总条数:1539 到第
上滑加载中