-
近日,由中国信息通信研究院主办的“原生聚力,云数赋能”第四届云原生产业大会顺利召开。在这场云原生领域盛会中,华为云GaussDB(for MySQL)云原生数据库凭优越的技术创新实力和实践经验,荣获“云原生技术创新领航者-云原生技术创新案例”大奖。华为云数据库副部长庄乾锋表示,当前数据库行业迎来云原生2.0时代,企业对云数据库提出了更高性能、安全可靠、极致扩展等诸多诉求。华为云GaussDB通过整合多年数据库领域经验和客户诉求,构筑云原生数据库全栈能力,构建以应用为中心的新型数据库云服务,积极引领云原生数据库发展新方向。华为云GaussDB(for MySQL)获云原生数据库领域权威奖项聚焦技术创新 深入云原生领域持续发力作为新一代企业级高性能云原生分布式数据库,华为云GaussDB(for MySQL)基于DFV分布式存储,采用存算分离架构,拥有128TB的海量存储空间,可实现超百万级QPS 吞吐,既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性,在云原生业务场景有非常明显的核心优势。华为独特优势:垂直集成与传统的线下数据库不同,云数据库有垂直集成云栈中所有层的能力,在云上,存储和数据库的集成能发挥更大的作用。通过并行查询(PQ)提高性能并行是提高性能的通用方法,可以在多层上实现,华为云GaussDB(for MySQL)允许使用多个线程并行执行单个查询;此外,允许更高并行力度的层是存储层,因为存储系统一般有数百个节点和数千个核心,GaussDB(for MySQL) 使用的云规模的分布式存储是提高查询性能的关键基础,结合并行查询,实现大幅提升查询性能。算子下推(NDP)加速查询效率GaussDB(for MySQL)通过算子下推(NDP)技术,把算子卸载到数据所在的存储节点上,利用当地可用的计算资源执行,无需将数据读到计算节点中。实现了在大规模查询场景中将90%的逻辑计算在分布式存储层完成,大幅度降低了网络I/O 延迟,充分释放了云计算算力,在TPC-H测试中,相比社区版本,其性能最高提升了34倍。秒级伸缩,应用0感知GaussDB(for MySQL)支持Serverless,根据数据容量自动伸缩,存储自动打散负载压力,无需分库分表。HTAP 只读分析用户既能得到 MySQL 完备的事务保障,又能享受到 GaussDB(for MySQL) HTAP 只读分析的极致分析性能。华为云GaussDB(for MySQL)不仅通过分布式全并行架构和多节点写入提供极致的吞吐量性能,轻松应对海量高并发数据处理,提升高可用能力;还具备跨AZ部署、跨region容灾、单点故障0中断等多个特性,满足金融级别的高可靠性;且仅需要商用数据库1/10的成本就可以提供企业级的服务能力。极致性价比、AI 自治、HTAP、多主、Serverless将是GaussDB(for MySQL) 数据库未来的重点发展方向。大浪淘沙 做千行百业上云优选当前,华为云GaussDB(for MySQL)数据库面向企业云原生赛道,已在音视频、互联网电商、游戏、保险、汽车制造、物流、交通出行等多个行业场景和标杆大客户得到广泛应用,包括助力永安保险重构核心业务系统,帮助互联网电商如梦饷集团、单创、未来一手等缔造电商新时代,赋能中国一汽红旗和一汽大众数字化转型等等。在中国一汽红旗ERP系统微服务改造、业务上云过程中,GaussDB(for MySQL)提供了在云上和本地部署体验一致的云数据库服务,改造后的ERP系统数据库整体性能大幅提升,流量洪峰下业务运行又快又稳。梦饷集团通过GaussDB(for MySQL)进行电商平台的数字化升级,将业务搬迁上云后,运维效率提升了约30%,核心业务数据库访问平均耗时由1.5s降至1s;此外,梦饷集团每秒成交的订单数再创历史新高,成为了利用数字基础设施助力业务快速增长的标杆。持续深耕 共促产业生态繁荣华为云GaussDB已连续两年入选Gartner云数据库管理系统魔力象限特定领域者,在IDC《2020年下半年中国关系型数据库软件市场数据跟踪报告》中,GaussDB荣获中国关系型数据库本地部署市场国产数据库份额NO.1、公有云市场数据库份额增速第一的优异成绩。此次华为云GaussDB获得“云原生技术创新领航者-云原生技术创新案例”奖项,代表了产品的技术创新实力和市场表现得到了高度认可,同时也是华为云GaussDB的新征程和新起点。未来,华为云GaussDB将持续聚焦云原生数据库技术的探索,打造更多业界领先的数据库技术与产品,助力企业加速上云,共促产业生态繁荣!
-
近日,以“因聚而生 为你所能”为主题的华为伙伴暨开发者大会终于圆满落幕。在大会的高校分会中,华为云GaussDB数据库的七位布道师分别走进重庆大学、桂林电子科技大学、湖南大学、华南理工大学、宁波大学、西安邮电大学、浙江工业大学,围绕云数据库,与学生们展开面对面的分享与交流,带来数据库的前沿趋势和最新技术解读,足迹遍布了全国六大省份。华为云GaussDB布道师走进七所高校在现场,布道师们向各位学子们详细介绍了数据库行业的诞生、兴起、发展、转型、新玩家加入、未来演进等历程,并对中国数据库自80年代以来从院校科研、国家重大科研专项到后来的商业市场萌芽、壮大等发展历程做了详细介绍。近年来国产数据库呈现出百花齐放的蓬勃状态,根据第三方社区墨天轮“中国数据库排行”显示,目前已有231款国产数据库在排行榜中。数字化时代,数据量呈爆发式增长,面对企业日益增长的需求,传统数据库已无法支撑,而华为云GaussDB结合多年的技术积累和客户实践,正在打造世界级的数据库产品和全场景的云服务。技术创新是永无止境的,布道师们在现场发布并解读了GaussDB数据库HTAP混合负载技术,该技术的商用意味着企业能有效避免传统解决方案中数据抽取、转换和装载等繁琐步骤,极大提升数据处理的时效性,为业务提供实时数据分析,助力企业精准商业决策;另一个重磅消息是,华为将GaussDB时序时空数据库内核开源,并命名为openGemini, openGemini时序时空数据库面向物联网、运维监控等业务场景,具备创新的架构设计、卓越的读写性能、高效的数据分析能力和数据压缩能力,能帮助企业经济高效地处理海量时序数据。openGemini是继openGauss开源之后,华为开源的又一数据库根技术,会场布道师们也诚邀院校学生、数据库行业未来主力军加入社区,共同繁荣openGemini技术生态!人才的培养、就业、未来发展是院校和学生们最为关注的问题,也是企业长期布局、生态建设离不开的话题。分会现场,布道师们还就同学们关心的职业生涯规划问题进行了现场答疑,并基于当前数据库人才的发展趋势,提出了未来职业发展的实质性建议。数据库是专家密集型的行业,数据库产业的发展离不开多类型行业人才的持续加入,在现场,布道师们也以华为云数据库全球人才布局、高端专家为例,呼吁更多的学生加入数据库行业,为数据库产业的繁荣和壮大共同努力。在最后,布道师们还就正在进行的第八届“互联网+”大学生创新创业大赛华为云GaussDB数据库创新应用赛进行命题解读,鼓励大家积极报名参赛,在更大的平台上发挥潜能、展示才华。桂林电子科技大学分享现场当前,我国数据库产业的发展欣欣向荣,尤其是分布式、云原生数据库发展蒸蒸日上。同时,数据库产业的繁荣离不开数据库人才力量的支撑,这次GaussDB布道师走进高校不仅有助于学子们清楚地看到现在数据库产业的发展现状,从而对自己未来的职业发展规划形成清晰的认知,也有助于他们看到将来更广阔的职业空间,为数据库产业的发展贡献自己的智慧和力量,成为改变数据库行业的下一代。一直以来,华为云GaussDB积极参与和推进产教融合,推动校企合作,取得了许多成果。当前,华为云GaussDB已与国内100+所院校建立起合作关系,在教育部2022年第一批“产学合作协同育人”项目中,基于华为云GaussDB数据库的新工科建设项目有11项成功入围,项目将把GaussDB数据库课程引入高校教学体系中,作为高校数据库课程的学习范本和实验平台。未来,华为云GaussDB将持续与高校紧密合作,积极推进产教融合,为学生们输送更多行业前沿动态和技术探索,完善华为云GaussDB数据库的人才培养体系,保障数据库产业未来人才供给!
-
我敢闯 我会创!万众期待的第八届中国国际“互联网+”大学生创新创业大赛将于6月再次拉开帷幕。今年将一如既往,由教育部与华为云数据库联合命题的产业赛道也正式启动!还记得去年比赛的火热场面吗?激烈的比赛氛围是不是还历历在目?那么,今年的赛题将会更刺激、更过瘾,奖品更丰厚、更神秘,你,准备好了吗?我们虚位以待,等你来战!一、赛题介绍:基于华为云GaussDB开发创新应用说到比赛,核心当然是命题了。产业赛道的设置,目的是为了推进赛事组织的线上线下融合,推进高校创新创业教育与**产业实际技术难题相结合,真正落实大赛“以赛促教,以赛促学,以赛促创”的重要任务。作为产业赛道的重要命题之一,华为云GaussDB命题深度融合“产、学、研、用”的技术创新体系,以此次教育部发起的互联网+大赛为载体,加强与高校、初创企业的创新合作,设置了GaussDB数据库创新应用赛。为了激发学生们的无限潜能,本次命题设计秉承开放包容的思想,不做太多的约束,而是提供基础平台和指引,让参赛者充分发挥想象力来设计、实现,下设了“使用数据库实现行业应用系统”、“数据库运维监控诊断平台”、“让数据库也能AI自动驾驶”三个命题方向,参赛者可以自由选择,基于GaussDB、人工智能等云计算技术探索对应方向的产品或解决方案。本次赛事的三个命题侧重点虽然有所不同,不管是应用数据库,还是调用数据库,还是深入研究数据库参数,但是核心宗旨都在于探索如何用好GaussDB(for MySQL)数据库,如何让它在现实解决方案中发挥更大的作用。GaussDB(for MySQL)手册:https://support.huaweicloud.com/gaussdb/index.html二、赛题攻略:命题一:使用数据库实现行业应用系统命题要求:为了更好地满足各行业日益增长的企业业务/应用需求,如GaussDB(for MySQL)这样的云原生数据库应运而生,那么面对此不断更新的数据库技术,如何利用GaussDB(for MySQL)实现某个业务系统、保障系统的可用性和易用性。请参赛者使用GaussDB(for MySQL)作为后端数据库,基于此开发任意一款应用程序。使用的数据必须存储在华为云云原生数据库GaussDB(for MySQL)中,同时也可以根据应用的需要,使用华为云平台提供的其它产品进行开发。应用范围:应用主题范围或场景不限,可以针对任意行业的问题设计解决方案,包括但不限于酒店、医疗、教育、物流、制造、互联网、电商、制造、社交文娱、金融等等;开发语言不限;应用的形式不限,可以是小程序,APP,网站平台等。交付件:最终提交的作品,需要包含以下交付件——应用系统背景描述,解决方案描述,商业价值分析,社会影响力分析,参赛团队成员介绍,GaussDB(for MySQL)数据存储设计、程序demo演示(可选)等内容。评判标准:参赛前对GaussDB(for MySQL)的基础知识和开发指南要有详细了解,能了解并且使用高阶特性更好;参赛的解决方案如果能有社会立意和改善民生等特点会是加分项;团队分工协作是否清楚均衡,项目开发过程中组织架构,人员配置是否合理;交付件的内容需要阐述清晰,作品最终得分是基于交付件的各个维度综合评判,如果有提交完整的程序演示则会是加分项。举个例子,大家可以参考刚刚结束的华为云数据库新加坡黑客松大赛的冠军作品—DeafTalk,它是一款听觉-语言治疗助手,基于云原生数据库GaussDB(for MySQL)进行开发,以趣味性的方式训练并纠正听障儿童的发音,借助云计算的力量,帮助听障儿童更便捷、更高效地获取专业训练,辅助治疗师对患者进行听障治疗。这个参赛案例是否给你带来不一样的启发?https://mp.weixin.qq.com/s/IpsSejwAzYAW-nQ2z4RANQ命题二:数据库运维监控诊断平台命题要求:随着企业信息化的不断发展,运维人员需要面对越来越复杂的业务和越来越多样化的用户需求,不断扩展的应用需要越来越合理的模式来保障运维服务能灵活便捷、安全稳定地持续。自动化开始代替人工操作在企业的运维过程中逐渐体现出来了强大的优势。请各位参赛者以GaussDB(for MySQL)为中心,围绕该数据库开发一款针对它的运维、监控或者诊断平台。应用范围:可以只聚焦于运维、监控或者诊断其中的一项,也可以涵盖多项,当然包含项目越多,对最终结果也会有正向影响;开发语言不限;应用的形式不限,可以是小程序、APP或者网页平台等。交付件:最终提交的作品,需要包含以下交付件——设计方案描述(监控指标、监控方案等)、结果程序演示视频,可运行环境,操作指南等内容。评判标准:该运维监控诊断平台需要一个能支持真实数据库业务场景和压力的平台,因此它的考察维度会包括:正确性、稳定性、有效性、完整性和易用性。比如,赛题组会通过每3秒收集所展示的监控信息,测试程序是否会发生crash或者长时间无法返回结果来判定系统是否稳定;会通过连接数据库运行sysbench,检查sysbench统计的TPS和监控中展示的TPS是否是一致等等一系列评判标准判断监控信息的正确性。除此之外还会考察该平台对GaussDB(for MySQL)数据库本身的性能影响,即运维监控本身,不应该对数据库的业务运行有明显影响。想要完成好该命题的挑战,需要对操作系统(如CPU调度,内存开销以及IO和网络访问等)和数据库(如锁等待,缓存命中率,SQL执行计划等)的相关核心知识有比较深入的理解,同时对数据库运行过程中容易遇到的问题有深刻的体会,能识别出哪些是我们数据库服务维护过程中的运维、监控的难点和痛点。最后,需要了解GaussDB(for MySQL)的相关统计信息的接口调用,以及GaussDB(for MySQL)的交互方式,才能设计并且实现一个更好的运维、监控或者诊断平台。如果参赛作品能对比现有华为云GaussDB(for MySQL)的运维监控平台,对其中的不足提出改进并且实现了解决方案,一旦该改进被认可为有益改进,其可以作为加分点。 命题三:让数据库也能AI自动驾驶命题要求:AI4DB是基于机器学习等AI智能化技术,主要聚焦数据库自感知、自修复、自调优等方向。近年来也是比较新的研究方向,它能帮助解决传统数据库基于经验方法和规范来做设计,并且还要人工投入来调整和运维数据库的不足,同时也能帮助DBA减少运维工作量。那么如何自动调优数据库参数,让数据库效率更高,让数据库也能自动驾驶!请各位参赛者以GaussDB(for MySQL)为核心,使用AI来针对特定场景定制出更优的配置参数,提升数据库在该场景下的运行性能。参数限定:这里具体测试场景为TPCC场景下的GaussDB(for MySQL)参数调优,使用的硬件规格为4U16G,TPCC的数据规模为300个Warehouse,更多参数请参考下方详细列表:如下图所示,赛题组对其中4个参数值做了限定,且需要注意的是,调优不应该以牺牲一致性、正确性为代价;对于不确定的参赛,请及时联系赛题组进行确认。交付件:该命题的交付件包含:对使用的AI框架进行阐述、优化效果对比(测试场景的初始性能数值,以及最终使用调优后的参数的性能数值进行对比)、调优的参数列表,同时需要提供一段视频剪辑或demo,用来展示AI调优计算的过程。评判标准 需要注意的是必须使用AI调优的参数配置才算是有效参赛,调优所使用的AI系统没有限制,可以自行选择;关于调优后,主要评判维度就是参数调优后的系统性能。赛题评审组会使用统一的规格进行benchmarksql性能压测,性能指标越高的作品得分越高,为了避免性能抖动对结果的影响,最终测试结果需要运行20min。要做好该赛题,需要对GaussDB涉及的主要参数和状态参数有深入的了解,选取与性能相关的,针对数据库在测试场景下的负载和状态信息,进行参数调优,才能达到最佳效果。三:赛题小科普(1)信息获取:TPCC 测试工具能够反馈当前的数据库的响应和性能,可以通过TPCC工具(tpcc-mysql, sysbench-tpcc等), 来获取当前数据库的处理能力GaussDB(for MySQL)提供了丰富的监控指标,可以通过云监控API进行查询GaussDB(for MySQL)完全兼容MySQL,数据库参数描述,配置范围等,可以参考MySQL 8.0 官方手册,也可以参考 Server system variables,以及innodb system variables。(2)调优小科普:并发类参数控制同时进入MySQL或者innodb的线程数,例如: threadpool_size,innodb_thread_concurrency等,并发太小,或导致无法充分利用数据库资源,并发太大,会导致冲突严重,性能下降;内存类参数能够控制缓存的最大内存使用量,例如:innodb_buffer_pool_size,tmp_table_size,sort_buffer_size等,在内存中排序以及创建临时表能够极大地提升计算效率,但是过于大的内存使用有可能导致数据库OOM,或者性能下降;优化方法在某些条件下能够加速查询效率,但如果优化方法使用不当,反而会导致性能降低,例如,optimizer_switch等;其他可以考虑锁相关参数配置,bufferpool淘汰策略等等。四:参赛权益比赛的过程是艰辛的,但收获也是充满惊喜的!这次华为云GaussDB可谓是诚意满满,为各位小伙伴精心准备了丰厚大奖,参赛队伍不仅可以争夺企业赛道的数百个金、银、铜奖,还有额外的参赛奖品!进入Top10的队伍还将获得智能手表、无线耳机等奖品,如果未获得名次,但只要积极参与提交作品或参与开发者故事征集活动,也有机会获得华为音箱、华为手环、GaussDB定制衫等纪念奖品哦。呼~提前了解了赛题和丰厚大奖,真是直呼过瘾!有多少人已经在摩拳擦掌、跃跃欲试了呢? 赛道报名链接:https://cy.ncss.cn/mtcontest/detail?id=8a80808d81197da0018119acfb1904eb相信对于热爱数据库的你,这一定是一次受益匪浅的旅程,快来报名参赛发挥你的最强大脑,用代码书写你的比赛传奇吧!同时可添加华为云数据库小助手(微信号:18209232786),回复“互联网+”加入交流群,群内会不定时发布赛题注意事项、学习资料、专家答疑等相关事宜,请及时关注。
-
近期,在华为伙伴暨开发者大会2022,华为云CTO张宇昕发布了《云原生2.0架构白皮书》,包括云原生数据库在内,介绍了云原生2.0的关键特征、架构模式,以及优秀实践,为企业数字化升级注入了云原生2.0新动力。华为云数据库首席架构师冯柯也在会上分享了云原生数据库HTAP重大特性商用,通过极致混合负载能力和及时精准的数据分析,助力企业商业决策。华为云CTO张宇昕在会上发表云原生2.0重要演讲云原生数据库技术再创新早在去年,华为云便发布了《云原生2.0白皮书》,阐述了云原生2.0定义、价值及参考架构,解读了“资源高效、应用敏捷、业务智能、安全可信”四大价值以及预测未来发展趋势。而今年的《云原生2.0架构白皮书》,围绕架构升级,重点诠释了云原生2.0技术特征与架构设计模式,以云原生技术力量推动企业数字化转型升级。云原生数据库作为白皮书的重要内容之一,在架构创新和技术特性方面均有重大突破。华为云云原生数据库GaussDB基于存算分离,并利用云原生数据库云存储 DFV 基于存储算子语义下推能力,支撑事务处理算子的并行下推;同时存储层支持日志回放能力,数据库写节点只需要把日志写到存储层,存储层就可以将日志回放为数据页面,并在多副本上提供一致性版本,大大节省了计算层和存储层的高速网络带宽。优化后的云原生GaussDB架构可以很好地解决热点数据问题,以及数据丢失、故障恢复等难题,面对客户高负载和各种复杂场景,表现更从容。Serverless也是云原生数据库的关键特征之一。华为云云原生数据库GaussDB结合Serverless,只需创建数据库节点,指定所需的数据库容量范围,然后数据库处于工作状态期间按照每秒使用的数据库容量进行付费,同时利用华为云数据库的应用无损透明倒换技术 (ALT),规格变更可以实现应用基本无感知,让开发者专注于应用开发,无需关注资源。此外,华为云数据库首席架构师冯柯还在会上介绍了云原生数据库GaussDB的另一重大特性——HTAP。云原生HTAP深度融合OLTP和OLAP两者优势,统一入口,自动分流,并且在行存和列存引擎上建立全局一致性事务视图,达到数据实时一致,支撑更多混合负载的场景。这种方式可以支持大量并发的更新,而且数据同步时延达到秒级或毫秒级,有效避免了传统解决方案中数据抽取、转换和装载等繁琐步骤,极大提升了数据处理的时效性,为企业提升实时精准的决策支持。目前该特性已正式商用。云原生数据库优秀实践云原生数据库GaussDB不仅在技术上硕果累累,还广泛应用于电商、制造业、交通、泛互联网等领域,历经关键行业的锤炼,并取得重大实践成果。在电商行业,为了满足梦饷集团的发展需求,华为云云原生数据库GaussDB(for MySQL)助力梦饷集团打造高性能的云原生电商平台,通过平滑扩容和快速弹性升降能力,可从容应对突发业务流量,大促过后也可以及时回落,快速降低成本。而且运维效率提升约 30%,每秒成交的订单数再创历史新高,成为了利用数字基础设施助力业务快速增长的标杆。在汽车行业,华为云云原生数据库GaussDB(for MySQL)成功助力中国一汽红旗ERP系统微服务改造升级,ERP 系统整体性能大幅提升,流量洪峰下业务运行又快又稳;提供了开放的 MySQL 生态,各业务协同更灵活。使用成本方面,每台数据库由原来最低600+万/年降低至100+万/年;生产效率方面,由原来几天才能出货 bom 单到最快 20 分钟内即可计算出一个生产计划的 bom 单;微服务的拆分提升了系统稳定性,提高了业务交付速度,系统扩展性更强。云原生数据库未来趋势云原生技术浪潮汹涌澎湃,一日千里,云原生2.0之后,我们如何踏浪前行、乘风破浪?未来的技术世界我们无法掌控,但从现状出发,我们或许可以窥见端倪。随着跨Region技术的增强,高资源利用率的驱动,以及Serverless的普遍诉求,去 Region 化、智能弹性、Serverless数据库将是未来发展方向。但在此之前,云原生数据库还有一段路要走,比如Serverless数据库未来需要具备智能弹性的能力,能够根据用户的历史负载计算出用户画像,依赖秒级监控能力,快速判断用户未来的负载趋势,提前为用户弹性伸缩好资源,避免用户负载冲击到资源规格上限,减少系统资源浪费。虽有一定挑战,但也极具动力,华为云云原生数据库GaussDB将凝聚技术力量,锐意创新,助力更多企业业务智能化升级,深化数据服务能力,推进千行百业数字化转型。华为云《云原生2.0架构白皮书》下载链接:https://e-campaign.huawei.com/campaign/hwy-Template/2d9b44732a10958b254908413b193e9f/view/PcQuestionnaire.html?questionaryId=2205071645302398&configId=460947
-
云数据库云数据库是指被优化或部署到一个虚拟计算环境中的数据库。传统数据库 VS 云数据库数据库排名数据来源: https://db-engines.com/en/ranking
-
关系型数据库架构介绍数据库架构特点对比数据库架构发展单机架构早期互联网的LAMP(Linux,Apache,MySQL,PHP)架构的服务器就是最典型的单机架构的使用为了避免应用服务和数据库服务对资源的竞争,单机架构也从早期的单主机模式发展到数据库独立主机模式,把应用和数据服务分开。优点部署集中,运维方便。缺点可扩展性:数据库单机架构扩展性只有纵向扩展 (Scale-up)。通过增加硬件配置来提升性能,但单台主机的硬件可配置的资源会遇到上限。存在单点故障:扩容的时候往往需要停机扩容,服务停止。硬件故障导致整个服务不可用,甚至数据丢失。性能瓶颈。分组架构 - 主备数据库部署在两台服务器,其中承担数据读写服务的服务器称为“主机”。另外一台服务器利用数据同步机制把主机的数据复制过来,称为“备机”。同一时刻,只有一台服务器对外提供数据服务。优点应用不需要针对数据库故障来增加开发量。相对单机架构提升了数据容错性。缺点资源浪费,备机和主机同等配置,但长期范围内基本上资源限制,无法利用。性能压力还是集中在单机上,无法解决性能瓶颈问题。当出现故障时候,主备机切换需要一定的人工干预或者监控。分组架构 - 主从部署模式和主备机模式相似,备机(Backup)上升为从机(Slave),对外提供一定的数据服务。通过读写分离方式分散压力:写入、修改、删除操作,在写库(主机)上完成;把查询请求,分配到读库(从机)。优点提升资源利用率,适合读多写少的应用场景。在大并发读的使用场景,可以使用负载均衡在多个从机间进行平衡。从机的扩展性比较灵活,扩容操作不会影响到业务进行。缺点延迟问题,数据同步到从机数据库时会有延迟,所以应用必须能够容忍短暂的不一致性。对于一致性要求非常高的场景是不适合的。写操作的性能压力还是集中在主机上。主机出现故障,需要实现主从切换,人工干预需要响应时间,自动切换复杂度较高。分组架构 - 多主多主架构(双活,多活架构)数据库服务器互为主从,同时对外提供完整的数据服务。优点资源利用率较高的同时降低了单点故障的风险。缺点双主机都接受写数据,要实现数据双向同步。双向复制同样会带来延迟问题,极端情况下有可能数据丢失。数据库数量增加会导致数据同步问题变得极为复杂,实际应用中多见双机模式。共享存储多活架构(特殊的多主架构)共享存储的多活架构(Shared-Disk)一种特殊的多主架构。解决了主从设备之间数据同步带来的数据一致性问题数据库服务器共享数据存储,而多个服务器实现均衡负载。优点多个计算服务器提供高可用服务,提供了高级别的可用性。可伸缩性,避免了服务器集群的单点故障问题。比较方便的横向扩展能够增加整体系统并行处理能力。缺点实现技术难度大。当存储器接口带宽达到饱和的时候,增加节点并不能获得更高的性能,存储IO容易成为整个系统的性能瓶颈。较为成功的案例:Oracle的RAC(Real Application Cluster), 微软的SQL Server Failover Cluster。GaussDB(for MySQL)采用多节点集群的架构,集群中有一个写节点(主节点)和多个读节点(只读节点),各节点共享底层的存储(DFV)Sharding是Shared-Nothing架构的基础,只有对数据进行分片才可能对实现集群的Shared-Nothing。Shared-Nothing概念是从资源独立性角度来描述架构Sharding则是从数据的独立性角度来描述架构MPP是并行计算的角度来描述架构,是并行计算技术在分布式数据库上的应用和体现。分片(Sharding)架构分片架构主要表现形式就是水平数据分片架构把数据分散在多个节点上的分片方案,每一个分片包括数据库的一部分,称为一个shard。多个节点都拥有相同的数据库结构,但不同分片的数据之间没有交集,所有分区数据的并集构成数据总体。常见的分片算法有:根据列表值,范围取值和Hash值进行数据分片。优点数据分散在集群内的各个节点上,所有节点可以独立性工作。无共享(Shared-Nothing)架构集群中每一个节点(处理单元)都完全拥有自己独立的CPU/内存/存储,不存在共享资源。各节点(处理单元)处理自己本地的数据,处理结果可以向上层汇总或者通过通信协议在节点间流转。节点是相互独立的,扩展能力强。整个集群拥有强大的并行处理能力。MPP架构 (Massively Parallel Processing)MPP:大规模并行处理(Massively Parallel Processing)MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。特征任务并行执行,分布式计算。常见的MPP产品无共享Master:Vertica,Teradata。共享Master:Greenplum,Netezza。Teradata,Netezza是软硬件一体机。GaussDB(DWS),Greeplum,Vertica是软件版MPP数据库
-
关系型数据库主流应用场景OLTP和OLAP对比分析来自数据仓库概念创始人 W.H.Inmon《Building the DataWarehouse》联机事务处理 (OnLine Transaction Processing)OLTP是传统关系数据库的主要应用面向基本的,日常的事务处理,例如银行储蓄业务的存取交易,转账交易等。特点大吞吐量:大量的短在线事务(插入、更新、删除),非常快速的查询处理。高并发,(准)实时响应。典型的OLTP场景零售系统金融交易系统火车票销售系统秒杀活动联机分析处理 (OnLine Analytical Processing)OLAP联机分析处理的概念最早是E.F.Codd于1993年相对于OLTP系统而提出的。是指对数据的查询和分析操作,通常对大量的历史数据查询和分析。涉及到的历史周期比较长,数据量大,在不同层级上的汇总,聚合操作使得事务处理操作比较复杂。特点主要面向侧重于复杂查询,回答一些“战略性”的问题。数据处理方面聚焦于数据的聚合,汇总,分组计算,窗口计算等“分析型”数据加工和操作。 从多维度去使用和分析数据。典型的OLAP场景报表系统,CRM系统。金融风险预测预警系统、反洗钱系统。数据集市,数据仓库。报表系统是产生固定周期报表的,或者上报固定格式报表数据的平台或系统,如日报,周报,月报,年报,为经营决策提供电子化报表数据。CRM系统,客户关系管理系统是维护客户,对客户相关信息进行存储,客户行为进行分析, 对客户进行响应,挽留和市场活动管理等综合性业务系统平台。数据集市一般是面向一个组织中某个部门级别需求的应用需要,比如信用卡部门的分析需求。数据仓库是面向企业级别的构建整个企业分析处理环境而产生的分析类平台系统。数据库性能衡量指标TPC(Transaction Processing Performance Council,事务处理性能委员会)职责是制定商务应用基准测试标准(Benchmark)的规范、性能和价格度量,并管理测试结果的发布。制定的是标准规范而不是代码,任何厂家依据规范最优地构造自己系统进行评测。推出了很多基准测试标准,其中针对OLTP和OLAP分别有两个规范。TPC-C规范面向OLTP系统,主要包括两个指标流量指标:tpmC(tpm – transactions per minuete, 即每分钟测试系统处理的事务数量)。性价比指标:Price(测试系统价格)/tpmC。TPC-H规范面向OLAP系统流量指标:qphH – Query per hour,即每小时处理的复杂查询数量。需要考虑测试数据集合大小,分为不同的测试数据集,指定了22个查询语句,可以根据产品微调。测试场景:数据加载,Power能力测试和Througput测试。
-
数据库技术技术发展史人工管理文件系统数据库系统数据早期的计算机系统主要用于科学计算,处理的数据是数值型数据整数: 1,2,3,4,5….浮点数:3.14, 100.34, -25.336…现代计算机系统的数据概念是广义的数字、文字、图形、图像、音频、视频等描述事务的符号记录称为数据记录:在计算机中表示和存储数据的一种格式或一种方法数据的含义称为数据的语义数据库数据库:存放数据的仓库,是大量数据的集合存放在数据库中数据的特点永久存储有组织:按一定的数据模型组织,描述和储存可共享:为各种用户共享使用,而不是某个用户所专有数据库管理系统(Database Management System,DBMS)能够科学地组织和存储数据,高效地获取和维护数据的系统软件,是位于用户与操作系统之间的数据管理软件。主要功能①数据定义语言(DDL)用户可以通过它可以方便地对数据库中的数据对象的组成与结构进行定义②数据组织、存储和管理功能基本目标是提高存储空间利用率和方便存取,提供多种存取方法来提高存取效率③数据操纵语言(DML)用户可以使用它实现对数据库的基本操作,如查询、插入、删除和修改等④数据库的事务管理和运行管理功能数据库在建立、运用和维护时由数据库管理系统统一管理和控制,以保证事务的正确运行,保证数据的安全性、完整性、多用户对数据的并发使用及发生故障后的系统恢复⑤数据库的建立和维护功能数据库初始数据的输入和转换功能;数据库的转储、恢复功能;数据库的重组织功能和性能监视、分析功能等,这些功能通常由一些使用程序或管理工具完成的。⑥与其他软件系统的通信功能等数据库系统(Database System, DBS)数据库、数据库管理系统(及其应用开发工具)、应用程序和数据库管理员组成的存储、管理、处理和维护数据的系统。蓝色框的代表是数据库系统组成部分。操作系统不属于数据库系统。计算机系统层次结构图数据库管理系统调用操作系统
-
华为伙伴暨开发者大会2022终于迎来完美收官~在GaussDB数据库专场大咖们金句频出快来get他们的精彩发言看看是谁的DNA又动了呢?
-
海量数据的聚合分析如何满足业务要求?如何快速构建跨云、跨边、跨集群的云原生应用?如何快速构建兼容多种推理框架的高性能AI应用?2022年6月16日在华为伙伴暨开发者大会上,华为云公布四大重磅开源项目, 旨在帮助开发者解决上述问题。openGemini:openGeminiKurator:kurator-dev · GitHubKappital:Kappital · GitHubModelBox:ModelBox | ModelBox是一套统一的端边云AI应用开发和运行框架的规范,以及在此规范上所实现的运行时框架。...#华为伙伴暨开发者大会2022# #华为云#
-
【中国,2022年6月16日】今天,在华为伙伴暨开发者大会2022,华为云将GaussDB时序时空数据库内核开源,并命名为openGemini。华为云数据库创新Lab主任张文亮在华为云数据库专题论坛对openGemini进行了详细的技术解读,介绍了其创新架构、卓越的读写性能、高效的数据分析和数据压缩等能力,是企业数字化转型升级,海量时序时空数据处理的最佳选择。物联网时代,设备数量激增,数据库面临更大挑战。比如高并发写入大量数据如何保证高性能?每天GB、TB级数据如何降低存储成本?海量数据的聚合分析如何满足业务要求?与此同时,随着企业数字化和云计算技术的发展,企业IT系统数量越来越多,功能也越来越复杂,导致企业在处理数据时存在诸多挑战。首先,数据存在多种模态,分散存储在多套系统中。其次,数据指标类型多,采样频率高,数据增长迅猛。第三,业务种类繁多,对分析的时效性要求越来越高。最后,业务之间存在复杂的关联,故障检测和根因分析很困难。多个系统的运维监控也对数据库提出了新的需求。时序数据库是针对物联网和运维监控等场景,结合业务和数据特点专门设计的一种垂直领域数据库系统,在数据压缩精简、数据分层存储、连续数据查询以及数据分析等方面具有超越传统关系型数据库的明显特点和优势。华为云整合产业和技术优势,打造了业界领先的企业级时序数据库GaussDB(for Influx),并经过外部公有云业务服务化的锤炼以及内部DevOps等业务的长时间打磨,在大规模集群、高性能查询、分级压缩存储等方面都有明显优势。在此次大会上,华为云宣布将GaussDB(for Influx)内核正式对外开源,开源品牌命名为openGemini,它是继openGauss数据库开源之后,华为开源的又一关键数据库系统。openGemini兼容InfluxDB、Prometheus生态API,具有高性能、高扩展、存储-分析一体化、运维成本低、高数据压缩率等5大优势。openGemini数据库全景图高性能,千亿级时序数据全生命周期管理openGemini通过多核并行算法、数据分级存储、向量化、数据预处理、近数据处理等技术,实现极致读写性能。在海量数据场景下,支持每天万亿指标数据写入,万级传感器数据时空聚合查询亚秒级响应,在同类开源产品中性能优势明显。高扩展,满足企业复杂业务处理诉求openGemini由ts-sql, ts-store, ts-meta三个组件组成,每个组件可单独扩展,能够支撑100+节点的扩展,可灵活应对不同时序业务场景。存储-分析一体化,实现数据闭环管理openGemini基于AI技术的强大数据分析能力,提供时序预测、时序异常检测能力,实现了数据从存储到分析完整的闭环管理。运维成本低openGemini架构简单,安装部署灵活,无第三方依赖,大幅减轻了运维的成本。高数据压缩率openGemini采用行列混存方式,数据按列进行压缩,不同数据类型对应不同的数据压缩算法,极大缩减了数据压缩空间。如华为云某服务存储空间从每天1035GB降低到82GB,缩减了12.6倍。技术创新是openGemini开源社区持续、健康发展的推动力,华为云将坚持开放合作的运营理念,期待与开发者、企业一起共建openGemini开源社区,实现开源成果的共享,促进时序数据库产业快速发展,实现技术的商业价值和社会价值。openGemini社区欢迎企业人员、科研工作者、学生等伙伴的加入。让我们携手与共,共创新、赢未来!官网地址:http://www.opengemini.org
-
6月16日,2022年华为伙伴暨开发者大会正在以线上的方式火热进行,会上集结了众多行业专家、合作伙伴和客户,一起共话行业前沿趋势,探索技术新发展。在“探秘GaussDB,打造坚实金融数据新底座”专场,华为云数据库首席架构师冯柯、工商银行软件开发中心高级经理董勇明、上海掌数科技有限公司首席顾问邹昌根和华为云数据库创新LAB主任张文亮以线上的形式现身,与观众分享了GaussDB最新技术趋势,以及华为云GaussDB与伙伴合作背后的故事和实践经验。 华为云GaussDB 技术创新之路永不停歇持续创新是华为云一直以来坚持在做的事。当前,随着5G、IoT、AI、大数据的快速发展,数据量爆发式增长,数据库云化进一步提升,数据库行业也迎来了云原生2.0时代,这对数据库的性能、可靠性、可用性都有了更高的要求。华为云GaussDB多年来持续聚焦技术创新,构建以应用为中心的新型数据库云服务,让客户聚焦业务创新。在此次大会上,华为云数据库首席架构师冯柯重点介绍了刚刚正式商用的GaussDB云原生HTAP,分享如何为业务提供更加及时精准的数据分析,助力商业决策;ALT应用无损透明技术如何在遭遇故障、运维以及实例变更时保持业务不中断,实现真正的业务高可用;创新性地将NDP(Near Data Processing, 近数据处理) 和PQ(Parallel Query, 并行查询)相结合,打造了NDPQ(近数据并行处理),打破复杂查询性能天花板。华为云GaussDB的技术优势正在赋能越来越多的企业客户实现数字化高效转型。 工商银行核心系统转型 聚焦技术硬实力 夯实数据底座“在数字化升级的道路上,我们选择了华为云GaussDB作为优秀的合作伙伴。”工商银行软件开发中心高级经理董勇明在分享中提到,工商银行对自身的核心交易系统的诉求有清晰的认知,自2019年和GaussDB联创以来,已有20多个业务系统相继试点上线。去年,在开放平台大型业务系统传统集中式数据库转型领域,双方持续技术攻关,初步形成了整套的系统性技术资产和解决方案,为金融行业提供了低成本、高效可控的转型借鉴。“这一路的联创实践,充分验证了传统集中式数据库向分布式数据库转型的可行性,为大型商业银行核心系统转型趟出了一条宽阔的道路。未来,工商银行将继续依托产学研联合创新机制,与包括华为在内业界领先企业深入开展联合技术攻关与融合共建,共建金融科技新生态”董勇明说。持续技术攻关,联手共建金融科技新生态 掌数科技&华为云GaussDB 助力证券行业金融创新 打造行业标杆“数据库技术作为根技术,在华为生态体系建设中是非常重要的,这也是我们所看重的。”上海掌数科技有限公司首席顾问邹昌根说到。掌数科技是一家聚焦于证券和大资管行业,面向数据库和大数据技术、智能化场景应用以及行业信息技术应用创新领域的金融科技企业,服务于全国80+大型金融机构客户。掌数科技作为华为在金融证券行业首家数据库技术领域的全面合作伙伴,以法人清算系统为行业典型应用场景,形成了以GaussDB为数据底座的一系列全栈式金融创新方案,并已经在证券行业展开试点应用。该方案不仅规划设计了两地三中心的网络高可用架构,也提供了完善的容灾安全保障,以及一整套、全面的基于GaussDB的技术支撑与服务体系。 联创形成基于法人清算系统的GaussDB全栈式金融创新方案 邹昌根表示:“我们期待通过与华为云GaussDB的合作,能够从多个维度保障创新项目的实施落地,让行业充分感知价值,展现我们优秀的实践经验;我们也将共同推进服务能力与体系建设,从而真正形成完整的GaussDB生态体系。” 探秘openGemini 共建开源时序数据库新生态同时,在GaussDB 数据库专场,华为云数据库创新LAB主任张文亮也对刚刚开源的时序时空数据库做了技术解读。“为了更好地推动数字化产业的创新发展,我们决定把自己的时序数据库GaussDB(for Influx)对外开源,开源社区叫openGemini,这是继openGauss开源之后,华为开源的又一数据库根技术。”张文亮说。openGemini时序时空数据库面向物联网、运维监控等业务场景,具备创新的架构设计、卓越的读写性能、高效的数据分析能力和数据压缩能力,帮助企业经济高效地处理海量时序数据。openGemini开源后将秉持着“基于创新技术、贡献产业发展,开放合作,共建共享”的生态策略,和开发者、企业一起,完善周边工具和南北向的生态,共同繁荣openGemini的技术生态。汇聚各界力量,共建openGemini繁荣生态 展望未来,华为云GaussDB将持续深耕技术创新,继续携手工商银行和掌数科技,以及越来越多的企业伙伴,以技术赋能业务数字化升级,并持续贡献openGauss和openGemini开源生态,为行业发展创造更多价值!
-
华为云GaussDB精彩议程来袭,重磅特性升级,优秀实践,重大产品开源……更多精彩内容,请锁定6月16日10:30GaussDB专场直播~
-
6月8日16:00,华为云快成长直播间-云数据库专场来啦!看华为云大咖架构师费鹏,如何深度解析用户自建数据库的痛点,又是如何对症下药,有针对性地提供华为云数据库解决方案!看直播→https://activity.huaweicloud.com/kuaichengzhang_live/20220608.html
-
华为云618惠上云,更简单!云数据库RDS for MySQL 1年享1.2折起,任意数据库迁移上云买1年送1年。活动期间还有8800元大礼包、满额赠华为笔记本,赢得1元换购万元数据库的机会!更多活动详情→https://activity.huaweicloud.com/dbs_Promotion/index.html
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签