我敢闯 我会创！万众期待的第八届中国国际“互联网+”大学生创新创业大赛将于6月再次拉开帷幕。今年将一如既往，由教育部与华为云数据库联合命题的产业赛道也正式启动！还记得去年比赛的火热场面吗？激烈的比赛氛围是不是还历历在目？那么，今年的赛题将会更刺激、更过瘾，奖品更丰厚、更神秘，你，准备好了吗？我们虚位以待，等你来战！一、赛题介绍：基于华为云GaussDB开发创新应用说到比赛，核心当然是命题了。产业赛道的设置，目的是为了推进赛事组织的线上线下融合，推进高校创新创业教育与**产业实际技术难题相结合，真正落实大赛“以赛促教，以赛促学，以赛促创”的重要任务。作为产业赛道的重要命题之一，华为云GaussDB命题深度融合“产、学、研、用”的技术创新体系，以此次教育部发起的互联网+大赛为载体，加强与高校、初创企业的创新合作，设置了GaussDB数据库创新应用赛。为了激发学生们的无限潜能，本次命题设计秉承开放包容的思想，不做太多的约束，而是提供基础平台和指引，让参赛者充分发挥想象力来设计、实现，下设了“使用数据库实现行业应用系统”、“数据库运维监控诊断平台”、“让数据库也能AI自动驾驶”三个命题方向，参赛者可以自由选择，基于GaussDB、人工智能等云计算技术探索对应方向的产品或解决方案。本次赛事的三个命题侧重点虽然有所不同，不管是应用数据库，还是调用数据库，还是深入研究数据库参数，但是核心宗旨都在于探索如何用好GaussDB(for MySQL)数据库，如何让它在现实解决方案中发挥更大的作用。GaussDB(for MySQL)手册：https://support.huaweicloud.com/gaussdb/index.html二、赛题攻略：命题一：使用数据库实现行业应用系统命题要求：为了更好地满足各行业日益增长的企业业务/应用需求，如GaussDB(for MySQL)这样的云原生数据库应运而生，那么面对此不断更新的数据库技术，如何利用GaussDB(for MySQL)实现某个业务系统、保障系统的可用性和易用性。请参赛者使用GaussDB(for MySQL)作为后端数据库，基于此开发任意一款应用程序。使用的数据必须存储在华为云云原生数据库GaussDB(for MySQL)中，同时也可以根据应用的需要，使用华为云平台提供的其它产品进行开发。应用范围：应用主题范围或场景不限，可以针对任意行业的问题设计解决方案，包括但不限于酒店、医疗、教育、物流、制造、互联网、电商、制造、社交文娱、金融等等；开发语言不限；应用的形式不限，可以是小程序，APP，网站平台等。交付件：最终提交的作品，需要包含以下交付件——应用系统背景描述，解决方案描述，商业价值分析，社会影响力分析，参赛团队成员介绍，GaussDB(for MySQL)数据存储设计、程序demo演示（可选）等内容。评判标准：参赛前对GaussDB(for MySQL)的基础知识和开发指南要有详细了解，能了解并且使用高阶特性更好；参赛的解决方案如果能有社会立意和改善民生等特点会是加分项；团队分工协作是否清楚均衡，项目开发过程中组织架构，人员配置是否合理；交付件的内容需要阐述清晰，作品最终得分是基于交付件的各个维度综合评判，如果有提交完整的程序演示则会是加分项。举个例子，大家可以参考刚刚结束的华为云数据库新加坡黑客松大赛的冠军作品—DeafTalk，它是一款听觉-语言治疗助手，基于云原生数据库GaussDB(for MySQL)进行开发，以趣味性的方式训练并纠正听障儿童的发音，借助云计算的力量，帮助听障儿童更便捷、更高效地获取专业训练，辅助治疗师对患者进行听障治疗。这个参赛案例是否给你带来不一样的启发？https://mp.weixin.qq.com/s/IpsSejwAzYAW-nQ2z4RANQ命题二：数据库运维监控诊断平台命题要求：随着企业信息化的不断发展，运维人员需要面对越来越复杂的业务和越来越多样化的用户需求，不断扩展的应用需要越来越合理的模式来保障运维服务能灵活便捷、安全稳定地持续。自动化开始代替人工操作在企业的运维过程中逐渐体现出来了强大的优势。请各位参赛者以GaussDB(for MySQL)为中心，围绕该数据库开发一款针对它的运维、监控或者诊断平台。应用范围：可以只聚焦于运维、监控或者诊断其中的一项，也可以涵盖多项，当然包含项目越多，对最终结果也会有正向影响；开发语言不限；应用的形式不限，可以是小程序、APP或者网页平台等。交付件：最终提交的作品，需要包含以下交付件——设计方案描述（监控指标、监控方案等）、结果程序演示视频，可运行环境，操作指南等内容。评判标准：该运维监控诊断平台需要一个能支持真实数据库业务场景和压力的平台，因此它的考察维度会包括：正确性、稳定性、有效性、完整性和易用性。比如，赛题组会通过每3秒收集所展示的监控信息，测试程序是否会发生crash或者长时间无法返回结果来判定系统是否稳定；会通过连接数据库运行sysbench，检查sysbench统计的TPS和监控中展示的TPS是否是一致等等一系列评判标准判断监控信息的正确性。除此之外还会考察该平台对GaussDB(for MySQL)数据库本身的性能影响，即运维监控本身，不应该对数据库的业务运行有明显影响。想要完成好该命题的挑战，需要对操作系统（如CPU调度，内存开销以及IO和网络访问等）和数据库（如锁等待，缓存命中率，SQL执行计划等）的相关核心知识有比较深入的理解，同时对数据库运行过程中容易遇到的问题有深刻的体会，能识别出哪些是我们数据库服务维护过程中的运维、监控的难点和痛点。最后，需要了解GaussDB(for MySQL)的相关统计信息的接口调用，以及GaussDB(for MySQL)的交互方式，才能设计并且实现一个更好的运维、监控或者诊断平台。如果参赛作品能对比现有华为云GaussDB(for MySQL)的运维监控平台，对其中的不足提出改进并且实现了解决方案，一旦该改进被认可为有益改进，其可以作为加分点。 命题三：让数据库也能AI自动驾驶命题要求：AI4DB是基于机器学习等AI智能化技术，主要聚焦数据库自感知、自修复、自调优等方向。近年来也是比较新的研究方向，它能帮助解决传统数据库基于经验方法和规范来做设计，并且还要人工投入来调整和运维数据库的不足，同时也能帮助DBA减少运维工作量。那么如何自动调优数据库参数，让数据库效率更高，让数据库也能自动驾驶！请各位参赛者以GaussDB(for MySQL)为核心，使用AI来针对特定场景定制出更优的配置参数，提升数据库在该场景下的运行性能。参数限定：这里具体测试场景为TPCC场景下的GaussDB(for MySQL)参数调优，使用的硬件规格为4U16G，TPCC的数据规模为300个Warehouse，更多参数请参考下方详细列表：如下图所示，赛题组对其中4个参数值做了限定，且需要注意的是，调优不应该以牺牲一致性、正确性为代价；对于不确定的参赛，请及时联系赛题组进行确认。交付件：该命题的交付件包含：对使用的AI框架进行阐述、优化效果对比（测试场景的初始性能数值，以及最终使用调优后的参数的性能数值进行对比）、调优的参数列表，同时需要提供一段视频剪辑或demo，用来展示AI调优计算的过程。评判标准      需要注意的是必须使用AI调优的参数配置才算是有效参赛，调优所使用的AI系统没有限制，可以自行选择；关于调优后，主要评判维度就是参数调优后的系统性能。赛题评审组会使用统一的规格进行benchmarksql性能压测，性能指标越高的作品得分越高，为了避免性能抖动对结果的影响，最终测试结果需要运行20min。要做好该赛题，需要对GaussDB涉及的主要参数和状态参数有深入的了解，选取与性能相关的，针对数据库在测试场景下的负载和状态信息，进行参数调优，才能达到最佳效果。三：赛题小科普（1）信息获取：TPCC 测试工具能够反馈当前的数据库的响应和性能，可以通过TPCC工具（tpcc-mysql, sysbench-tpcc等）, 来获取当前数据库的处理能力GaussDB(for MySQL)提供了丰富的监控指标，可以通过云监控API进行查询GaussDB(for MySQL)完全兼容MySQL，数据库参数描述，配置范围等，可以参考MySQL 8.0 官方手册，也可以参考 Server system variables，以及innodb system variables。（2）调优小科普：并发类参数控制同时进入MySQL或者innodb的线程数，例如： threadpool_size，innodb_thread_concurrency等，并发太小，或导致无法充分利用数据库资源，并发太大，会导致冲突严重，性能下降；内存类参数能够控制缓存的最大内存使用量，例如：innodb_buffer_pool_size，tmp_table_size，sort_buffer_size等，在内存中排序以及创建临时表能够极大地提升计算效率，但是过于大的内存使用有可能导致数据库OOM，或者性能下降；优化方法在某些条件下能够加速查询效率，但如果优化方法使用不当，反而会导致性能降低，例如，optimizer_switch等；其他可以考虑锁相关参数配置，bufferpool淘汰策略等等。四：参赛权益比赛的过程是艰辛的，但收获也是充满惊喜的！这次华为云GaussDB可谓是诚意满满，为各位小伙伴精心准备了丰厚大奖，参赛队伍不仅可以争夺企业赛道的数百个金、银、铜奖，还有额外的参赛奖品！进入Top10的队伍还将获得智能手表、无线耳机等奖品，如果未获得名次，但只要积极参与提交作品或参与开发者故事征集活动，也有机会获得华为音箱、华为手环、GaussDB定制衫等纪念奖品哦。呼~提前了解了赛题和丰厚大奖，真是直呼过瘾！有多少人已经在摩拳擦掌、跃跃欲试了呢？ 赛道报名链接：https://cy.ncss.cn/mtcontest/detail?id=8a80808d81197da0018119acfb1904eb相信对于热爱数据库的你，这一定是一次受益匪浅的旅程，快来报名参赛发挥你的最强大脑，用代码书写你的比赛传奇吧！同时可添加华为云数据库小助手（微信号：18209232786），回复“互联网+”加入交流群，群内会不定时发布赛题注意事项、学习资料、专家答疑等相关事宜，请及时关注。

近期，在华为伙伴暨开发者大会2022，华为云CTO张宇昕发布了《云原生2.0架构白皮书》，包括云原生数据库在内，介绍了云原生2.0的关键特征、架构模式，以及优秀实践，为企业数字化升级注入了云原生2.0新动力。华为云数据库首席架构师冯柯也在会上分享了云原生数据库HTAP重大特性商用，通过极致混合负载能力和及时精准的数据分析，助力企业商业决策。华为云CTO张宇昕在会上发表云原生2.0重要演讲云原生数据库技术再创新早在去年，华为云便发布了《云原生2.0白皮书》，阐述了云原生2.0定义、价值及参考架构，解读了“资源高效、应用敏捷、业务智能、安全可信”四大价值以及预测未来发展趋势。而今年的《云原生2.0架构白皮书》，围绕架构升级，重点诠释了云原生2.0技术特征与架构设计模式，以云原生技术力量推动企业数字化转型升级。云原生数据库作为白皮书的重要内容之一，在架构创新和技术特性方面均有重大突破。华为云云原生数据库GaussDB基于存算分离，并利用云原生数据库云存储 DFV 基于存储算子语义下推能力，支撑事务处理算子的并行下推；同时存储层支持日志回放能力，数据库写节点只需要把日志写到存储层，存储层就可以将日志回放为数据页面，并在多副本上提供一致性版本，大大节省了计算层和存储层的高速网络带宽。优化后的云原生GaussDB架构可以很好地解决热点数据问题，以及数据丢失、故障恢复等难题，面对客户高负载和各种复杂场景，表现更从容。Serverless也是云原生数据库的关键特征之一。华为云云原生数据库GaussDB结合Serverless，只需创建数据库节点，指定所需的数据库容量范围，然后数据库处于工作状态期间按照每秒使用的数据库容量进行付费，同时利用华为云数据库的应用无损透明倒换技术 (ALT)，规格变更可以实现应用基本无感知，让开发者专注于应用开发，无需关注资源。此外，华为云数据库首席架构师冯柯还在会上介绍了云原生数据库GaussDB的另一重大特性——HTAP。云原生HTAP深度融合OLTP和OLAP两者优势，统一入口，自动分流，并且在行存和列存引擎上建立全局一致性事务视图，达到数据实时一致，支撑更多混合负载的场景。这种方式可以支持大量并发的更新，而且数据同步时延达到秒级或毫秒级，有效避免了传统解决方案中数据抽取、转换和装载等繁琐步骤，极大提升了数据处理的时效性，为企业提升实时精准的决策支持。目前该特性已正式商用。云原生数据库优秀实践云原生数据库GaussDB不仅在技术上硕果累累，还广泛应用于电商、制造业、交通、泛互联网等领域，历经关键行业的锤炼，并取得重大实践成果。在电商行业，为了满足梦饷集团的发展需求，华为云云原生数据库GaussDB(for MySQL)助力梦饷集团打造高性能的云原生电商平台，通过平滑扩容和快速弹性升降能力，可从容应对突发业务流量，大促过后也可以及时回落，快速降低成本。而且运维效率提升约 30%，每秒成交的订单数再创历史新高，成为了利用数字基础设施助力业务快速增长的标杆。在汽车行业，华为云云原生数据库GaussDB(for MySQL)成功助力中国一汽红旗ERP系统微服务改造升级，ERP 系统整体性能大幅提升，流量洪峰下业务运行又快又稳；提供了开放的 MySQL 生态，各业务协同更灵活。使用成本方面，每台数据库由原来最低600+万/年降低至100+万/年；生产效率方面，由原来几天才能出货 bom 单到最快 20 分钟内即可计算出一个生产计划的 bom 单；微服务的拆分提升了系统稳定性，提高了业务交付速度，系统扩展性更强。云原生数据库未来趋势云原生技术浪潮汹涌澎湃，一日千里，云原生2.0之后，我们如何踏浪前行、乘风破浪？未来的技术世界我们无法掌控，但从现状出发，我们或许可以窥见端倪。随着跨Region技术的增强，高资源利用率的驱动，以及Serverless的普遍诉求，去 Region 化、智能弹性、Serverless数据库将是未来发展方向。但在此之前，云原生数据库还有一段路要走，比如Serverless数据库未来需要具备智能弹性的能力，能够根据用户的历史负载计算出用户画像，依赖秒级监控能力，快速判断用户未来的负载趋势，提前为用户弹性伸缩好资源，避免用户负载冲击到资源规格上限，减少系统资源浪费。虽有一定挑战，但也极具动力，华为云云原生数据库GaussDB将凝聚技术力量，锐意创新，助力更多企业业务智能化升级，深化数据服务能力，推进千行百业数字化转型。华为云《云原生2.0架构白皮书》下载链接：https://e-campaign.huawei.com/campaign/hwy-Template/2d9b44732a10958b254908413b193e9f/view/PcQuestionnaire.html?questionaryId=2205071645302398&configId=460947

云数据库云数据库是指被优化或部署到一个虚拟计算环境中的数据库。传统数据库 VS 云数据库数据库排名数据来源： https://db-engines.com/en/ranking

 关系型数据库架构介绍数据库架构特点对比数据库架构发展单机架构早期互联网的LAMP（Linux，Apache，MySQL，PHP）架构的服务器就是最典型的单机架构的使用为了避免应用服务和数据库服务对资源的竞争，单机架构也从早期的单主机模式发展到数据库独立主机模式，把应用和数据服务分开。优点部署集中，运维方便。缺点可扩展性：数据库单机架构扩展性只有纵向扩展 (Scale-up)。通过增加硬件配置来提升性能，但单台主机的硬件可配置的资源会遇到上限。存在单点故障:扩容的时候往往需要停机扩容，服务停止。硬件故障导致整个服务不可用，甚至数据丢失。性能瓶颈。分组架构 - 主备数据库部署在两台服务器，其中承担数据读写服务的服务器称为“主机”。另外一台服务器利用数据同步机制把主机的数据复制过来，称为“备机”。同一时刻，只有一台服务器对外提供数据服务。优点应用不需要针对数据库故障来增加开发量。相对单机架构提升了数据容错性。缺点资源浪费，备机和主机同等配置，但长期范围内基本上资源限制，无法利用。性能压力还是集中在单机上，无法解决性能瓶颈问题。当出现故障时候，主备机切换需要一定的人工干预或者监控。分组架构 - 主从部署模式和主备机模式相似，备机(Backup)上升为从机(Slave)，对外提供一定的数据服务。通过读写分离方式分散压力：写入、修改、删除操作，在写库（主机）上完成；把查询请求，分配到读库（从机）。优点提升资源利用率，适合读多写少的应用场景。在大并发读的使用场景，可以使用负载均衡在多个从机间进行平衡。从机的扩展性比较灵活，扩容操作不会影响到业务进行。缺点延迟问题，数据同步到从机数据库时会有延迟，所以应用必须能够容忍短暂的不一致性。对于一致性要求非常高的场景是不适合的。写操作的性能压力还是集中在主机上。主机出现故障，需要实现主从切换，人工干预需要响应时间，自动切换复杂度较高。分组架构 - 多主多主架构(双活，多活架构)数据库服务器互为主从，同时对外提供完整的数据服务。优点资源利用率较高的同时降低了单点故障的风险。缺点双主机都接受写数据，要实现数据双向同步。双向复制同样会带来延迟问题，极端情况下有可能数据丢失。数据库数量增加会导致数据同步问题变得极为复杂，实际应用中多见双机模式。共享存储多活架构(特殊的多主架构)共享存储的多活架构(Shared-Disk)一种特殊的多主架构。解决了主从设备之间数据同步带来的数据一致性问题数据库服务器共享数据存储，而多个服务器实现均衡负载。优点多个计算服务器提供高可用服务，提供了高级别的可用性。可伸缩性，避免了服务器集群的单点故障问题。比较方便的横向扩展能够增加整体系统并行处理能力。缺点实现技术难度大。当存储器接口带宽达到饱和的时候，增加节点并不能获得更高的性能，存储IO容易成为整个系统的性能瓶颈。较为成功的案例:Oracle的RAC（Real Application Cluster）， 微软的SQL Server Failover Cluster。GaussDB(for MySQL)采用多节点集群的架构，集群中有一个写节点（主节点）和多个读节点（只读节点），各节点共享底层的存储（DFV）Sharding是Shared-Nothing架构的基础，只有对数据进行分片才可能对实现集群的Shared-Nothing。Shared-Nothing概念是从资源独立性角度来描述架构Sharding则是从数据的独立性角度来描述架构MPP是并行计算的角度来描述架构，是并行计算技术在分布式数据库上的应用和体现。分片(Sharding)架构分片架构主要表现形式就是水平数据分片架构把数据分散在多个节点上的分片方案，每一个分片包括数据库的一部分，称为一个shard。多个节点都拥有相同的数据库结构，但不同分片的数据之间没有交集，所有分区数据的并集构成数据总体。常见的分片算法有：根据列表值，范围取值和Hash值进行数据分片。优点数据分散在集群内的各个节点上，所有节点可以独立性工作。无共享(Shared-Nothing)架构集群中每一个节点（处理单元）都完全拥有自己独立的CPU/内存/存储，不存在共享资源。各节点（处理单元）处理自己本地的数据，处理结果可以向上层汇总或者通过通信协议在节点间流转。节点是相互独立的，扩展能力强。整个集群拥有强大的并行处理能力。MPP架构 (Massively Parallel Processing)MPP:大规模并行处理(Massively Parallel Processing)MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。特征任务并行执行，分布式计算。常见的MPP产品无共享Master：Vertica，Teradata。共享Master：Greenplum，Netezza。Teradata，Netezza是软硬件一体机。GaussDB(DWS)，Greeplum，Vertica是软件版MPP数据库

关系型数据库主流应用场景OLTP和OLAP对比分析来自数据仓库概念创始人 W.H.Inmon《Building the DataWarehouse》联机事务处理 (OnLine Transaction Processing)OLTP是传统关系数据库的主要应用面向基本的，日常的事务处理，例如银行储蓄业务的存取交易，转账交易等。特点大吞吐量：大量的短在线事务（插入、更新、删除），非常快速的查询处理。高并发，（准）实时响应。典型的OLTP场景零售系统金融交易系统火车票销售系统秒杀活动联机分析处理 (OnLine Analytical Processing)OLAP联机分析处理的概念最早是E.F.Codd于1993年相对于OLTP系统而提出的。是指对数据的查询和分析操作，通常对大量的历史数据查询和分析。涉及到的历史周期比较长，数据量大，在不同层级上的汇总，聚合操作使得事务处理操作比较复杂。特点主要面向侧重于复杂查询，回答一些“战略性”的问题。数据处理方面聚焦于数据的聚合，汇总，分组计算，窗口计算等“分析型”数据加工和操作。 从多维度去使用和分析数据。典型的OLAP场景报表系统，CRM系统。金融风险预测预警系统、反洗钱系统。数据集市，数据仓库。报表系统是产生固定周期报表的，或者上报固定格式报表数据的平台或系统，如日报，周报，月报，年报，为经营决策提供电子化报表数据。CRM系统，客户关系管理系统是维护客户，对客户相关信息进行存储，客户行为进行分析， 对客户进行响应，挽留和市场活动管理等综合性业务系统平台。数据集市一般是面向一个组织中某个部门级别需求的应用需要，比如信用卡部门的分析需求。数据仓库是面向企业级别的构建整个企业分析处理环境而产生的分析类平台系统。数据库性能衡量指标TPC（Transaction Processing Performance Council，事务处理性能委员会）职责是制定商务应用基准测试标准(Benchmark)的规范、性能和价格度量，并管理测试结果的发布。制定的是标准规范而不是代码，任何厂家依据规范最优地构造自己系统进行评测。推出了很多基准测试标准，其中针对OLTP和OLAP分别有两个规范。TPC-C规范面向OLTP系统，主要包括两个指标流量指标：tpmC（tpm – transactions per minuete, 即每分钟测试系统处理的事务数量）。性价比指标：Price（测试系统价格）/tpmC。TPC-H规范面向OLAP系统流量指标：qphH – Query per hour，即每小时处理的复杂查询数量。需要考虑测试数据集合大小，分为不同的测试数据集，指定了22个查询语句，可以根据产品微调。测试场景：数据加载，Power能力测试和Througput测试。

数据库技术技术发展史人工管理文件系统数据库系统数据早期的计算机系统主要用于科学计算，处理的数据是数值型数据整数: 1,2,3,4,5….浮点数：3.14, 100.34, -25.336…现代计算机系统的数据概念是广义的数字、文字、图形、图像、音频、视频等描述事务的符号记录称为数据记录：在计算机中表示和存储数据的一种格式或一种方法数据的含义称为数据的语义数据库数据库：存放数据的仓库，是大量数据的集合存放在数据库中数据的特点永久存储有组织：按一定的数据模型组织，描述和储存可共享：为各种用户共享使用，而不是某个用户所专有数据库管理系统(Database Management System，DBMS)能够科学地组织和存储数据，高效地获取和维护数据的系统软件，是位于用户与操作系统之间的数据管理软件。主要功能①数据定义语言(DDL)用户可以通过它可以方便地对数据库中的数据对象的组成与结构进行定义②数据组织、存储和管理功能基本目标是提高存储空间利用率和方便存取，提供多种存取方法来提高存取效率③数据操纵语言(DML)用户可以使用它实现对数据库的基本操作，如查询、插入、删除和修改等④数据库的事务管理和运行管理功能数据库在建立、运用和维护时由数据库管理系统统一管理和控制，以保证事务的正确运行，保证数据的安全性、完整性、多用户对数据的并发使用及发生故障后的系统恢复⑤数据库的建立和维护功能数据库初始数据的输入和转换功能；数据库的转储、恢复功能；数据库的重组织功能和性能监视、分析功能等，这些功能通常由一些使用程序或管理工具完成的。⑥与其他软件系统的通信功能等数据库系统(Database System， DBS)数据库、数据库管理系统（及其应用开发工具）、应用程序和数据库管理员组成的存储、管理、处理和维护数据的系统。蓝色框的代表是数据库系统组成部分。操作系统不属于数据库系统。计算机系统层次结构图数据库管理系统调用操作系统

华为伙伴暨开发者大会2022终于迎来完美收官~在GaussDB数据库专场大咖们金句频出快来get他们的精彩发言看看是谁的DNA又动了呢？

海量数据的聚合分析如何满足业务要求？如何快速构建跨云、跨边、跨集群的云原生应用？如何快速构建兼容多种推理框架的高性能AI应用？2022年6月16日在华为伙伴暨开发者大会上，华为云公布四大重磅开源项目， 旨在帮助开发者解决上述问题。openGemini：openGeminiKurator：kurator-dev · GitHubKappital：Kappital · GitHubModelBox：ModelBox | ModelBox是一套统一的端边云AI应用开发和运行框架的规范，以及在此规范上所实现的运行时框架。...#华为伙伴暨开发者大会2022# #华为云#

【中国，2022年6月16日】今天，在华为伙伴暨开发者大会2022，华为云将GaussDB时序时空数据库内核开源，并命名为openGemini。华为云数据库创新Lab主任张文亮在华为云数据库专题论坛对openGemini进行了详细的技术解读，介绍了其创新架构、卓越的读写性能、高效的数据分析和数据压缩等能力，是企业数字化转型升级，海量时序时空数据处理的最佳选择。物联网时代，设备数量激增，数据库面临更大挑战。比如高并发写入大量数据如何保证高性能？每天GB、TB级数据如何降低存储成本？海量数据的聚合分析如何满足业务要求？与此同时，随着企业数字化和云计算技术的发展，企业IT系统数量越来越多，功能也越来越复杂，导致企业在处理数据时存在诸多挑战。首先，数据存在多种模态，分散存储在多套系统中。其次，数据指标类型多，采样频率高，数据增长迅猛。第三，业务种类繁多，对分析的时效性要求越来越高。最后，业务之间存在复杂的关联，故障检测和根因分析很困难。多个系统的运维监控也对数据库提出了新的需求。时序数据库是针对物联网和运维监控等场景，结合业务和数据特点专门设计的一种垂直领域数据库系统，在数据压缩精简、数据分层存储、连续数据查询以及数据分析等方面具有超越传统关系型数据库的明显特点和优势。华为云整合产业和技术优势，打造了业界领先的企业级时序数据库GaussDB(for Influx)，并经过外部公有云业务服务化的锤炼以及内部DevOps等业务的长时间打磨，在大规模集群、高性能查询、分级压缩存储等方面都有明显优势。在此次大会上，华为云宣布将GaussDB(for Influx)内核正式对外开源，开源品牌命名为openGemini，它是继openGauss数据库开源之后，华为开源的又一关键数据库系统。openGemini兼容InfluxDB、Prometheus生态API，具有高性能、高扩展、存储-分析一体化、运维成本低、高数据压缩率等5大优势。openGemini数据库全景图高性能，千亿级时序数据全生命周期管理openGemini通过多核并行算法、数据分级存储、向量化、数据预处理、近数据处理等技术，实现极致读写性能。在海量数据场景下，支持每天万亿指标数据写入，万级传感器数据时空聚合查询亚秒级响应，在同类开源产品中性能优势明显。高扩展，满足企业复杂业务处理诉求openGemini由ts-sql, ts-store, ts-meta三个组件组成，每个组件可单独扩展，能够支撑100+节点的扩展，可灵活应对不同时序业务场景。存储-分析一体化，实现数据闭环管理openGemini基于AI技术的强大数据分析能力，提供时序预测、时序异常检测能力，实现了数据从存储到分析完整的闭环管理。运维成本低openGemini架构简单，安装部署灵活，无第三方依赖，大幅减轻了运维的成本。高数据压缩率openGemini采用行列混存方式，数据按列进行压缩，不同数据类型对应不同的数据压缩算法，极大缩减了数据压缩空间。如华为云某服务存储空间从每天1035GB降低到82GB，缩减了12.6倍。技术创新是openGemini开源社区持续、健康发展的推动力，华为云将坚持开放合作的运营理念，期待与开发者、企业一起共建openGemini开源社区，实现开源成果的共享，促进时序数据库产业快速发展，实现技术的商业价值和社会价值。openGemini社区欢迎企业人员、科研工作者、学生等伙伴的加入。让我们携手与共，共创新、赢未来！官网地址：http://www.opengemini.org

6月16日，2022年华为伙伴暨开发者大会正在以线上的方式火热进行，会上集结了众多行业专家、合作伙伴和客户，一起共话行业前沿趋势，探索技术新发展。在“探秘GaussDB，打造坚实金融数据新底座”专场，华为云数据库首席架构师冯柯、工商银行软件开发中心高级经理董勇明、上海掌数科技有限公司首席顾问邹昌根和华为云数据库创新LAB主任张文亮以线上的形式现身，与观众分享了GaussDB最新技术趋势，以及华为云GaussDB与伙伴合作背后的故事和实践经验。 华为云GaussDB 技术创新之路永不停歇持续创新是华为云一直以来坚持在做的事。当前，随着5G、IoT、AI、大数据的快速发展，数据量爆发式增长，数据库云化进一步提升，数据库行业也迎来了云原生2.0时代，这对数据库的性能、可靠性、可用性都有了更高的要求。华为云GaussDB多年来持续聚焦技术创新，构建以应用为中心的新型数据库云服务，让客户聚焦业务创新。在此次大会上，华为云数据库首席架构师冯柯重点介绍了刚刚正式商用的GaussDB云原生HTAP，分享如何为业务提供更加及时精准的数据分析，助力商业决策；ALT应用无损透明技术如何在遭遇故障、运维以及实例变更时保持业务不中断，实现真正的业务高可用；创新性地将NDP(Near Data Processing, 近数据处理) 和PQ(Parallel Query, 并行查询)相结合，打造了NDPQ(近数据并行处理)，打破复杂查询性能天花板。华为云GaussDB的技术优势正在赋能越来越多的企业客户实现数字化高效转型。 工商银行核心系统转型  聚焦技术硬实力 夯实数据底座“在数字化升级的道路上，我们选择了华为云GaussDB作为优秀的合作伙伴。”工商银行软件开发中心高级经理董勇明在分享中提到，工商银行对自身的核心交易系统的诉求有清晰的认知，自2019年和GaussDB联创以来，已有20多个业务系统相继试点上线。去年，在开放平台大型业务系统传统集中式数据库转型领域，双方持续技术攻关，初步形成了整套的系统性技术资产和解决方案，为金融行业提供了低成本、高效可控的转型借鉴。“这一路的联创实践，充分验证了传统集中式数据库向分布式数据库转型的可行性，为大型商业银行核心系统转型趟出了一条宽阔的道路。未来，工商银行将继续依托产学研联合创新机制，与包括华为在内业界领先企业深入开展联合技术攻关与融合共建，共建金融科技新生态”董勇明说。持续技术攻关，联手共建金融科技新生态 掌数科技&华为云GaussDB 助力证券行业金融创新 打造行业标杆“数据库技术作为根技术，在华为生态体系建设中是非常重要的，这也是我们所看重的。”上海掌数科技有限公司首席顾问邹昌根说到。掌数科技是一家聚焦于证券和大资管行业，面向数据库和大数据技术、智能化场景应用以及行业信息技术应用创新领域的金融科技企业，服务于全国80+大型金融机构客户。掌数科技作为华为在金融证券行业首家数据库技术领域的全面合作伙伴，以法人清算系统为行业典型应用场景，形成了以GaussDB为数据底座的一系列全栈式金融创新方案，并已经在证券行业展开试点应用。该方案不仅规划设计了两地三中心的网络高可用架构，也提供了完善的容灾安全保障，以及一整套、全面的基于GaussDB的技术支撑与服务体系。 联创形成基于法人清算系统的GaussDB全栈式金融创新方案 邹昌根表示：“我们期待通过与华为云GaussDB的合作，能够从多个维度保障创新项目的实施落地，让行业充分感知价值，展现我们优秀的实践经验；我们也将共同推进服务能力与体系建设，从而真正形成完整的GaussDB生态体系。” 探秘openGemini 共建开源时序数据库新生态同时，在GaussDB 数据库专场，华为云数据库创新LAB主任张文亮也对刚刚开源的时序时空数据库做了技术解读。“为了更好地推动数字化产业的创新发展，我们决定把自己的时序数据库GaussDB(for Influx)对外开源，开源社区叫openGemini，这是继openGauss开源之后，华为开源的又一数据库根技术。”张文亮说。openGemini时序时空数据库面向物联网、运维监控等业务场景，具备创新的架构设计、卓越的读写性能、高效的数据分析能力和数据压缩能力，帮助企业经济高效地处理海量时序数据。openGemini开源后将秉持着“基于创新技术、贡献产业发展，开放合作，共建共享”的生态策略，和开发者、企业一起，完善周边工具和南北向的生态，共同繁荣openGemini的技术生态。汇聚各界力量，共建openGemini繁荣生态 展望未来，华为云GaussDB将持续深耕技术创新，继续携手工商银行和掌数科技，以及越来越多的企业伙伴，以技术赋能业务数字化升级，并持续贡献openGauss和openGemini开源生态，为行业发展创造更多价值！

华为云GaussDB精彩议程来袭，重磅特性升级，优秀实践，重大产品开源……更多精彩内容，请锁定6月16日10:30GaussDB专场直播~

6月8日16:00，华为云快成长直播间-云数据库专场来啦！看华为云大咖架构师费鹏，如何深度解析用户自建数据库的痛点，又是如何对症下药，有针对性地提供华为云数据库解决方案！看直播→https://activity.huaweicloud.com/kuaichengzhang_live/20220608.html

华为云618惠上云，更简单！云数据库RDS for MySQL 1年享1.2折起，任意数据库迁移上云买1年送1年。活动期间还有8800元大礼包、满额赠华为笔记本，赢得1元换购万元数据库的机会！更多活动详情→https://activity.huaweicloud.com/dbs_Promotion/index.html

1.   背景随着5G和IOT的快速发展，面对爆发式增长的时序数据，如何才能挖掘数据中的潜在价值，为客户的业务运行、商业决策提供精确的指导？在统计学中，直方图作为一种经典的分析工具，可以直观地描述数据分布特征，应用场景极其广泛，例如：在网络监控数据方面，通过直方图可以捕捉异常数据的分布区间，便于网络的自诊断与修复；在时序数据分析方面，通过直方图可以表示数据的分布特征，便于时序数据的特征提取；作为代价评估模型的输入从而指导数据库内部的查询优化；本文带您了解直方图在不同产品中的实现，以及GaussDB(for Influx)中直方图的使用方法。2.   直方图的实现方式时序及分析性数据库大部分都支持了直方图算子，但各个数据库中的直方图实现上也有一定差异，其中几种比较典型的直方图实现有：Druid：Druid-histogram拓展中提供了近似直方图（approximate histogram aggregator）和固定桶直方图（fixed buckets histogram）聚合器。其中近似直方图根据论文《A Streaming Parallel Decision Tree Algorithm》实现，较适用于随机分布的数据。ClickHouse：ClickHouse提供了自适应直方图，查询的结果为近似值。与Druid类似，其实现参考了论文《A Streaming Parallel Decision Tree Algorithm》。当新数据输入到直方图时，直方图中桶的边界会被调整，通常情况下，桶的宽度并不相等。 ElasticSearch：ElasticSearch中支持了HDR Histogram(High Dynamic Range Histogram)，HDR Histogram是一种替代实现，在计算网络延迟的百分位数表现良好。同时，当值的范围并不清楚时，官方并不建议使用HDR Histogram，因为此时内存占用会很高。InfluxDB v2.0：InfluxDB同样提供了直方图的实现，与其它直方图略有不同。InfluxDB2.0可以设置直方图的桶的生成方式，linearBins()可以将数据按照线性分割，即桶宽相等，logarithmicBins()则可以将数据按照指数分割，即桶宽呈指数形式增长。GaussDB(for Influx)：GaussDB(for Influx)支持两种直方图类型查询，一种确定桶数的等高直方图，另一种确定桶边界的定界直方图。等高直方图指每个桶的高度接近的直方图，而定界直方图指设定桶的上下边界值的直方图。定界直方图支持用户的自定义，更方便用户根据业务特点提取数据的关键分布特征。支持四种数据类型，包括整数、浮点数、字符串与布尔类型，可满足各行各业的数据分析需求。 3.   GaussDB(for Influx)直方图使用本章节通过实际的数据样例介绍GaussDB(for Influx)直方图的使用。3.1 数据样例示例采用的数据如下：mst是表名，包含4个field(每个field对应一种数据类型)与2个tag，元数据如下：> show field keys name: mst fieldKey fieldType -------- --------- address string age integer alive boolean height float > show tag keys name: mst tagKey ------ country name原始数据如下：> select * from mst name: mst time address age alive country height name ---- ------- --- ----- ------- ------ ---- 1629129600000000000 shenzhen 12 true china 70 azhu 1629129601000000000 shanghai 20 false american 80 alan 1629129602000000000 beijin 3 true germany 90 alang 1629129603000000000 guangzhou 30 false japan 121 ahui 1629129604000000000 chengdu 35 true ca** 138 aqiu 1629129605000000000 wuhan 48 china 149 agang 1629129606000000000 52 true american 153 agan 1629129607000000000 anhui 28 false germany alin 1629129608000000000 xian true japan 179 ali 1629129609000000000 hangzhou 60 false ca** 180 1629129610000000000 nanjin 102 true 191 ahuang 1629129611000000000 zhengzhou 123 false china 203 ayin3.2 等高直方图查询语法：SELECT HISTOGRAM( [ * | <field_key> | /<regular_expression>/ ] , <N> ) [WINTO_clause] FROM_clause [WHERE_clause] [GROUP_BY_clause] [ORDER_BY_clause] [LIMIT_clause] [OFFSET_clause] [SLIMIT_clause] [SOFFSET_clause]HISTOGRAM(field_key, N)计算指定指标field在各区间的统计值，其中N是要求的。HISTOGRAM(/regular_expression/, N)计算满足正则匹配的field在各区间的统计值。HISTOGRAM(*, N)计算整数与浮点数数据类型的field在各区间的统计值。查询示例1. 查询field_key为age且桶数为5的等高直方图。> select histogram(age, 5) from mst where time >= 1629129600000000000 and time <= 1629129611000000000 name: mst time histogram value ---- --------- ----- 0 20 3 0 30 2 0 48 2 0 60 2 0 9223372036854775807 22. 查询field_key满足正则匹配为/hei/(符合要求的只有height)且桶数为5的等高直方图。# 浮点数类型 > select histogram(/hei/, 5) from mst where time >= 1629129600000000000 and time <= 1629129611000000000 name: mst time histogram_height value ---- ---------------- ----- 0 90 3 0 138 2 0 153 2 0 180 2 0 1.7976931348623157e+308 23. 支持field为字符串类型的address与布尔类型的alive的等高直方图查询。> select histogram(address, 5) from mst where time >= 1629129600000000000 and time <= 1629129611000000000 name: mst time histogram value ---- --------- ----- 1629129600000000000 chengdu 3 1629129600000000000 hangzhou 2 1629129600000000000 shanghai 2 1629129600000000000 wuhan 2 1629129600000000000 zhengzhou 2 > select histogram(alive, 3) from mst where time >= 1629129600000000000 and time <= 1629129611000000000 name: mst time histogram value ---- --------- ----- 1629129600000000000 false 5 1629129600000000000 true 6下图分别表示上述查询的各等高直方图3.3 定界直方图查询语法：SELECT HISTOGRAM( [ * | <field_key> | /<regular_expression>/ ] , ‘specifyBins’, boundary1, boundary2,...,boundaryN) [WINTO_clause] FROM_clause [WHERE_clause] [GROUP_BY_clause] [ORDER_BY_clause] [LIMIT_clause] [OFFSET_clause] [SLIMIT_clause] [SOFFSET_clause]HISTOGRAM(field_key, ‘specifyBins’,  boundary1, boundary2,...,boundaryN)计算指定指标field在指定区间的统计值，specifyBins为定界直方图标志，boundaryN表示指定的各边界值，可以是整数、浮点数、字符串与布尔四种数据类型。HISTOGRAM(/regular_expression/, ‘specifyBins’,  boundary1, boundary2,...,boundaryN)计算满足正则匹配的field在指定区间的统计值。HISTOGRAM(*, ‘specifyBins’,  boundary1, boundary2,...,boundaryN)计算整数与浮点数数据类型的field指定区间的统计值。查询示例：1. 查询field_key为age且指定区间[0, 10), [10, 20), [20, 30), [30, 40), [40, 50)的定界直方图。# 整数类型 > select histogram(age, 'specifyBins', 10,20,30,40,50) from mst name: mst time histogram value ---- --------- ----- 0 10 1 0 20 2 0 30 2 0 40 1 0 50 12. 查询field_key满足正则匹配为/eight/(符合要求的只有height)且指定区间[0, 160), [160, 170), [170, 180), [180, 190), [190, 200)的定界直方图。# 浮点数类型 > select histogram(/eight/, 'specifyBins', 160.0, 170.0, 180.0, 190.0, 200.0) from mst name: mst time histogram value ---- --------- ----- 0 160 7 0 170 0 0 180 2 0 190 0 0 200 13. 支持field为字符串类型的address与布尔类型的alive的定界直方图查询。# 字符串类型 > select histogram(address, 'specifyBins', 'anhui', 'beijin', 'chengdu') from mst name: mst time histogram value ---- --------- ----- 0 anhui 1 0 beijin 1 0 chengdu 1 # 布尔类型 > select histogram(alive, 'specifyBins', false, true) from mst name: mst time histogram value ---- --------- ----- 0 false 5 0 true 6下图分别表示上述查询的各定界直方图。总结直方图作为一种经典的统计分析工具，由于其构建简单高效且能有效地描述数据分布特征，因此它的应用场景极其广泛，特别是在分析型数据库中。GaussDB(for Influx)中不仅支持了两种类型的直方图查询能力(等高与定界直方图)，而且支持了四种数据类型(整数、浮点数、字符串与布尔型)，能够帮助用户快速构建业务的数据分析能力，助力用户商业成功。另外，GaussDB(for Influx)还在集群化、冷热分级存储、查询、高可用方面也做了深度优化，能更好地满足时序应用的各种场景。结束本文作者：华为云数据库创新Lab & 华为云时空数据库团队 欢迎加入我们！ 云数据库创新Lab（成都、北京）简历投递邮箱：xiangyu9@huawei.com 华为云时空数据库团队（西安、深圳）简历投递邮箱：yujiandong@huawei.com

近期，华为云GaussDB(for Redis)缓存数据库再次推出全新版本，携新特性重磅来袭！GaussDB(for Redis)是华为云推出的企业级分布式KV数据库，它完全兼容Redis协议，提供丰富的数据类型，基于云原生存储计算分离架构，在成本、可靠性等方面为企业带来全新价值。 本次GaussDB(for Redis)推出的全新特性，不仅对基础性能和连接管理等进行了大幅优化，同时突破开源Redis短板，实现增强版前缀搜索和集群版多租隔离功能，前缀搜索时延较开源Redis降低千倍，为助力企业业务发展带来了更多可能。关键特性1：增强版前缀扫描，千倍性能提升GaussDB(for Redis)推出的增强版前缀扫描功能，优化了String、Hash、Set、Zset四种数据类型scan的前缀搜索。GaussDB(for Redis)的SCAN、HSCAN、SSCAN、ZSCAN命令在使用方法上与开源Redis完全兼容，但前缀匹配模式的性能更为优秀，从开源的耗时O(N)优化到O(logN + M)（其中N是整体数据量，M是匹配的数据量）。下面根据某客户实际场景，对比GaussDB(for Redis)和开源Redis的性能：数据：500w个key，均为String，范围为“1”~“5000000”， value大小为100B。命令：Scan 0 Match 499999* Count 100。在500w个key中搜索11个key。结果：开源Redis为7.67s ，GaussDB(for Redis)仅为2.92ms，快了2600倍，且开源Redis在返回搜索结果前返回了4.98w+次的空结果，而GaussDB(for Redis)第一次就返回了搜索结果。开源Redis：GaussDB(for Redis)：在互联网业务中，诸如批量查找/删除一批相同前缀的key是很常见的业务场景，在上百万的数据量下，开源Redis的秒级时延显然是不可接受的。GaussDB(for Redis)针对这一场景进行了有效优化，将时延降低上千倍至毫秒级，带来了极致的性能体验。关键特性2：多租隔离，集群版业务数据隔离能力GaussDB(for Redis) 提供的多租隔离功能，允许用户为不同的业务创建不同的DB，实现不同业务数据隔离。使用方法上，GaussDB(for Redis)的多租隔离功能与开源Redis单机版本的多DB用法保持完全兼容（开源Redis集群版本不支持多DB）。用户可以通过SELECT DB来切换/新建不同的DB给不同的业务使用，通过FLUSHDB删除一个DB中的全部数据而不影响其他DB，从而高效地实现多租隔离效果。GaussDB(for Redis)多DB实现业务多租隔离GaussDB(for Redis)的多DB核心价值在于：集群版多DB：GaussDB(for Redis)集群版本可支持多DB；开源Redis的“多DB”只能用于单机，不支持集群。大规模多DB：GaussDB(for Redis)单实例支持65536个DB，搞定多业务多租隔离。高扩展性：开源Redis单机扩容到64G已经是极限，更不用说fork导致的容量利用率只有50%。GaussDB(for Redis)吞吐可水平扩展至百万QPS，容量支持12TB，解决了扩展性问题。低成本：GaussDB(for Redis)相比开源Redis，成本可降20%~70%。多租隔离是数据库的必备功能，在实际业务场景中，不同模块共享同一Redis实例是很常见的需求。GaussDB(for Redis)超越开源Redis，支持集群版本下的多DB，依托现有的秒级弹性扩缩容能力，在海量业务压力下仍能为客户提供灵活便捷的业务数据访问控制服务。目前，GaussDB(for Redis)已经凭借出色的产品实力在游戏系统、电商平台、推荐系统、社交媒体、物联网等众多企业级应用场景中发挥出巨大作用，而新推出的增强版前缀扫描与多租隔离两大功能特性，将以更优异的能力使企业在降本的同时实现增效，助力企业高效数字化！