HarmonyOS的分布式技术，让小朋友爱上涂鸦 作为一个拥有八年开发经验的团队，“儿童艺术创想”在儿童艺术创造类应用领域已颇有建树，本次带来的作品是——《Labo 涂鸦》。那么，“儿童艺术创想”是如何与 HarmonyOS 开发者应用创新大赛结缘并开发出创新作品的？背后用到哪些HarmonyOS先进技术？就让我们在负责人兼Labo涂鸦开发者吁勇的视频中深入了解吧~正如吁勇所说，HarmonyOS开发者创新大赛提供了一个平台，让开发者们能够抢先体验到HarmonyOS强大的分布式能力和开发工具链。得益于HarmonyOS强大的设备发现和互联能力，团队在开发过程中只需把重点放在产品本身的设计和调优上面，无需花太多精力在技术实现上，大大简化了开发流程。此外，基于HarmonyOS的分布式技术，《Labo涂鸦》摆脱了绘画应用多数只能单机操作的限制，实现了跨设备联机功能，既可以让小朋友绘制图画，也可以让父母或老师在不同设备上与小朋友一起进行涂鸦游戏，如绘画教学、联合作画、比赛等。只要设备处于同一局域网，就可以方便流畅地进行跨设备互动。尽管《Labo 涂鸦》已经初步实现团队关于亲子互动和教学的设想，但追求完美的他们不满足于此。团队十分看好HarmonyOS的未来发展并打算继续投入精力。 同时，他们也希望随着HarmonyOS 的发展，不断完善产品功能，创造出更多能让这个世界变的更加简单和有趣的产品，共同为用户带来更美好的生活体验。 HarmonyOS开发者【开发者说】栏目：https://mp.weixin.qq.com/s/dsIffKEOmYKNaCo790exRA

《分镜头App》的创作灵感来源于殷冬的日常观察，他发现平常人们在自拍时，往往会用前置摄像头，由于像素、取景景别等因素的限制，前摄拍出来的效果往往不是很理想；此外，当我们帮别人拍照时，对方也无法实时看到照片的取景角度和构图，拍出来的照片也很难让对方满意；对于照片的分享和美化，更是众口难调。为了解决这些痛点，提升用户的拍照体验，经过不断摸索，殷冬发现HarmonyOS的分布式技术有着很大的应用潜力。于是他基于HarmonyOS从0到1完成了《分镜头App》的开发。以下将为大家分享该款应用的开发者殷冬的开发心得。一、HarmonyOS技术使用 《分镜头App》主要用到了分布式文件服务、分布式硬件虚拟化、以及分布式数据服务。分布式文件服务利用分布式文件服务，可以自动同步其他设备拍摄的照片和视频，实现分布式相册功能。起初殷冬以为分布式文件服务使用起来会很复杂，例如是否需要自己控制同步、初始化功能等等。而真正接触后他发现，在底层上，分布式文件服务已经将复杂的工作都处理好了，只需用一行代码，就可以使用分布式文件服务，就相当于调用本地文件系统一样，只不过再继续向下，底层会帮助开发者处理很多业务。分布式硬件虚拟化分布式硬件虚拟化的特性，可以调用其他设备的硬件，实现相关的功能。在《分镜头App》中，调用其他设备的相机画面，就用到了分布式硬件虚拟化。并且可以控制拍摄画面的比例，实现不一样的拍摄效果。殷冬最初接触硬件虚拟化这个概念的时候，只是知道是基于分布式软总线实现的虚拟化，至于怎么使用，并不是很清楚，后来通过深入的学习发现，主动调用其他设备的接口，可以使用分布式任务调度或者IDL接口两种方法实现。而分布式任务调度和IDL接口，都可以传递实现Sequenceable接口的实现类对象。而硬件功能关键类都实现了Sequenceable接口，比如：相机预览画面的关键类Surface，就实现了Sequenceable接口。因此可以通过IDL将设备A的Surface对象，以参数的形式，传递到设备B。设备B的Service Ability执行相机初始化操作，就可以拿到设备B相机的拍摄画面。由此，就在代码编辑层面实现了硬件虚拟化。分布式数据服务在《分镜头App》中，有很多的协同操作。协同操作的核心逻辑，利用了分布式数据服务的数据变更通知功能。当一个设备触发协同操作时，通过变更通知，从设备触发UI和效果的变化，实现分布式协同功能。分布式数据服务有两个功能，可以为开发者带来很大的便捷。第一个是多端数据同步功能，当通过一个设备修改了数据库中的数据，其他设备也会做同步。第二个是在添加、修改、删除数据库数据时，其他设备如果创建了数据库的链接，并绑定了数据变更监听时，就会触发该监听。开发者可以利用这两个功能特性，做多端的协同功能。分布式相册实现相册主要存储图片、视频文件，可以使用分布式文件服务进行存储。此项功能殷冬还需要实现动态添加的效果，即：其他设备拍摄时，本机的相册列表动态显示刚刚拍摄的照片缩略图。这种效果可以在确定使用分布式文件服务存储照片和视频后，使用HarmonyOS的公共事件与通知功能，从而实现动态加载的效果。在拍摄完成时，通过公共事件功能发送一条广播。同时，在相册模块，注册公共事件，用于处理接收到通知后的动态添加缩略图逻辑。分布式文件服务负责同步拍摄的照片、视频等信息，公共事件通知则主动进行页面的刷新，二者合用，实现动态添加的效果。二、多设备协同实现目标设备未打开协同页面问题处理多设备协同实际上有个隐藏的前提，那就是所有设备都处于同一个协同页面中。这需要处理目标设备不在协同页面的问题。此时可以创建一个单版本分布式数据库，key值为设备id，value值为协同页面是否启动true/false。当进入到协同页面时，在onStart方法中设置值为true。当退出页面时，在onInactive方法中设置值为false。在发起协同前，可以通过单版本分布式数据库，获取到目标设备是否启动了协同页面。如果没有启动，可以先通过abilitySlice.startAbility()将目标设备拉起，进入到协同页面，然后再进入协同状态。如果目标设备已经处于协同页面，就可以直接进入到协同状态。统一管理分布式操作由于分布式数据服务每个应用最多同时打开16个KvStore，所以不能每一个协同操作都使用一个数据库。这里可以在value值上做文章，以实现通过一个分布式数据库，就可以实现一个页面中的多个操作的协同。首先，可以使用一个常量作为分布式协同数据库的key。每次put时，都使用这个常量作为key，以替换之前的数据。其次，需要创建一个实体类。成员变量中，需要有两个基础变量：1. operationType：int型，当前协同操作的类型；2. targetDeviceId：List<String>，需要协同的设备id数组；operationType字段主要是用来区分当前的操作类型，这样方便调用相同的功能进行协同操作。targetDeviceId主要是存储向哪些设备发起协同操作，可以通过判断本设备id是否在数组当中，如果不存在，就不做任何操作。此时需要将实体类转换成字符串，再存储到分布式协同数据库中。因此，可以通过JSONObject.toJSONString()，将实体类转换成字符串并进行存储。被调用方需要为分布式数据库，绑定数据变更监听。这样，其他设备添加或修改数据的时候，就会触发监听。监听类型要设备其他设备触发的变化，这样可以避免本地修改也会触发本地的监听的问题。在监听中就可以处理协同的功能。首先要判断变更的数据是否为空，避免后续出错。然后可以将key的json值取出，并做非空判断。接下来需要将json字符串转换成实体类，便于后续操作。这里可以使用JSONArray.parseObject(json, class)进行转换。然后进行判断，是否需要本设备进行协同。当本设备需要协同时，可以通过switch根据操作类型，调用不同的方法进行协同即可。总结殷冬通过官方文档、论坛、HarmonyOS技术社区等途径，系统的学习和了解HarmonyOS的特性，最终开发了本次大赛的《分镜头App》作品。未来，他还将持续深入了解HarmonyOS，尝试开发更为有趣的HarmonyOS分布式应用，也期待更多开发者加入到HarmonyOS生态，一起创造无限可能！HarmonyOS开发者【开发者说】栏目：https://mp.weixin.qq.com/s/ZYGIzhfGnhAc0s_GDTvcoA

大家好！我是酷哥，一周精选，带您速览，欢迎大家关注。 **本期整理如下：** ------------------------------------------------本期精选------------------------------------------------ - DB-Engines公布2021年度数据库：Snowflake - 数据库领域薪火再燃，DC2021分布式数据库大会 - 2021年编程语言名单：SQL位居榜首，Java、Python紧随其后 - 盘点2021年全球十大数据安全事件 - openGauss 助力邮储银行分布式新核心迈向智能运维时代 - GBASE南大通用正式开始研发基于openGauss的分布式事务型数据库 - 如何让数据库发挥最大价值 ------------------------------------------------资讯全文------------------------------------------------ - 2022年的技术趋势：开源、云计算、区块链 **摘要：** 随着2022年即将到来，人们希望了解数据库、数据管理、人工智能领域的关键技术驱动因素在2021年的发展，并试图了解这些技术和市场在2022年的发展趋势。 开源和云计算的兴起已经有一段时间，并且没有看到增长放缓的任何迹象。调查机构Gartner公司对2021年开源软件的分析指出：“到2025年，与目前的IT支出相比，70%以上的企业将增加在开源软件上的IT支出。此外，SaaS将成为开源软件的首选消费模式，因为它能够提供更好的操作简单性、安全性和可扩展性”。 区块链平台基本上也是开源的，但尽管与数据相关，但它们的情况却不同。区块链概念和技术仍在开发中，而主流采用仍然处于尝试阶段。 **文章来源：** [https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=176935](https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=176935) - DB-Engines公布2021年度数据库：Snowflake **摘要：** Snowflake 平台是一个完全托管的云服务，它整合了数据仓库、数据集市和数据湖，并支持针对这些方面运行分析。DB-Engines 称，Snowflake 不仅是第一个获得“年度 DB-Engines DBMS”奖项的 SaaS 平台，还是第一个进入该奖项前三名的以数据仓库为中心的产品。 Snowflake 于 2014 年公开推出，并将数据仓库提升到了一个新的水平。在多轮风险投资的支持下，它不断扩展平台和服务。2020 年 9 月，Snowflake 正式上市，也是迄今为止最大的软件 IPO 上市公司。 DB-Engines **了 Snowflake 自 2016 年 7 月以来的流行度分数，当时它的初始流行度分数是 0.35 分，在 2020 年 8 月增加到 2.59 分。目前的得分是 76.82 分，在 2021 年期间增加了 61.29 分。在 DB-Engines 的整体排名中，Snowflake 在 2021 年开始时排名 37，在过去 12 个月中已经攀升了 20 位，排名 17，而且这一趋势似乎还没有结束。 **文章来源：** [https://bbs.huaweicloud.com/forum/thread-176529-1-1.html](https://bbs.huaweicloud.com/forum/thread-176529-1-1.html) - 数据库领域薪火再燃，DC2021分布式数据库大会 **摘要：** 当人们谈论起分布式数据库技术之时，往往会冠以“未来、前景”等词汇来描述。而我们走过2021这一数据库技术的变革之年，回首望去，未来已来，分布式数据库的时代大幕已然悄然拉开。 2022年1月6日，由中国电子技术标准化研究院指导、CSDN主办、OceanBase承办，木兰开源社区、开源中国、51CTO、思否、极客邦科技、稀土掘金、墨天轮、dbaplus协办的DC2021分布式数据库开发者大会，以“数聚未来”为主题，邀请了MySQL之父、MariaDB创始人Michael“Monty”Widenius与PostgreSQL全球开发组联合创始人Bruce Momjian带来深度的行业解析，同时OceanBase创始人阳振坤、CEO杨冰、CTO杨传辉、腾讯分布式数据库TDSQL首席架构师李海翔、华为云数据库首席架构师冯柯、PingCAP副总裁刘松、巨杉首席架构师&研发副总裁陈元熹等国内顶级分布式数据库行业先行者，技术专家带来精彩的演讲分享，为开发者们贡献了一场分布式数据库领域的“盛宴”。 **文章来源：** [https://bbs.huaweicloud.com/forum/thread-177099-1-1.html](https://bbs.huaweicloud.com/forum/thread-177099-1-1.html) - 2021年编程语言名单：SQL位居榜首，Java、Python紧随其后 **摘要：** Emsi Burning Glass收集并分析了数百万个招聘信息，得出2021年最具需要的编程语言：SQL 位居榜首，Java位列第二位，第三名编程语言为Python。 **文章来源：** [https://bbs.huaweicloud.com/forum/thread-176598-1-1.html](https://bbs.huaweicloud.com/forum/thread-176598-1-1.html) - 盘点2021年全球十大数据安全事件 **摘要：** 2021年，数据隐私泄露事件频发，涉及面广，影响力大，企业因此陷入数据保护合规与社会舆情压力的双重危机。近日，有国外媒体梳理了2021年十大数据泄密事件，并对事件进行了点评分析。据数据统计，共有近2.2亿人受到数据安全事件的影响，其中三起泄密事件发生在科技公司，四起涉及敏感记录的泄露。 **文章来源：** [https://bbs.huaweicloud.com/forum/thread-176799-1-1.html](https://bbs.huaweicloud.com/forum/thread-176799-1-1.html) - openGauss 助力邮储银行分布式新核心迈向智能运维时代 **摘要：** 近日，邮储银行新一代分布式核心运维平台成功投产上线，这是继邮储银行新一代分布式核心系统技术平台上线之后，取得的又一项重要阶段性成果。作为邮储银行全行一体化运维体系的重要组成部分，运维平台将为新一代分布式核心系统提供全方位监测与管控手段，也必将为新一代分布式核心系统全面投产保驾护航。 **文章来源：** [https://bbs.huaweicloud.com/forum/thread-176897-1-1.html](https://bbs.huaweicloud.com/forum/thread-176897-1-1.html) - GBASE南大通用正式开始研发基于openGauss的分布式事务型数据库 **摘要：** 南大通用已于 2021 年签署 CLA(Contribution License Agreement, 贡献许可协议），正式加入 openGauss 社区。日前正式开始研发基于 openGauss 的分布式事务型数据库 GBase 8c （ for openGauss ），这也是业内首个基于 openGauss 的分布式数据库产品。该产品可为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。 **文章来源：** [https://bbs.huaweicloud.com/forum/thread-177059-1-1.html](https://bbs.huaweicloud.com/forum/thread-177059-1-1.html) - 如何让数据库发挥最大价值 **摘要：** 完善的数据可以推动业务取得成功，数据能够帮助您更好地了解客户，洞悉他们的需求，还能帮助您的企业机构提供更优质的全方位用户体验。简而言之，数据对于任何业务的成功都至关重要。而优化数据库性能更是保持客户满意度和帮助企业在竞争中保持领先地位的关键。 如何能帮助您的数据库发挥最大价值：检查数据库的运行状态、采用跨平台解决方案、确保云端数据库达到标准、创建性能基准、了解您的指标、选择合适的查询加以优化、在潜在问题导致业务中断前进行预测和识别、通过持续交付简化数据库部署、做好发生故障的准备。 **文章来源：** [https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=176962](https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=176962) 上一期：[【技术之声】第三期（20220103）一周精选](https://bbs.huaweicloud.com/forum/thread-176458-1-1.html) ------------ *声明：文章源于第三方公开的信息，如内容中涉嫌侵权或存在信息不实时，请及时联系删除。* 整理者：酷哥

什么是一致性？至于原理什么的，这里就不赘述了，总的来说目前的分布式系统实现起来基本上都是基于BASE理论的，业务需要保持最终的一致性，说白了了是可以允许 中间过程的短暂不一致，只需要最后一致就好。一说到这个，很多人马上就能想到XA和TCC这两种分布式事务的实现，而且也有很多人针对这两种思想设计出了很好的实现，比如：tcc-lcn:https://github.com/codingapi/tx-lcn 还有很多的实现，去github上一搜就能找到。但是基于XA需要有强大的事务管理器来协调事务操作，TCC的方式需要第三方协调者，多一个中间件就多一分维护，同时业务难度也就上升很多 。当然如果公司中有非常牛逼的中间件团队这个就基本可以忽略了，基本能保持最少4个9的可靠性（https://blog.csdn.net/varyall/article/details/82592970）。B端业务场景通常业务系统B端非常重视一致性，C端则更加重视高可用，在B端数据配置的时候通常都是需要调用好几个系统才能完成一个数据的创建，如商品创建基本都需要创建商品基础数据创建凭证模板创建适用门店库创建xxx关联数据落本地数据在这里的每一步都可能会失败，比如网络超时，db抖动等等常见的失败原因。每一步失败都意味着整个流程需要重试（更恐怖的是有的业务需要回滚前面的步骤）。回滚基本不在业务考虑范围内，因为本来业务就是要做好创建的工作，而且在校验阶段都是符合创建条件的，那么业务上肯定是希望能够完整的建好业务数据，回滚只是作为非常规运维手段来使用。可以需要通过以下几个点来实现最终一致性.重试就像上面说的，在这种可重试的失败需要系统能够自动重试，重试的方法有很多，可以基于任何有定时任务功能的系统或框架来实行，如linux的crontabquartzschedulerxxxl-job等都符合重试的要求，处理业务的时候本地落一条流水数据，失败后设置可重试状态，等待定时任务来执行。注意：重试的时候记录好trace，这对排查问题非常有帮助需要考虑好幂等性需要考虑好并发重试次数幂等在任务进行重试执行的时候，如何保证重复执行的幂等性呢？ 首先：底层接口需要支持幂等，每次重试的时候业务流水id都保持一致，这样通过流水id来实现幂等，防止数据重复创建。但是如果底层接口不支持幂等呢？（这种肯定有的，反正有各种历史原因） 那么就需要业务自己来保证幂等了，在接口执行的时候落一条流水记录，执行完成后更新流水，在执行前先判断流水是否已经执行成功，如果成功了就幂等返回，不做业务操作。通过本地落流水只能保证99%以上幂等，如果完全依赖这个做幂等那就想的太简单了，思考下，如果在调用某个接口的时候返回了超时的异常，此时流水状态设置的还是失败状态，等待重试的时候还是会进行重复请求，这样还是会重复创建数据。所以如果底层不支持流水幂等，而是支持业务幂等的话，如创建的时候有相同的id则会查询一下本地DB，已经有数据就返回指定的错误码，那么业务上还可以根据这个错误码进行幂等处理。如果底层业务幂等都不支持，那这个就只能在处理的时候先查一次，再决定是否调用这个接口了（还是有风险的）。并发做好幂等其实还不够，还需要做好并发处理，比如我的业务在处理的时候如果失败了任务重复调度导致两个任务一起执行了，或者任务执行的时候手动触发了任务执行等，这些问题都是存在的。要做好并发处理，优先考虑使用分布式锁，在业务处理前先获取锁，获取锁失败则说明已经有任务在执行了，当前任务执行结束，等待之前的任务执行完成。加个分布式锁就可以了？ 那也还是想的太简单了，考虑下这个场景第一次用户编辑的时候，在执行第三步的时候网络超时失败了，落了重试任务，此时任务还没开始调度，用户又开始编辑数据，此时执行的时候获取到了锁，执行成功了。然后定时任务调度拉起之前重试的任务，继续执行第三步的操作，然后数据就被覆盖了。。。这时聪明的你已经想到了长锁+可重入锁的方式了：业务执行的时候先落一条长锁，只有执行成功的时候才会释放锁，同时通过请求id作为可重入的判断条件，业务失败后任务拉起来执行的时候还是相同的流水ID，这时任务是可以正常执行的。此时用户想要编辑数据，则会获取锁失败，用户无法进行编辑，此时给个友好的提示。这种方式还要注意一个点，分布式锁改为了分布式可重入锁，那么并发问题又来了，如果任务同时执行了都是相同的流水id，都能正常执行。 可以通过如下的方式来避免这个通过限制可重入个数为1在业务内部再加一个锁小结考虑好幂等，并发，重试这几个问题后，整个业务系统就可以非常健壮的跑起来了。那么问题来了，为什么只要重试而不需要做回滚呢？会进入任务执行的时候，需要基础校验都已经完成了，校验通过后说明数据是允许执行的，既然已经拿到了执行的门票，那么我们的任务就是要保证创建成功，至于回滚等操作只会在底层数据出现问题，无法执行完整的创建流程，需要回滚之前的操作。实际业务上使用的时候基本不会去写回滚的逻辑的，首先加重了开发的任务，其次回滚这种逻辑更适合作为运维手段来执行，这里可以考虑下原因哦。

记得几年前当人们谈论起分布式数据库技术之时，往往会冠以“未来、前景”等词汇来描述。而我们走过2021这一数据库技术的变革之年，回首望去，未来已来，分布式数据库的时代大幕已然悄然拉开。2022年1月6日，由中国电子技术标准化研究院指导、CSDN主办、OceanBase承办，木兰开源社区、开源中国、51CTO、思否、极客邦科技、稀土掘金、墨天轮、dbaplus协办的DC2021分布式数据库开发者大会于线上正式召开。本次大会以“数聚未来”为主题，邀请了MySQL之父、MariaDB创始人Michael“Monty”Widenius与PostgreSQL全球开发组联合创始人Bruce Momjian带来深度的行业解析，同时OceanBase创始人阳振坤、CEO杨冰、CTO杨传辉、腾讯分布式数据库TDSQL首席架构师李海翔、华为云数据库首席架构师冯柯、PingCAP副总裁刘松、巨杉首席架构师&研发副总裁陈元熹等国内顶级分布式数据库行业先行者，技术专家带来精彩的演讲分享，为开发者们贡献了一场分布式数据库领域的“盛宴”。中国电子技术标准化研究院研究室主任杨丽蕴在致辞中表示：去年国家明确了数据为第五大生产要素，这对于我国数据库软件既是重大的发展机遇，也是重要的挑战。分布式数据库即没有传统数据库的“旧包袱”，又依托于开源模式下的资源积累，在取得长足进步的同时也在走向更多的核心产业市场。我相信在国家新创战略下，我国分布式数据库软件顺应了数字化发展的需求，必将取得快速创新和发展。CSDN创始人&董事长、极客帮创投创始合伙人蒋涛表示：在CSDN 20年关键词统计中我们发现“数据库”一词在十余年中一直高居榜首，所以说长久以来数据库一直都是软件开发最重要的基底。开源时代下，云原生技术作为土壤，为产品注入了商业与服务的价值，这也是为何近几年间分布式数据库产品拥抱开源与云原生技术的因由所在。而对于国产数据库厂商而言，在如今这个闭源走向开源，传统集中式走向分布式的关键时间节点，国产数据库产品走向世界的绝佳时机已经到来。1、数聚未来，数据库掌门人共话分布式MySQL之父、MariaDB创始人Michael“Monty”Widenius发表了主题为“从MariaDB看全球数据库的机遇和挑战”的主题演讲。他认为庞大的用户群是指引数据库发展方向的重要对象，在创建Maria DB之时正是通过对于用户需求的分析，同用户一同去解决问题，才能从容地应对挑战。他表示：分布式数据库能够在不同节点上进行基本计算，所以在处理大量数据以及组计算的时候有很大的优势，但在事务处理方面则会慢一些，所以对于技术而言没有绝对的完美，更多的基于需求的权衡。OceanBase创始人&首席科学家阳振坤分享了《原生分布式数据库是数据库的新物种》主题演讲。他表示：移动互联网时代，当数据库面向社会大众，面临几千万甚至几亿用户的并发访问，传统集中式数据库遇到了“小马拉大车”般的严峻挑战。而分布式数据库采用了多匹马协同并进的思路，虽然极大地增加了数据库自身的复杂度与技术挑战，但却极大地简化了业务流程。在分布式数据库场景下，OLAP与OLTP兼得虽然成为可能，但我们也在面临着前所未有的挑战。在不久的将来，HTAP场景下的所有挑战都将被我们所克服。PostgreSQL全球开发组联合创始人Bruce Momjian发表了主题为《开源引领数据库发展》的演讲。他认为开源对于全球的开发者而言都是一个绝好的机遇，在开源的整体环境下，开发者的作品能够在全球范围内得到认可，其本人能够有机会在国际性会议上发言。谈到分布式数据发展，他认为随着市场成熟与价值的显露，会有越来越多的人将目光投向分布式，而对于从业者而言，更多是要投入到创新与保障整体项目的健康度之上，这样才能做到真正的先市场而行。腾讯分布式数据库TDSQL首席架构师李海翔带来了《TDSQL关键技术深入解读数据异常体系化研究》主题演讲。在演讲中他回溯了数据库体系建立以来对于数据异常的定义与概括，并详细阐述了数据异常与整个事务处理领域关于数据异常、隔离级别与一致性三者之间的关系。TDSQL的研究团队通过定义冲突关系，构建冲突图，建立图与异常的映射并进一步对数据异常进行分类的方式，成功建立了体系化的研究数据异常的框架，并初步描述了并发访问算法。华为云数据库首席架构师冯柯分享了主题为《华为云GaussDB，深耕创新，打造根技术竞争力》的演讲。在演讲中他围绕数据库六大关键技术方向：全球多活高可用、软硬深度协同、企业级混合负载、云原生、数据安全与可信、AI-Native阐述了华为GaussDB的根技术能力打造之路。OceanBase CTO杨传辉发表了题为《重新定义“分布式数据库”》的演讲，他表示：OceanBase作为原生分布式数据库的代表，它背后的核心技术便是一体化架构，一方面原生分布式架构能够享受到分布式技术的无限扩展，另一方面对外体现了对传统数据库的完美兼容。在2021年，OceanBase取得了包括OLTP到HTAP整体性能、单核性价比、跑批能力、Oracle平滑迁移、易用性五大核心产品技术突破。同时在本次大会上，杨传辉正式公布了OceanBase全新的3.X工具家族—运维监控工具OCP、开发者工具ODC以及迁移同步工具OMA&OMB，并发布了OceanBase社区版3.1.2。OceanBase CEO杨冰分享了《最好的时代，共建分布式数据库未来》的主题演讲。在演讲中他表示：根据IDC测算，中国关系型数据库软件市场规模增长更加迅猛，年复合增长率达到29.5%，其中云数据库增长贡献较大，云 + 分布式无疑是数据未来发展的关键趋势。而在这样的大趋势中，OceanBase正在逐步完成由金融走向国计民生，由用户认可走向核心系统“首选”的道路。在数据库行业百家争鸣的良性竞争生态中，OceanBase将携手业界同仁，一起构建分布式数据库时代的光明未来。2、大势所趋之下的数据库技术转型之路在CSDN创始人&董事长、极客帮创投创始合伙人蒋涛的主持下，OceanBase CTO杨传辉、巨杉首席架构师&研发副总裁陈元熹、腾讯分布式数据库TDSQL首席架构师李海翔、PingCAP副总裁刘松与华为云数据库首席架构师冯柯一同展开了主题为《传统数据库向分布式数据库转型的价值及趋势》的圆桌对话。OceanBase CTO杨传辉认为，分布式数据库发展在于天时地利人和，天时是专有服务器的迭代以及公有云的趋势，地利是在大数据时代下客户对于更高数据量并发的需求，人和是随着互联网的兴起带动了分布式数据库行业，使得参与门槛也相应降低。PingCAP副总裁刘松表示，我们开始进入到分布数据库的下一个时代，从最初的互联网需求到金字塔顶端的数字化需求，是驱动全社会关注分布数据库行业的最大背景之一。同时新一代的云原生应用场景对分布式数据库的需求非常强烈，分布式数据库未来最大使命便是促成千行百业的数字化目标。华为云数据库首席架构师冯柯认为，分布式数据库就是契合当前中国的发展阶段，由中国的人口红利驱动的流量运用，下面产生的一种新的数据库的形态。分布式数据库可以比喻成高铁，单机比喻成轿车。分布式开发起来尽管复杂，就像我们可能没办法把高铁做成像轿车那样方便灵活，但二者都是通向同样的智能化目标。腾讯分布式数据库TDSQL首席架构师李海翔表示，分布式数据库是建立在单机数据库的基础之上发展起来的新技术，其最主要的特征是在具备极强可扩展性的同时与智能化技术进行了很好的结合。我们在数据库领域需要着重于基础性技术的创新，而在基础性的创新之后，下一阶段在工程领域便会有叠加式、迭代式的创新产生，应用的创新也会不断推进。巨杉首席架构师&研发副总裁陈元熹认为对于分布式数据库来说，如何通过从技术上提升可扩展存储与海量算力去解决客户实际场景中遇到的问题是我们面临的最大挑战。无论是开源还是闭源，归根结底是为了做出产品，只要能够做出一个合乎用户使用习惯，帮助客户解决问题的产品就是好产品，就能够取得商业成功。3、海纳百川，百花齐放，分布式数据库技术正当时在本次大会上，进行了2021DC分布式数据库开发者大会“海纳奖”的颁奖典礼。本次奖项由CSDN联合极客邦、思否、开源中国、51CTO、掘金、木兰开源社区共同评选，选出了分布式技术领域“2021年度海纳奖——分布式数据库十佳实践人物”。他们分别是中联重科的中台架构师姜维、恒生电子的数据库技术小组组长，云基础部门副总经理林景忠、中国人寿的数据中心数据库管理组负责人卢强、浙江移动信息技术部云智能中心的平台架构部主管潘宇虹、涛思数据的创始人陶建辉、滴普科技CTO吴小前、武汉大学副教授杨先娣、南京银行鑫云 & 基础平台负责人朱孝天、字节跳动的基础架构数据库技术负责人 张雷以及SphereEx的创始人张亮。作为首个分布式数据库领域的重要奖项，“海纳奖”的出现为分布式数据库行业发展树立了榜样，极大地推动了分布式数据库产业的发展。在DC2021分布式数据库开发者大会的下午场，进行了分布式数据库技术、分布式数据库开源生态与应用两场分量极重的分论坛内容分享。在分布式数据库技术分论坛中，OceanBase 首席架构师杨志丰、华为 GaussDB 技术专家王磊、阿里云智能数据库 PolarDB-X 产品经理胡中泉、OceanBase 产品部总经理王南、巨杉数据库联合创始人 & 高级研发副总裁许建辉、StarRocks 产品负责人赵恒、偶数科技数据库首席架构师陶征霖与MongoDB 中文社区主席 Tapdata Founder & CEO 唐建法带来了深入浅出的核心产品技术能力解读。而在之后的分布式数据库开源生态与应用分论坛上，InfoQ主编王一鹏、OceanBase 开源负责人封仲淹、SphereEX 创始人&CEO张亮、Apache Doris PPMC & 百度资深研发工程师杨政国、CSDN 开源平台负责人谢志锋、红象云腾创始人 &Hadoop 技术讲师童小军、Flink CDC Maintainer & Apache Flink Committer 徐榜江与Seata 开源社区负责人季敏围绕开源生态议题进行了多维度的内容分享。在大会晚间安排的“极客夜宵”环节中，OceanBase CTO杨传辉，OceanBase研发总监&开源负责人封仲淹以及OceanBase技术专家李帅带来了干货满满的技术分享。在杨传辉的日照公开课中，他首次进行了基于一段涂鸦文字代码page的OceanBase coding show演示。在演示过程中，杨传辉深入浅出地通过项目所需要的功能模块对OceanBase的一体化架构进行了详细解读。在封仲淹带来的MySQL数据库迁移实践课程中，他详细介绍了OceanBase全新推出的OCP管控平台与OMS数据迁移工具，并通过实际项目演示对这两大工具进行了深度解析。李帅分享的OceanBase 性能调优演示通过最后执行计划与性能场景的调优两大例子，帮助开发者解决了性能调优过程中遇到的瓶颈与问题。 科技发展战略之下，数据库等基础软件正逐步站上IT产业发展的舞台中央。在本次DC2021分布式数据库开发者大会上，我们更是见证了被称之为“数据库技术未来”—分布式数据库技术的风采。相信在政产学研四界的共同推动下，数据库技术将迈入一个名为分布式数据库技术的全新篇章。文章来源：https://www.csdn.net/article/2022-01-06/122355494

南大通用已于 2021 年签署 CLA(Contribution License Agreement, 贡献许可协议），正式加入 openGauss 社区。日前正式开始研发基于 openGauss 的分布式事务型数据库 GBase 8c （ for openGauss ），这也是业内首个基于 openGauss 的分布式数据库产品。该产品可为关键行业核心系统、互联网业务系统和政企业务系统提供安全、稳定、可靠的数据存储和管理服务。openGauss 开源数据库深度融合华为在数据库领域多年的经验，提供面向多核的极致性能、全链路的业务和数据安全、基于 AI 的调优和高效运维的能力，采用木兰宽松许可证 v2 发行，允许所有社区参与者对代码进行自由修改、使用和引用，吸引了产业链 100 家核心企业的加入，覆盖政府、金融、运营商、能源、制造等行业。 openGauss 秉承共建、共享、共治的理念，与企业、伙伴、开发者，共同建设最具创新力的开源社区。借助 openGauss 良好的产品性能， GBase 8c 数据库具有稳定可靠、弹性伸缩、在线升级、支持强一致性分布式事务等特点，其兼容信创生态，可在物理服务器、虚拟机、容器、公有云和私有云等不同环境灵活部署，给客户的不同应用场景提供不同解决方案。 GBase 8c 产品家族包括数据库核心、通用管理平台、数据迁移平台、安全管理平台和管理控制平台等，可为用户提供从安装部署、数据迁移到日常运维的一站式产品服务能力。作为一款基于 openGauss 的企业级分布式事务型数据库产品， GBase 8c 自适应的事务处理机制，高性能的分布式查询机制可在分布式场景下提供高效的数据读写能力；产品支持同城双活、两地三中心等容灾方案，全局无单点，具备高达 99.999% 的高可用能力；同时， GBase 8c 凭借全局锁管理、事务状态保持等重要特性，保证在系统出现异常的情况下，具备自愈的能力； GBase 8c 弹性伸缩的能力，可以灵活应对极端场景下的性能需求；其灰度发布的特性，给应用频繁上下线提供了保障。多年来，南大通用公司一直专注于数据库软件产品和服务，致力于成为用户最信赖的数据库产品的供应商。作为唯一一家从 2014 年起连续位列中国区数据库市场份额前 7 的国内数据库厂商（ IDC 数据库市场报告显示），已连续进入 Gartner 全球数据管理领域魔力四象限，被工信部下辖赛迪顾问连续多年评为国内数据库领先企业。为共同推进信创行业数据库的发展，南大通用加入 openGauss 社区，基于 openGauss 高性能、高安全、高可靠的产品特性，充分发挥自身产品技术和各关键领域的市场优势，同社区伙伴一起强强联手，夯实技术，共同创新。为 openGauss 社区打造软硬件生态的建设贡献力量，并共同推动国产数据库生态圈的繁荣发展。  来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/69979120/viewspace-2850902/ 

新的一年，茁壮成长的社区迎来了越来越多志同道合的伙伴。通过PMC们新一轮的推荐和投票，Apache IoTDB社区新增1位来自东方国信的PMC和4位来自阿里云、华为、360、云智慧等公司的Committer。01 PMC 戚厚亮硕士毕业于中国科学院计算技术研究所，前百度搜索架构部高级研发工程师，后加入东方国信担任时序数据库架构师，主导时序数据库高可用、分布式设计以及在东方国信工业场景的落地。对微服务，分布式存储，高可用等领域比较感兴趣。和Apache IoTDB的故事2020年4月初识IoTDB，那时候IoTDB还是Apache孵化项目，其单机性能已经非常优越，但是社区一直没有分布式版本，考虑到以后随着接入设备越来越多，数据量越来越大以及对高可用的需求，分布式势在必行，所以就加入到了分布式版本的研发中，从单机到分布式不是一蹴而就的，过程中遇到了很多的问题。很庆幸，与社区里面志同道合的小伙伴们一起，在2021年4月份的时候，社区发布了第一个分布式版本。IoTDB是从清华大学实验室出来的一个工业级产品，非常佩服这帮人的情怀，看着社区越来越强大，使用IoTDB的项目也越来越多，也感到很开心，国人主导的数据库基础软件正在大放异彩，很庆幸能够在这个过程中贡献自己的小小力量。对Apache IoTDB的贡献提交PR 100多个，主要包括修复Raft一致性协议的Bug以增强Raft协议正确性、使一些工作异步化来提高Raft框架的性能、剥离数据服务和心跳服务、Raft日志持久化、支持Thrift RPC 大小可自动调节、支持读取数据三种一致性，以及很多单机Plan的分布式实现、支持跨时间分区加载文件等工作。并且针对一些用户的疑问进行解答，推广IoTDB等。对Apache IoTDB的寄语期待IoTDB能够在更多的场景中落地！02 Committer 白渐来自阿里云和Apache IoTDB的故事机缘巧合下，经过黄老师的推荐以及孙金城老师的认可，成为阿里云物联网分析团队的一员，并能够同时以社区贡献者的身份，从事 IoTDB 的相关工作。在这里我学到了如何将一个基础系统做精，如何将一个开源系统做大，并通过自己的行动回馈社区、帮助社区内的其他同学。十分荣幸能够成为 IoTDB 的 Committer。对Apache IoTDB的贡献UDF 聚合计算嵌套功能设计开发；集群稳定性提高；集群优化与功能问题修复。对Apache IoTDB的寄语希望 IoTDB 能够成长为物联网云边一体领域 No.1 的数据库，成为国产基础软件的标杆。03 Committer 宋秉华来自华为云对Apache IoTDB的贡献与清华王建民院长一起在华为云techwave宣讲IoTDB产品特性及其在华为的应用。在华为云撰写《MRS IoTDB时序数据库的整体架构设计与实现》文章并被多家媒体转载。参与IoTDB开源社区分布式系统重构设计讨论和发布相关Issue。参与IoTDB开源社区Continuous Query、Thrift协议升级等特性开发。组织内部团队向IoTDB开源社区贡献数十个PR和BUG修复。对Apache IoTDB的寄语期望IoTDB成为国产基础工业软件的明珠。04 Committer 程建云就职于360 大数据开发岗位，主要负责中台时序数据库的产品开发与落地。毕业于哈尔滨工业大学，曾供职微软中国，主要负责参与了Bing 词典、Cortana等产品开发。对Apache IoTDB的寄语Apache IoTDB是最适合存储与分析物联网场景大数据的产品，会在未来物联网中扮演越来越重要的角色。05 Committer 苗红闪我来自云智慧智能研究院算法团队，主要负责指标数据的存储和研发工作。我们这边日常处理超过千万级的指标数据。数据体量大、乱序到达、缺失丢点、峰谷潮、粒度不齐整、重复采集等问题在运维场景非常突出，这也是我首次接触IoTDB后被吸引并持续为其贡献的原因。最终，我也非常荣幸成为IoTDB的committer。和Apache IoTDB的故事我们研究院一直在帮助公司打造以数据为基础，以场景为向导，以算法为支撑的面向IT运维监控、运维服务管理、IT运维可视化的一体化综合运维管理平台。而运维平台离不开海量的指标数据的存储和处理。2021年9月，我们首次将IoTDB引入到我们算法产品当中以替代原先的clickhouse存储方案，事实证明，IoTDB在吞吐能力、自动纠错能力上有无可比拟的优势，完美解决了我们对指标数据的存储需求。对Apache IoTDB的贡献目前主要负责Apache IoTDB的 REST Service、grafana plugin模块开发和jdbc模块的完善等工作。对Apache IoTDB的寄语很荣幸能够成为Apache IoTDB项目的commiter非常感谢社区对我的认可。在社区里认识了好多优秀的小伙伴，希望更多志同道合的小伙伴加入进来，一起让Apache IoTDB的性能越来越强大，生态也越来越完善。关于我们Apache IoTDB 是一个开源物联网时序数据库管理系统，旨在满足大规模物联网和工业物联网（IoT 和 IIoT）应用对数据、存储和分析的严苛要求。据不完全统计，目前已有三十家以上的用户进行测试与使用，包括联想、海尔、中车四方、大唐先一、湖南中烟、美国安赛乐米塔尔、德国Pragmatic minds、商飞等等。IoTDB相关文章华为云FusionInsight携手国家级大数据实验室，探索时序数据库IoTDBhttps://bbs.huaweicloud.com/blogs/289305 文章转载自Apache IoTDB公众号  https://mp.weixin.qq.com/s/9Bqyfho9tESUDsAMJOm3ZQ免责声明：转载文章版权归原作者所有。如涉及作品内容、版权等问题，请及时联系文章编辑！

近日，邮储银行新一代分布式核心运维平台成功投产上线，这是继邮储银行新一代分布式核心系统技术平台上线之后，取得的又一项重要阶段性成果。作为邮储银行全行一体化运维体系的重要组成部分，运维平台将为新一代分布式核心系统提供全方位监测与管控手段，也必将为新一代分布式核心系统全面投产保驾护航。邮储银行新核心系统大管家上岗新一代分布式核心系统肩负着邮储银行向全数字化银行，智慧化银行转型的重任，是未来业务敏捷创新和持续健康发展的基石。但就如一枚硬币的两面，新系统的复杂架构，海量种类的设备，灵活多变的业务为系统监控与运维带来前所未有的挑战：一个业务需要成百个设备协同配合才能完成，其中每个设备节点都要监控，所产生的数据量暴增，如何归集、分析有效的监控数据？多中心、多节点、多层级、微服务和容器云带来的复杂架构，如何维护保证整个系统健康运转？整个系统500多个数据库，5000多个实例分布在几千台服务器，如何确保这些数据管理的高效有序，不出错？这一切为业务部署，运维监控和系统配置都带来几十倍的复杂度，如果依赖传统的运维方式，必将难以为继。邮储银行新一代分布式核心系统运维平台，正是应对以上的挑战而生。通过全景可视、灵活管控、量化洞察、智能驱动的创新思维，采用敏捷的互联网架构和金融级核心技术规范，分別在运行监控的微服务内核中实现应用监控、中间件监控、数据库监控、日志平台和链路追踪；在运维管控微服务内核实现分级灰度发布、批处理管控、服务治理，容灾切换和数据库切换。最终达到可见、可管、可计的高效智能化运维。图1   邮储银行新一代分布式核心系统运维平台全景图openGauss智能运维落地openGauss在其中除了在核心系统中承担基础金融交易数据管理之外，在新运维平台中的数据库的智能管控系统扮演着重要角色。在本次上线运维平台，基于原生机器学习、深度学习结合自研算法对智能索引推荐和基于时序趋势预测是两个重要能力，对于提升邮储银行分布式核心系统的数据库平稳运行和高性能数据处理起着关键作用。智能索引推荐，让数据库始终高性能运行数据库索引是提升数据增、删、改、查性能的重要手段。但在实际操作过程中，如何才能识别出哪些表需要建立索引？怎样的索引才能性能最好？需要数据库运维经验丰富的DBA，但这方面人才却常年不足。因此大多数数据库多数时间运行在低性能区间，整体性能没有完全发挥出来。索引推荐有4大亮点：多集群，细粒度管理：既可以管理多个集群的索引，又可以单个集群内，数据库，表级的索引管理。完善的索引总览：DBA可以清晰地了解到当前系统已建索引覆盖多少SQL，占比多少？有多少有效索引，多少无效索引，多少冗余索引，让索引情况一目了然。索引创建建议：系统通过內置的AI能力，分析哪些SQL需要建立索引，以提升性能。并给出最为合适的索引建议，DBA同时可以看到一条索引会涉及哪些SQL语句，哪些语句会有正向的收益，对哪些语句可能有负向影响。让DBA知其然，而且知其所以然。无效/冗余索引：DBA可以在索引推荐系统中查到无效的，重复的冗余索引，可以删除以避免在插入与更新时对系统性能带来的影响。图2    openGauss智能索引全景图智能索引推荐大幅提升了索引发现和创建的效率，原来只有少数高级DBA在几个月才能完成的工作，现在可能只需要几天即可完成，而且系统是动态变化的，openGauss智能索引系统能不间断进行系统索引监测，对索引进行持续优化，让数据库始终运行在高性能区间里。使用时间越长，索引时间越短，优化速度越快。图3   邮储银行新一代分布式核心系统运维平台数据库索引推荐时序趋势预测，让数据库稳如泰山数据库是新一代分布式核心系统的心脏，openGauss稳定与否关系着这颗“心脏”健康与否，而提前感知风险，化解风险是关键。openGauss的时序趋势预测能力，能帮助DBA提早发现风险，并提醒及时关注，提早处理，把风险消除在萌芽阶段，保持数据库稳定运行。openGauss时序趋势预测可以对CPU、內存、QPS、动态內存、事务连接数、事务缓存等多项指标进行监控预测，预测周期短到分钟、小时，长至月度、年度。图4    openGauss智能运维-时序趋势预测全景图用CPU占用量预测来说明，图5是在邮储银行环境中实测的数据。其中绿色是通过时序预测出来的趋势，黄色是系统实际运行到当前曲线图。从图中可以看到预测曲线和实际运行曲线拟合度非常好，说明openGauss的时序预测质量很高。图5中设定，对未来2小时进行预测。并基于设定规则进行判断，对于超过合理范围内的可能，进行告警，提醒DBA对于资源提早做好规划和准备，避免系统在高负载下，产生的业务不稳定，甚至宕机等严重问题。图5  openGauss时序趋势预测对CPU的预测及实际情况时序趋势预测，改变过去DBA被动响应的运维局面，提前感知风险，早做准备，从容应对。既保证资源的合理投入，又确保了系统的稳定安全。是邮储银行新核心运维平台走向以智能驱动运维的基础。未来，更多AI能力赋能邮储银行精细化运维当前openGauss在邮储银行新运维平台上的智能运维能力应用，只是一个开始，除了以上介绍的几个已落地的能力，目前已有更多智能运维能力已在上线的路上。慢SQL智能分析：慢SQL是日常数据库运维过程中十分常见且棘手的问题。openGauss通过内置的AI算法来精准地分析高耗时产生的原因并给优化建议，便于用户或DBA进行人工分析、处理。系统故障根因分析：通过异常检测算法发掘历史产生故障，然后调用AI算法进行系统的故障分析，综合系统发生故障时刻的关键信息，并根据概率进行排序，精准定位系统故障和给出最佳解决建议。可以发现并诊断已经发生的疑难问题，极大提高数据库的运维效率。调优参数智能推荐：参数对于数据库的性能影响很大，openGauss的智能参数推荐功能，能够基于当前数据库运行时的负载，根据预设经验以及启发式模型，推荐出较优的参数配置。便于用户根据参数推荐的结果对系统进行针对性优化，最大化挖掘出系统性能潜力。这些AI能力，不光是openGauss背后数百名工程师长时间技术研究的结晶，也是GuassDB Kernel在工业界十几年应用的工程能力的积累，两者相辅相成，将在以邮储为代表的核心复杂场景中发挥独特的价值。图6  未来 openGauss更多AI运维能力落地邮储银行进步，与邮储银行同步从新核心技术平台上线开始，到新核心运维平台的上线，不到半年时间，两大重量级系统分别出炉，邮储银行对数字化银行的建设进入快车道，取得了骄人的成绩。未来伴随着国际汇款业务的上线，明年上半年新核心的整体上线，作为邮储银行金融数据资产的核心管控数据库，还有很多发挥空间。openGauss会持续进步，与邮储银行发展同步，全力支持加速建设智慧化金融。文章来源：https://mp.weixin.qq.com/s/RTasGA7z8XjR2pS3l_00jQ    Gauss松鼠会

>摘要：继在业界首次提出“分布式云×云原生”云基础设施新范式后，华为云进一步对计算、存储、网络等基础能力进行全面升级，发布全新一代计算实例C7、独享型ELB等五大新品，并面向实景三维建模、4K影视云制作等领域发布全新场景化解决方案。本文分享自华为云社区[《五大新品+两大黑科技，华为云基础设施全面升级》](https://bbs.huaweicloud.com/blogs/273054?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=paas&utm_content=content)，原文作者：华为云头条。 5月31日，华为云TechWave云基础设施专题日成功举办。继在业界首次提出“分布式云×云原生”云基础设施新范式后，华为云进一步对计算、存储、网络等基础能力进行全面升级，发布全新一代计算实例C7、独享型ELB等五大新品，并面向实景三维建模、4K影视云制作等领域发布全新场景化解决方案。此外，专题日更首次解密华为云瑶光的技术架构，和革命性容器集群CCE Turbo背后的黑科技。 # 计算、存储、网络全系新品首发，构筑最佳云化底座 此前，华为云提出云基础设施新范式，致力通过“分布式云×云原生”来助力企业快速实现全面云化、拥有全栈智能的能力。计算、存储、网络等基础能力，是云原生基础设施的底座，也是分布式云在不同部署形态下，不可或缺的关键能力。  华为云基础设施全景图 本次专题日，华为云基础能力迎来全面升级： 1. **计算：公测发布全新一代通用计算增强型云服务器C7**。作为华为云C系列旗舰级云服务器，C7基于华为云擎天架构并首次搭载英特尔最新一代Ice Lake处理器，相较上一代整机最大算力提升50%以上、提供高达128核的超大实例规格，实现性能、安全、可靠性等全维度升级，为企业提供更优算力选择； 2. **存储：为SFS Turbo弹性文件服务升级全新分布式缓存功能**，性能提升5倍，为渲染、AI训练等高IO密集型业务场景提供高达100万IOPS和160Gbps带宽的文件性能；Data+近数据计算也带来全新图形化工作流编排能力，从“代码化”开发方式升级至“图形化”的拖拽使用，平均开发效率提升7倍； 3. **网络：商用发布独享型ELB**，单实例四层负载均衡并发数高达2000万，领先业界十倍性能，率先支持全国范围多AZ多活，提供更强可靠性；面对企业多地域、多VPC互通的复杂性问题，**发布全新CLOUD WAN解决方案**，让VPC、VPN、专线、云连接等服务即插即用，打造全域极简互联的云网络。 此外，**华为云携手瞰景科技发布异构计算三维建模联合解决方案**，建模性能提升30%，单次测量即可达到精度要求；同时**发布4K影视云制作解决方案**，提供云上高性能算力和海量存储空间，为4K节目制作效率提升30%。 # 首次解密华为云瑶光、容器集群CCE Turbo背后黑科技 华为云分布式云基础设施，提供**一朵分布式云**实现全场景覆盖、**一张分布式网络**满足便捷安全接入、**一致运行环境**构建无差别体验、**一套管理体系**应对精细化企业治理。来自中图云创的技术总监陈云森表示：“中图云创通过本地部署智能边缘小站IES，实现VR设备极致低时延的同时，更可节省30%的带宽成本，为读者提供‘全景新阅读’沉浸式的创新体验。”  华为云分布式云基础设施产品组合 为实现万级规模分布式云站点的统一管控，真正做到客户视角“一朵云”，华为云在技术上提早布局，于**2019年发布了国内首个分布式云操作系统——华为云瑶光**，实现全域资源供给极优，多样性算力使用极简。技术架构层面，瑶光包含六大关键子系统：  华为云瑶光分布式云操作系统技术架构 1. 华为云瑶光可实现对多元硬件、分布式云站点和全域资源的管理，并**已率先完成对x86、鲲鹏、昇腾等多样性算力的兼容**，通过**自研DQA算法**实现对网络服务质量、计算资源成本、云站点资源均衡度的分别建模，**业务时延优化40%、成本优化33%**； 2. 多目标优化子系统负责容量规划、负载预测和算力推荐等，通过**自研METRO多维时序预测算法，可提升40%负载预测准确率**； 3. 为了匹配动态业务诉求，华为云瑶光建立了包含机型设计、容量规划等全链路仿真平台，**算法迭代频率高达20万次/天，大规格供应量提升40%**，实现自学习与自调优。 华为云最新发布的革命性容器集群CCE Turbo，计算、网络、调度全方位加速的背后蕴藏多项黑科技： 1. **计算加速**：基于擎天架构的软硬协同能力，CCE Turbo业界独家实现容器卸载，让集群资源100%用于业务，集群性能提升40%，成本优化30%； 2. **网络加速**：全新云原生网络利用Trunkport技术让容器直通VPC，将原有的“容器+虚拟机”二层网络变为一层，网络连通效率倍增，网络时延降低40%； 3. **调度加速**： 基于Volcano的大规模、分布式及智能调度能力，不仅实现每秒调度1万容器，还将在线与离线业务共集群部署，并根据应用特征智能调度、削峰填谷，提升集群利用率200%。 VIPKID后端研发高级专家慈轶恒表示：“使用CCE Turbo后，音视频业务集群性能提升40%，交互时延降低40%，不仅提升了用户体验，还节省业务成本约43%。” 未来，华为云将基于“分布式云×云原生”的云基础设施新范式持续创新，助力企业快速实现全面云化与全栈智能，共赢数字化新时代。

大家好！我是酷哥，Gauss松鼠会新开栏目“【技术之声】”开播啦。每周一，我们将会推送数据库相关技术资讯，欢迎大家关注。本期整理如下：------------------------------------------------------------ 本期精选 ------------------------------------------------------------CNCC2021科普论坛圆满落幕，各界专家云端纵论未来计算世界华为云GaussDB技术创新持续发力，荣膺DTCC2021创新大奖Gartner云数据库魔力象限，阿里云、华为云成国内唯二openGauss存储过程功能全面升级，支持PACKAGE,PLDEBUGGER等诸多新特性云原生2.0架构设计的8大关键趋势大规模宕机频发，分布式系统稳定性保障该如何量化数据存储技术未来发展若干趋势的判断改善数据中心风险管理三步曲------------------------------------------------------------ 资讯全文 ------------------------------------------------------------CNCC2021科普论坛圆满落幕，各界专家云端纵论未来计算世界摘要：“计”在未来，“算”无界限！12月16日-17日，CNCC2021科普论坛正式举办，这场CNCC2021唯一面向青少年和大众群体的特色论坛，以“洞见未来的计算世界”为主题，向青少年及大众科普了“计”在未来、“算”无界限的很多计算机领域相关技术的发展趋势。 文章来源： cid:link_0华为云GaussDB技术创新持续发力，荣膺DTCC2021创新大奖摘要： 近日，在第十二届DTCC中国数据库技术大会“2021技术卓越奖”评选活动中，华为云GaussDB同城双集群RPO=0高可用方案凭借卓越的高可用技术和完善的技术架构荣获“年度最佳创新解决方案奖”。 文章来源： cid:link_12021 Gartner云数据库魔力象限，阿里云、华为云成国内唯二摘要： Gartner 2021 云数据库管理系统魔力象限已经出炉。阿里云（Alibaba Cloud）再次进入领导者象限，华为云（HUAWEI CLOUD）进入特定领域者象限（NICHE PLAYERS），是国内入选的仅有两家企业。 文章来源： cid:link_2openGauss存储过程功能全面升级，支持PACKAGE,PLDEBUGGER等诸多新特性摘要： 存储过程类似于面向过程语言当中的函数，可以实现面向过程语言当中的声明变量、逻辑判断、条件循环等操作，是一组完成特定功能的SQL语句集合。 在openGauss 2.1之前的版本中，存储过程支持了定义变量、条件循环、逻辑判断等基本功能，但是没有面向对象语言中类的形式，因此无法对存储过程中的变量以及函数进行封装，也无法在存储过程内使用全局变量。在以前的版本中没有支持类似gdb的功能，用户调试存储过程只能够使用raise info等打印变量的方式。并且在之前的版本当中，存储过程发生异常后，没有自治事务，记录错误日志不便。 而在新的版本当中，通过支持PACKAGE、存储过程调试/PLDEBUGGER、自治事务等新功能，解决了上述问题。下面将介绍新特性的应用场景以及使用方法。 文章来源： cid:link_3云原生2.0架构设计的8大关键趋势摘要： 云原生2.0是企业智能升级新阶段，企业的云化从“ONCloud”走向“IN Cloud”，当一切应用都生于云，长于云，云架构的迭代也会进入一个新的阶段。 围绕云原生2.0，华为云首席架构师顾炯炯提出了8个关键模式： 分布式云，混合调度，应用驱动基础设施，存算分离与数据治理自动化，可信、平民化DevOps，基于软总线的异构集成，多模态可迭代AI模型，全方位立体式云安全。 文章来源： cid:link_4大规模宕机频发，分布式系统稳定性保障该如何量化摘要： 随着信息化转型的逐步深入，IT产业进入了一个蓬勃发展的时期。更大的市场规模，多样的用户群体，更加丰富的业务类型使系统运营方对数据库、数据处理平台等数据产品提出了更高的要求，数据产品也逐步向分布式的方向发展，以突破计算和存储瓶颈。 分布式数据产品的选型工作是复杂的，需要综合考虑产品的功能、性能、安全性、易用性和稳定性等。 数据产品选型过程中，产品的稳定性往往较易被忽视。数据产品的稳定性是指产品能够平稳正常地持续提供服务的能力，通常可以通过产品生产环境中运行时的平均无故障时间（MTTF）和平均维修时间（MTTR）来定义稳定性（S）。 文章来源： cid:link_5数据存储技术未来发展若干趋势的判断摘要： 回顾过去，数据存储技术从90年代的DAS存储发展到今天的分布式软件定义存储，伴随着成本、可靠性、扩展性这几个核心因素的平衡，可谓是风风雨雨经历了几十年。在这段漫长的岁月当中，存储架构的发展经历了从短暂的DAS架构迅速过度到以SAN架构和NAS架构混合存在的时代，SAN存储可谓主宰乾坤几十载；物理存储介质从软盘、光盘、机械盘发展到今天的固态盘，其中SAS接口的机械硬盘伴随着SAN存储架构的存在也可谓主宰乾坤几十载；存储软件功能上，从最开始的单纯读写服务发展到分级、分层、压缩、虚拟化等等，再到今天的各种软件定义。应该讲，数据存储的发展可谓是迅速走过工业时代，长久信息化时代，惆怅于互联网时代。 文章来源： cid:link_6改善数据中心风险管理三步曲 摘要：当前，数据中心不仅继续存活了下来，还以本地即服务等新形式与混合系统和多云系统一同蓬勃发展。不仅如此，数据中心还可满足企业对与边缘计算、物联网和5G等新兴技术相关的服务的新需求。 由于最终用户计算(EUC)和移动解决方案中这些新的应用和新需求，数据中心变得日益复杂，导致了更多的内外风险。停运是持续存在的风险， 文章来源： cid:link_7声明：文章源于第三方公开的信息，如内容中涉嫌侵权或存在信息不实时，请及时联系删除。

一.大规模宕机频发，分布式系统稳定性保障该如何量化？随着信息化转型的逐步深入，IT产业进入了一个蓬勃发展的时期。更大的市场规模，多样的用户群体，更加丰富的业务类型使系统运营方对数据库、数据处理平台等数据产品提出了更高的要求，数据产品也逐步向分布式的方向发展，以突破计算和存储瓶颈。分布式数据产品的选型工作是复杂的，需要综合考虑产品的功能、性能、安全性、易用性和稳定性等。数据产品选型过程中，产品的稳定性往往较易被忽视。数据产品的稳定性是指产品能够平稳正常地持续提供服务的能力，通常可以通过产品生产环境中运行时的平均无故障时间（MTTF）和平均维修时间（MTTR）来定义稳定性（S）：由此定义我们可以发现稳定性评估中所存在的困难：稳定性的有效评估需要系统尽量处于生产环境或类生产环境中，对业务场景的要求较高。稳定性评估需要较长的周期，系统故障的发生往往需要一些触发因素， 而这些触发因素发生的概率并不高。生产环境中数据产品的稳定性缺陷通常需要在故障发生时才能被发现，而这时业务已经受到了影响。并非所有的稳定性缺陷都是以“故障”的形式表现出来，也可能反映在性能下降或服务质量受损上。业界普遍采用的稳定性测试方法是在测试环境中长时间地运行数据产品，观察数据产品是否能持续地提供服务。对于分布式系统，也常会采用杀掉特定节点线程，或关闭单个服务器的方式，观察业务受影响的程度。这些测试方法往往并不符合生产过程中的实际情况，不能有效地覆盖故障的可能触发条件。 二、基于混沌工程的稳定性测试中国信通院于2021年1月推出了基于混沌工程的稳定性测试，在真实业务场景下，通过主动向系统中引入软件或硬件的异常状态，并观测数据产品功能是否可用以及性能的下降程度。这有助于覆盖尽可能全面的故障触发因素，使稳定性隐患能够充分暴露。我们给出了大致的测试流程并列举了一些扰动类别和测试考察点。 基于混沌工程的稳定性测试有着相对固定的模式，但是稳定性测试是否有价值还取决于以下几个方面：1.测试场景测试场景包括测试用到的数据和负载，测试场景的设计是稳定性测试成败的关键。如需观测扰动注入对系统的影响，我们首先需要被测系统处于一个业务场景中正常工作的状态（即系统的稳态）。实验场景的设计要避免过于简单，需包含多样的任务类型以确保足够的覆盖范围。我们联合电信运营商，金融机构和物联网相关企业推出了多种不同的测试场景，以供分布式数据库和数据处理平台类产品的测试，包括如下几个场景：测试场景均具备数据分布真实，数据量大，负载强度大，业务覆盖全面的特点。在中国信通院提供的环境下测试时，稳态下CPU的负载率可保持在70%以上。2、故障类型、强度和注入模式的选择随着开源故障注入工具（如ChaosBlade、ChaosMesh）的不断完善，故障类型的选择已不再成为技术瓶颈。普遍使用的故障注入工具通常会支持基础资源（如CPU、内存、硬盘的可用性），网络（特定端口的网络延迟、连通性），线程，系统时钟等方面的故障注入，甚至可以改变程序特定位置代码的执行结果。但并不是所有扰动对于各种系统类型都是适用的，信通院稳定性测试会更偏向于使用系统基础资源、网络、线程方面的扰动类型，因为这些扰动类型生产环境中会频繁发生，且不具备产品特异性。这样可以确保不同技术栈的产品的稳定性测试可以横向对比，保证测试的公平性。扰动强度的确定是一个困难且耗时的过程，需要各方的共同探索并就合适的故障强度设置达成共识。以网络丢包率为例，如注入的丢包率小于2%大部分数据产品都无明显变化，如丢包率大于20%，则几乎所有产品都不能正常运行。我们通过3个月的时间组织企业参与测试试运行，结合各方的反馈意见随时调整，并确定出合适的故障强度。扰动注入模式的选择是稳定性测试的重点，且较易被忽略。单次的故障注入通常适用于较为严重的故障，如节点停机，主线程停滞、崩溃等。但是多数种类的扰动并不会直接导致程序执行的异常，如CPU高负载，网络抖动等，这类扰动统称为无损扰动。这种情况下复合扰动注入可以更有效地发现单一扰动不易触发的级联故障，且更接近真实的故障场景。对于无损扰动的实验组，测试采用自动化的方式持续多次地注入随机组合的多种扰动来确保扰动组合的覆盖尽量全面。3、测试工具作为第三方测评机构，我们对于混沌测试平台的要求将更加侧重于易用性。现有的面向分布式系统的混沌测试平台（如Gremlin）部署过于复杂，依赖组件过多，而且学习、适配成本过高，很难由参与测试的企业在短期内熟练掌握。因此，我们基于Ansible和ChaosBlade自主研发了Databench-C分布式混沌测试平台，确保各参与评测的单位均能在数小时内完成平台部署并熟练使用。该测试平台的部署极其简单，且仅需部署在单台服务器或跳板机上。测试平台运行时，即可将扰动注入组件下发到分布式集群并完成自动化配置。该测试平台可以按照一定的预设模式向分布式系统中注入扰动，支持扰动注入周期、扰动类型、扰动影响范围、扰动强度的设置，支持随机节点，随机扰动类型，且支持多种扰动类型的随机组合。扰动注入组件是基于开源的混沌工程工具ChaosBlade开发完成的，支持丰富的扰动类型。4、系统稳定性分析通过比较注入扰动时系统评估指标和稳态时指标的差异，可以对系统的稳定性进行量化分析。可以通过系统功能在注入扰动时是否可用来判断系统是否稳定，并通过平均无故障时间（MTTF）和平均维修时间（MTTR）来计算稳定性（S）：但在很多情况下，系统失效的发生是一个连续的过程：随着扰动强度的增加，系统性能会逐渐下降，但这个过程并不会发生系统功能上的缺失直到压力达到一个零界点。这种情况下针对性能变化的稳定性分析往往能更好地反映系统应对压力的情况。通常会计算系统在注入扰动前后的相对性能（P）来反映系统单位时间产生的价值受扰动的影响：其中E为实验组的性能指标，E0为稳态时的性能指标。相对性能的数值越高说明扰动对系统的影响越小。另一个重要的稳定性评价指标是系统恢复率，即在扰动移除后系统的恢复情况（R）： 其中E为实验组的性能指标，ER为移除扰动后进行恢复性验证时的性能指标，系统恢复率越高说明系统恢复越彻底。对于系统资源占用类型的扰动，如CPU、内存、网络等资源的占用，可以通过计算相对性价比（C）来反映单位系统资源所能达到的性能是否受到扰动的影响：其中R为实验组的可用系统资源，R0为稳态时的可用系统资源，P为系统在注入扰动前后的相对性能。相对性价比可用于衡量系统对于特定系统资源是否具备冗余性，具备一定冗余性的系统相对性价比是大于1的，即在资源移除时性能可以在一定程度上维持。中国信通院于2021年起开展的分布式数据产品稳定性评测项目中即采用上述稳定性分析方法，现已完成多个产品的测评工作，对不同数据产品进行量化的稳定性评估。下图展示了参与中国信通院产品评测的分布式数据产品在部分扰动类型下的相对性能。对于第三方测评机构来说，基于混沌工程的稳定性测试采用了更为主动的方式。相较于7x24小时运行产品，并被动等待故障发生来说，基于混沌工程的稳定性测试可大幅增加测试的效率和有效性。三、分布式系统稳定性保障能力评估标准基于混沌工程的稳定性测试工作可在一定程度上量化的反映数据产品的稳定性，但并不能完整地反映稳定性保障体系的全貌。在实际生产中系统需要根据多样的外部需求不断迭代，如何在系统动态演进的过程中保障稳定性同样重要。因此我们协同行业头部企业总结了系统研发运维过程中所能采取的稳定性保障措施，制定了《分布式系统稳定性保障能力评估标准》，包括控制系统内部隐患、在故障发生时维持服务的连续性、快速排查故障并将系统恢复正常等能力。 （声明：文章来源大数据技术标准推进委员会公众号，只为分享，如有涉及版权等问题，请及时联系删除）

回顾过去，数据存储技术从90年代的DAS存储发展到今天的分布式软件定义存储，伴随着成本、可靠性、扩展性这几个核心因素的平衡，可谓是风风雨雨经历了几十年。在这段漫长的岁月当中，存储架构的发展经历了从短暂的DAS架构迅速过度到以SAN架构和NAS架构混合存在的时代，SAN存储可谓主宰乾坤几十载；物理存储介质从软盘、光盘、机械盘发展到今天的固态盘，其中SAS接口的机械硬盘伴随着SAN存储架构的存在也可谓主宰乾坤几十载；存储软件功能上，从最开始的单纯读写服务发展到分级、分层、压缩、虚拟化等等，再到今天的各种软件定义。应该讲，数据存储的发展可谓是迅速走过工业时代，长久信息化时代，惆怅于互联网时代。未来十年的发展道路上，个人认为数据存储技术的会呈现出以下几个明显特征。1.存储架构会由集中式为主的时代发展为混合模式时代。从市场数据上看，根据Gartner对于2020年全球外置存储市场统计来看，分布式存储发货容量13ZB、销售额33亿$。2018年到2023年期间，中国分布式存储市场年均复合增长率将达到22.4%。不难看出，在数据量不断暴涨和国产化趋势的双重驱动下，未来十年分布式存储逐渐会成为企业追求的重要目标。从应用发展模式上看，伴随着Web1.0、2.0、3.0的飞速发展，越来越多的业务模式转变为BS模式，业务访问的并发量上发生了有史以来最大量级的升级。业务特性上，分析类业务剧增，依靠数据分析挖掘商机的时代到来。大数据、BI等新型业务系统纷纷在企业信息系统群中上线，数据本身的再生产价值能力受到空前的重视。集中式架构已经无法满足这些新需求带来的挑战。从数据发展的特点上来看，越来越多的非结构化、半结构化数据形态涌入企业应用系统；数据量级呈爆发式的增长；数据生命周期管理由原来的在线离线为主的模式转变为多生命周期的模式；数据分析成为企业必备的核心后台。这些从数据结构到数据量以及数据访问特点上的变化都会驱动着分布式存储架构体系的建设。2.数据存储平台会从独立分散的状态发展为统一融合化平台。目前来看，大多数的企业是没有完善统一的数据平台架构的。传统应用有传统应用的关系型数据存储平台，数仓及分析类业务有自己独立的数据存储平台，系统之间通过特定的应用接口来进行数据的下沉和上浮。但是互联网平台的基础之上，企业的业务会出现极高的融合度，企业对数据的利用会提高到战略高度。因此越来越多的数据分析和人工智能元素会融入到数据的整合利用当中。企业急需要将分散的数据通过采集、传输、过滤、加工、分析、汇总等系列过程进行不同维度的再利用，那么统一的数据**、后台就会成为数据存储技术发展过程当中必不可少的关键因素。而这个数据的整合汇总平台一定是一个将硬件介质、存储架构、软件功能、应用处理融合为一体的体系化建设工程。在金融行业当中，已经有很多企业在建设自己的数据**、后台等，只是大家在建设的策略方面还未到足够成熟阶段。相信未来十年，越来越多行业会步金融行业的后尘建设自己行业的数据平台。3.在软件定义的基础之上，智能化的元素会不断融入新的存储产品当中。谷歌在2003、2004、2006年仅以学术共享形式发表的 Google FS、MapReduce、BigTable三篇论文，十年之后却成为互联网企业实际应用的先驱模板。而且随着企业业务模式的不断发展，这些源代码经历了多次有针对性的优化和改造，解决了很多新的场景问题。从市场数据上看，2014到2019的五年时间内，软件定义存储的市场将从14亿美元增长到62亿美元以上，年复合增长率高达35%。伴随着软件化的不断发展，企业对数据存储的智能化程度要求越来越高。数据存储规划方面，越来越多的企业无法对未来发展的数据特点、量级、性能等要求作出准确设计，因此他们希望数据存储的软件功能具备根据动态运维数据提出优化建议并可自动执行的能力。数据存储使用方面，工程师更希望存储可以通过数据访问的基础运维数据来动态调整端口、带宽、缓存以及其他一些列存储资源的利用策略，以达到优化存储资源利用均衡化的目的。数据存储配置方面，架构师希望在纷繁复杂的基础运维数据当中，存储设备可以帮他找到数据之间的联系，分析出最优的性能配置策略、空间使用策略、安全配置策略以及最优的技术参数体系。事实上，很多的数据存储产品也在有意无意将人工智能的元素融入到数据存储的新产品当中。4.云存储技术会成为数据存储领域又一颗璀璨的明星。随着云计算的不断发展，云存储已经从最开始的网盘模式发展为社会生活当中必不可少的关键对象，未来也一定会充斥着社会经济生活当中的各个角落。从云计算带动的信息革命角度来看，正是有了云计算的存在，才会有今天以及未来各行各业的革命性创新。从智能交通到智慧城市，这里面会有无法计量的并且数据结构、状态、特点呈现五花八门形态的海量数据，这些数据来自于城市当中的每一个职能部门和企业，同时又为所有的社会群体服务，那么数据的存储和利用必然走向云化特征。从企业的数据战略高度来看，企业未来生死输赢的先决条件就是它对数据的利用能力如何，无论是金融行业还是零售行业，大数据分析战略已经是企业必不可少的建设目标了。在利用好企业自身积淀的数据基础之上，它们开始研究利用云平台上的社会共有数据，大家都在处心积虑围绕着客户这条线索建立一套属于自己的完整商业数据画像。因此云存储是这一战略唯一可选的数据存储方案。据IDC数据显示，到2025年，全球创建、获取和复制的数据量将增至175ZB，其中，企业存储的数据量将会占据全球总数据量80%以上。这一数据表明企业正迅速成为生产数据和管理数据的主要载体，加上目前我国正处于云计算的高速发展时期，企业上云成为必然趋势。越来越多的企业选择将自己的日常办公数据、备份数据、归档数据、静态历史数据等活动性不强的海量数据移入云存储资源池甚至直接推向云端。5.存储硬件技术会向绿色节能方向不断演进。2016年4月8日，由工业和信息化部、国家机关事务管理局、国家能源局联合召开“国家绿色数据中心试点工作推进会暨京津冀绿色数据中心协同发展论坛”。在这次会议上，强调了开展绿色数据中心试点地区的重要性，并对下一步的工作思路和任务做出了明确清晰的回应，工业和信息化部相关负责人也指出了试点单位应对创新工作的创建做好准备。未来降低能耗将成为数据中心建设的首要目标，通过使用可代替可再生能源将成为数据中心主要的电力能源。新一代绿色数据中心需要新型绿色节能技术的支持。同样存储设备作为数据中心所有IT设备当中最耗能源的设备，也必须与这个整体目标相符发展。从存储产品的硬件层面来实现节能无非需要从架构设计、芯片使用以及硬盘介质等几个方面来推进。从目前的技术参数对比来看，从时延、功耗、返还率等重要技术参数对比来看，固态硬盘都要远远优于传统机械硬盘，未来随着TCO不断降低固态硬盘会取代机械硬盘的霸主地位；更节能高效的非易失性内存技术填补了从硬盘到DRAM之间的性能、成本、能耗等方面的不平衡性。也定会成为未来新型存储产品必不可少的关键技术。6.存储协议会从AHCI为主的模式演变为NVMe的天下。在存储系统当中，HDD和SSD早期的传输协议都是AHCI（Advanced Host Controller Interface），AHCI为单队列模式，也就是说服务器和硬盘之间的数据传输为单队列模式。早期数据存储的性能主要受限于HDD硬盘本身，因此AHCI的性能瓶颈也就不是主要矛盾了。但是随着SSD介质技术的不断应用，AHCI的单队列模式已经严重制约SSD介质的并发访问性能的发挥了。因此NVMe（NVM Experess）协议应用而生，它旨在降低时延的同时提高IOPS，可以达到16Gbps的吞吐量，部分基于NVMe的驱动器可以达到200万甚至1000万的IOPS。从数据上来看，凭借其卓越性能优势，NVMe SSD产品在2018-2023年间以38%的复合年增长率持续增长，2021年占据企业级SSD出货量的55%以上。未来十年的存储技术发展，伴随着NVMe本身的分支技术发展，它一定会主宰未来存储协议。总之，随着数字经济时代的不断深入发展，企业数据的价值被进一步重视和挖掘，数据存储技术的应用和发展会向多元化、智能化、体系化、绿色化等方向逐步发展，在这个过程当中也会有更多的新型软件及硬件技术诞生并应用到未来的存储产品当中。相信存储产业经济的发展模式也会从客户适应产品的通用产品模式逐步发展为围绕客户需求定制化的个性化产品经济模式。（声明：文章来源twt企业IT社区，作者：赵海。只为分享，如有涉及版权等问题，请及时联系删除）

1 patroni简介　　Patroni是一个由Zalando研发的，完全由python开发的开源产品，其能够通过分布式存储系统（Distributed configuration system, DCS）来检测存储数据库集群各个节点的状态和配置，并且能够对数据库集群进行自动管理和故障切换。2 patroni原理介绍　　一个高可用集群由patroni、DCS和数据库组成，本方案中DCS选用etcd，数据库为openGauss。　　etcd是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问，通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作，etcd集群是为高可用，持久性数据存储和检索而准备。　　patroni通过一个api接口连接到etcd，向其插入键值对记录patroni参数、数据库参数、主备信息以及连接信息，平常通过etcd对其它节点做心跳检测，通过从etcd获取键值对中存储的主备信息来判断各节点的状态对集群进行自动管理，其基本原理如下图所示。如图所示，同一时刻最多只能有一个patroni节点成为leader，即最多只能有一个patroni节点能够持有leader锁，因此能够避免脑裂的发生。当前patroni-for-openGauss支持修复的故障场景如下：1. 主数据库意外停止，但可以通过重启恢复，立即自动启动主数据库；2. 主数据库意外故障，且无法启动，首先当前主机释放leader锁降备，然后自动选择一个最健康的备机即同步情况与主机最接近的备机，提升为主机；3. 备库意外挂机，重启后可立即恢复正常并与主机连接，则立即进行重启恢复；4. 备库意外故障，可正常启动但是启动后落后于主机状态 ，则对其进行重建操作以恢复其状态。

尊敬的微认证客户：您好！为帮助您深入了解华为云产品，探索新的技术场景，我们非常高兴地与您分享一个好消息：由华为资深研发团队精心打磨，潜心研发的新微认证《HarmonyOS分布式协同办公应用开发》将于2021年11月25日正式上线！届时请进入华为云培训中心-微认证-物联网查看产品详情，体验使用，我们非常期待您的宝贵建议。以下为该微认证详情，您可提前了解：产品名称: 《HarmonyOS分布式协同办公应用开发》适合人群： HarmonyOS应用开发工程师，以及对鸿蒙生态感兴趣的个人开发者，高校师生；培训方案： 通过为一款备忘录应用添加跨设备流转功能，快速实现“分布式协同办公”应用体验；技术能力： 通过本微认证的理论学习与动手实践操作，掌握HarmonyOS分布式应用开发能力；认证价值： 了解HarmonyOS系统架构与技术特点，掌握HarmonyOS应用开发流程。届时我们还将开展相关微认证上新活动，详情请关注华为云培训中心论坛-热门活动相关通知。发布日期：2021年11月22日

1.1 简介zabbix 是一款开源的功能强大的分布式监控系统，一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视。zabbix是由2部分构成，分别是zabbix server（监控端)与zabbix agent（被监控端）1.2 zabbix主要功能 CPU负荷内存使用磁盘使用网络状况端口监视日志监视1.3 zabbix的主要特点安装与配置简单，学习成本低支持多语言（包括中文）免费开源自动发现服务器与网络设备分布式监视以及WEB集中管理功能可以无agent监视用户安全认证和柔软的授权方式通过WEB界面设置或查看监视结果email等通知功能