2020年 全闪存新变数

三星电子、东芝、英特尔、长江、美光科技全闪存工艺你追我赶，128层堆叠的3D NAND，128层QLC 3D NAND接连亮相。

面对如此激烈的竞争，华为新一代智能存储OceanStor V6仍能够在市场中占据着一定优势，为何？除了最高可达2000万IOPS、SmartMatrix全互联高可靠架构、端云AI、容忍控制器8坏7，0.1ms的极致时延也备受消费者青睐。

话说，0.1ms，真的有那么重要吗？下面我们将一起探究一下。

0.1ms是个什么概念？

好多小伙伴都喜欢玩《王者荣耀》，我们知道，网络是否流畅很大程度决定着我们的游戏体验，想象一下，打团的时候，网络卡了，等反应过来，往往已经game over。这里的卡主要体现在网络时延上，通俗地讲，网络游戏的时延就是我们对角色的操作与这些操作真正在游戏中的角色体现出来这两者的时间差。通常来说，50ms左右的网络时延玩家是感受不到的，不会影响游戏体验，但超过100ms时，便会出现明显的卡顿，如果时延超过200ms，只能自求多福了。

再者，美国X-43高超音速飞机，世界速度最快的飞机，如果仅考虑速度因素，大约三个半小时可以绕飞地球赤道一圈。X43速度最高可达11265 km/h，相当于0.1ms可以飞行0.3m左右。是的没看错，如果你可以做到周期路程为0.3m，你也可以三个半小时环绕赤道，当然，前提是，周期为0.1ms（狗头保命）。

50ms的时延人类已经很难觉察，0.1ms更是遥不可及，但随着人类文明的发展，0.1ms这个时间壁垒已经逐渐被突破，为科技欢呼吧。

为什么0.1ms这么重要？

玩游戏，我们当然希望时延越低越好，这也是一众厂商的追求。但是不免有人会说，游戏的时延只要不过高，不影响游戏体验，其实也没太大关系，为什么要投入巨大的人力物力追求0.1ms的极致时延呢。这是因为在某些行业，极致时延关乎的不仅仅是一场游戏的输赢，往往涉及重大利益，比如金融行业。

时间就是金钱，这句话在金融行业更是体现得淋漓尽致。为什么在金融行业中，需要追求如此极致的时延？首先，我们介绍一个名词，高频交易（HTF），HTF是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易，交易量大，持仓时间短，日内交易次数多。HTF其实是发达金融市场的重要组成部分，由计算机程序操作完成，利用信息不对称进行快速大量的交易是其盈利的主要方向之一。如何更好的做到信息不对称，这就对交易系统的时延具有很高的要求。

其实不难理解，股票买卖的利润取决于卖出与买入两者间的差价，或赚或亏，普通人的持有时间通常都不会很短，几天，几个月都有可能，而现在，通过高频交易系统，计算机根据自己的算法决策，可以把这个时间做到毫秒、微秒级别，以求对市场做出最迅速的反应。例如当你输入指令购买A股票时，指令会被传达到交易所，通过技术手段，几乎与此同时高频交易员也能获取该指令，并抢在你之前买入A股票，接着在几毫秒后加价将A股票卖给你。虽然一次获利并不一定很多，但股票交易量庞大，长此以往，这都是白花花的银子呀。

先人一步，带来的就是巨大的利润差别。2008年TABB Group发表文章《The value of a Millisecond: Finding the Optimal Speed of a Trading Infrastruture》指出，对于电子交易公司，处理市场的速度至关重要，时延会影响公司提供最佳的执行效果，交易处理时间比竞争对手落后5ms，将损失1%的利润，落后10ms则扩大到10%，每1ms时延将损失400万美元。但此时，并没有电信运营商发现交易员对于速度的渴望。

2009年夏天，为了将芝加哥南区的数据中心与新泽西北部的股票交易市场连接起来，2000名工人夜以继日得秘密施工，耗资3亿美元，最终相较于原线路缩减了100英里。这一切，源自于交易员斯皮维敏锐的发现交易所实际交易速度与理论上的最快速度之间有着一定的差异。通过该工程，可以使得交易系统的网络时延减少1ms，但就是这1ms，每年创造的价值竟有200亿美元之多。这就是“一毫秒”的价值。

在高频交易中的应用，只是冰山一角，金融业需要极致时延的场景还有很多。由此可见，极致时延，对于金融业来说是极具吸引力的，是决胜千里的关键技术之一。

如何做到0.1ms的极致时延？

华为OceanStor Dorado V6，究竟是如何实现全球业内领先的0.1ms极致时延的，不要着急，且听我娓娓道来。硬件、软件框架就好比人体的骨骼和血肉，而通讯协议就像人类之间交流的语言，只有当一个人肌体健硕又脑袋灵光且具有高效的语言交流能力下，他才能发挥出最大的社会效益和经济效益。因此，下面我们也将从硬件框架、软件框架和通讯协议这三大方向具体介绍OceanStor Dorado V6。

1）硬件框架

巧妇难为无米之炊，OceanStor Dorado V6集结华为自研五款芯片于一身。分别为智能多协议接口芯片(SmartIO芯片)、鲲鹏920芯片、昇腾310智能AI芯片、SSD控制芯片、板级管理BMC芯片。五款芯片各司其职，相互合作，实现了传、算、智、存、管的垂直整合，构建了端到端的芯片平台。为了更形象具体的展示其功能，我们将这五“ 芯”分别对应着一个“ 伪学校考试”中的以下职能加以说明。

       智能多协议接口芯片（火柴人1）---传，负责从源源不断的数据包中解析数据。

鲲鹏920芯片（火柴人3）---算，负责运算操作，单核算力超过业界主流CPU 25%，最大提供768核。

昇腾310智能AI芯片（火柴人2）---智，负责“未卜先知”，通过深度学习算法，对数据进行分析，提升读缓存命中率50%，让数据越存越快。

SSD控制芯片（火柴人4）---存，承担读写FTL操作，降低操作系统负担，减少I/O交互次数，降低写时延50%。

板级管理BMC芯片（火柴人5）---管，负责故障诊断分析和定位，准确率高达93%。

五“芯”合作

2）软件框架

       在软件框架方面，OceanStor Dorado V6又是如何提速的？答案是：包含三种黑科技的Active-Active架构，其核心就是负载均衡。但具体是怎么改进的呢？

       首先，我们先简单接触下Active-Active架构中的一些概念，方便后续理解。

       接着，我们的老朋友火柴人又来啦！下面火柴人将会结合改进前后的“正规”排插生产线现身说话。

       改进前：在该工厂中，主要人员有绿帽子工头（前端I/O模块）、承担不同生产工艺的螺丝工、外壳工、胶套工等8个火柴人（8个控制器）。此外，还有8个成品仓组成的总仓库（8个硬盘组成的存储池），每个成品仓被划分为若干个小房间，并将来自不同成品仓的小房间组成新的存储单元（存储池中的LUN），我们姑且将其称为RAID 1.0。

       有一天，绿帽子工头（前端I/O模块）突然接到了生产任务，但他并不能确定具体要生产什么，只能下发给火柴人甄别。就这样，生产任务经过了胶套工、铜片工、LED工之间的多次转发才最终来到螺丝工手上（这就是控制器缓存中所谓的LUN归属，数据位于哪块区域之中，就由该区域负责的控制器进行处理，如下图中的LUN1、LUN2、LUN3就属于螺丝工控制器负责的区域）。螺丝工收到任务后就哐当哐当地干起来活来，并把产好的螺丝放进了存储池中的LUN。

       这种生产方案貌似合理，但细细品来，却能够发现存在着一定的问题。首先，由于绿帽子工头无法精准得下发任务，导致转发多次才能来到相应的负责人那里（即IO请求在控制器间无谓转发）。其次，不同的配件，甚至相同配件在不同时间段的生产任务量是完全不同的，按照这种火柴人负责固定区域划分的模式，有可能会导致劳逸不均。同时，存储池中的LUN是由若干个小房间组成的，粒度较粗，这就导致产品存放对空间的利用率不高。此外，RAID 1.0数据重构成本非常高昂，如果成品仓存储了10G数据，尽管只有区区的1KB数据损坏了，但也要对10G数据进行重构。类似的这些问题，都将成为限制系统性能的瓶颈。

改进后：OceanStor Dorado V6通过自研的全局负载均衡技术、全局缓存技术以及RAID2.0+技术有效地解决了上述问题，极大地提升了效率。下面我们将会结合对三大技术的讲解探究具体是如何提升效率的。

全局负载均衡算法：绿帽子工头（前端I/O模块）在技术人员（华为多路径软件）的帮助下，通过神奇的HASH计算，合理地将任务分配给相对空闲的火柴人（控制器）执行，实现了全局控制器负载均衡，让每个火柴人都能快乐且持续地工作，简直是停不下来！！！

全局缓存技术：将每个火柴人（控制器）的小仓库（控制器缓存）合并为共享仓库（全局缓存），不再是自顾自了，而是大家一起把活干（这就实现了LUN的无归属）。伴随着分工制度的取消，也就不存在生产任务在火柴人中辗转的情况（避免了IO请求在控制器间的无谓转发，实现了控制器压力均衡）。

RAID2.0+技术：不同于RAID1.0中由小房间组成的存储单元（LUN），RAID2.0+技术将存储单元划分的更为细致，粒度更小。首先将每个成品仓划分为许多的更小的房间（Chunk，通常大小为4MB），然后将来自不同成品仓的小房间组成Chunk组（简称CKG），最后再将CKG划分为许许多多的小格子作为最终的存储单元（Grain，通常大小为8K）。存储单元的细粒度不仅提高了空间利用率，实现了硬盘压力均衡。此外，RAID1.0数据重构时只能向热备盘进行写操作，而其他盘将进行读操作，这读写将会成为限制性能的瓶颈。而采用RAID2.0+技术后，上述问题迎刃而解，重构1TB的数据也从RAID1.0的10小时降低至0.5小时，速度提升了20倍。

OceanStor Dorado V6还给每个硬盘内置了鲲鹏920芯片，使其具备运算能力，负责业务的重构（数据出现问题？我来重新给你造份，就不劳烦控制框亲自动手了）。这使得火柴人（控制器）有更多的精力做好自己的事情。除此之外，满分条写、多流数据分区、端到端I/O优先级调整技术（有效控制垃圾回收）等多项技术也成功在OceanStor Dorado V6中得到应用。

通过上述一系列措施，排插生产效率得到了极大的提升，火柴人工作得更为充实（狗头）。

3）通讯协议

    噔噔蹬蹬，火柴人又来啦。

改进前：很久之前，那会还是SAS通讯协议，众多的火柴人在CPU处焦急等待，他们都想到达终点SSD处。虽然两张通行证（两次协议封装，先后封装为SCSI和SAS）早就备好了，也允许他们同时出发（多线程），但前往SSD的道路只有一条（单队列），且路上经常塞车（传统SAS SSD在多线程并发下带来的锁竞争）。但火柴人们也只能如此，历经千辛万苦，火柴人们终于从CPU处通过PCle链路和PCle交换机到达SAS芯片处，再通过SAS Expander到达了目的地SSD门口处。但SSD却不肯直接让他们进去，除非他们对着天空大声喊：“我要进！给我进！让我进！我进啦！”（四次协议解析）。火柴人只能无奈妥协，最终耗时562us才能进入SSD。

改进后： OceanStor Dorado V6知道火柴人的艰辛之后便开始琢磨着要如何对流程进行了改进，才能更加省时省力。最终采取如下策略：①出行只需持有乙地通行证即可（协议封装次数从2变1，直接封装为NVMe）。②缩短传输路径，减少了中转站SAS芯片，变成了直通车。③道路数量从原来的1条（单队列并发）变成了64K条道路（多队列并发），并且同样允许他们同时出发（多线程并发）。⑤OceanStor Dorado V6为防止路上堵车，专门自研了火柴人出行路线的规划方案，保证交通顺畅（通过自研的IO调度机制，将锁机制编程转变为无锁编程）。⑥火柴人到达SSD门口后，只需喊两声：“我要进！我进啦！”即可（协议解析次数从4变2）。经过了一系列的改进，最终火柴人耗时106us便到达了SSD处，传输效率提升了81%。

0.1ms极致时延将带来哪些改变？

随着5G时代的到来，数据规模将呈现指数级的增长。IDC发布的《数据时代2025》白皮书认为，全球数据量大概两年翻一倍，华为全球展望GIV2025也预测到，2025年全球年储存数据量将高达180ZB。如此庞大的数据增长以及越来越高的极限时延追求，对现今的数据基础设施提出了更大的考验，0.1ms极致时延迫在眉睫。

在金融行业中，以银行业务请求为例子，强大的数据处理分析能力是银行业务的核心，千万级别的IOPS将给业务IT系统带来巨大的压力，而且随着万物互联时代的到来，将会进一步暴增。0.1ms极限稳定时延能够将平均业务请求时间从以往的15分钟降低至3分钟左右，大大节约了银行业务的排队时间，极大提高银行业务处理能力，改善用户体验。

在互联网行业中，以万物互联，车、人、物互联互通为例子。根据Machina预测，中国的物联网连接数量到2020年将迅速突破70亿，三年内将超过100亿，增幅显著高于世界水平。在如此庞大数量的移动终端的连接下，所产生的数据也将数以万亿计，甚至更多。强大的数据存储和处理能力将是决定未来企业兴衰存亡的关键因素之一。快速的数据处理能力将给企业决策层争取更大的时间窗口，给决策层留出足够的决策时间。

除此之外，在医疗、高清视频/虚拟现实、实时性云业务、精密测绘、高性能计算、5G移动通信等领域中，0.1ms极致时延的出现，也将有力地助力行业发展，给用户带来全新的体验。

0.1ms稍纵即逝，但意义非凡。随着科技的进步，人类得以突破这个时间壁垒，并将其造福社会的发展。写到这里，不禁深思，0.1ms已经来了，那0.01ms甚至0.001ms呢，我认为虽远必至，毕竟技术的发展日新月异，未来可期！

参考资料：

1. 华为OceanStor Dorado V6全闪存存储系统产品技术白皮书

2. 华为OceanStor全闪存专刊

3. 低时延光网络技术白皮书（中国电信）