分布式存储在企业核心存储方面的应用前景如何？从集中存储向分布式存储迁移会不会成为一种趋势？@顾黄亮 苏宁消费金融有限公司 技术总监：不知如何更好的回复题主的问题，针对这个问题，我下载了最新的统计报告，从报告数据进行分析，分布式存储并没有形成比较明显的趋势，集中式存储也没有萎缩，相反，集中式存储的销售额是分布式存储的两倍左右。仔细研究过，两点原因，基于技术发展的需要，相关的报道偏向于新兴事务，如分布式存储的热度是集中式存储的N倍。基于场景的需要，不存在集中式存储被消失，在很多企业，尤其传统的且很重要的系统，依然只有集中式存储才能更稳妥且低时延的提供， 因此在低延迟的场景下，集中式存储这种低延迟的架构设计会一直持续下去。关于趋势，还是需要跟场景结合，在云计算为代表的容量性场景，是分布式存储的天下，集中式存储会逐渐退出。在以低延迟为代表的特殊场景，是集中式存储的天下，分布式存储现阶段还不能贡献太多的力量。个人认为，随着技术的进步和场景的不断融合，二者会有选择性的进行融合。@赵海  技术经理：首先，分布式转型面临的首先要问题是为什么要进行分布式的转型？是不是现有的数据库系统是不是已经无法支撑由于互联网业务转型带来的一系列需求？例如并发性，扩展性和灵活性？如果是那么分布式数据库无疑是我们应该研究的东西。其次来看，核心系统该选择什么样的数据库架构，选择什么样的存储架构完全是取决于其数据及业务特点。就金融行业来讲，核心系统大部分都是非常重要的交易系统，数据也都是二维表结构，这种场景下，业务的实时准确性，数据的一致性，处理的性能都是其核心指标。接下来，再看存储架构的原理，集中式架构的存储采用的块儿机制，以块儿为单位实现数据的更新和锁机制，其机制跟数据库管理数据文件的方式可以说是比较协同一致，那么性能及安全也就自然可以保障。这也是大家选择它那么多年的理由。分布式架构现在常见的有两种做法，一种是基于对象存储机制实现的分布式架构，一种是基于分布式文件系统实现的分布式架构。从性能上来讲，从对象转换为块儿，增加一层映射，从锁的粒度上来讲，一个字段最后造成一系列寻址和对象转换才加上锁。从安全稳定性上讲，一个核心系统需要的节点规模有多大？规模越小，其中任何一个节点的变化都会对整个系统有不小的影响 具体可以研究研究其集群算法。由此可见，选什么需要从业务场景本身出发，考虑其业务要求和数据特点。不能为了所谓的先进性趋势而不假思索的追逐，毕竟穿鞋得找合适的，不一定时尚的一定适合你。@victortp 某大型保险 系统架构师：共存融合是趋势。一、稳定性核心业务第一要求是稳定，集中式存储除了可以提供高容量、低延时、稳定运行外，还有多种技术手段支持复制、灾备。分布式存储并无明显的优势，且在复制、灾备方面有明显的短板，即使是吹得天花乱坠的异地多副本方式也只有人敢听没有人敢实施。二、成本集中式存储依赖的FC网络已经运行了多年，成熟度高，犯不上为了面子进行替换，对于依赖集中式存储的系统，成本不是最主要，稳定运行才是第一位的。分布式存储要想运行得好对网络要求高，交换机acl、限流、收敛比等等细节都需要提前考虑并单独规划，匹配的主机要想运行得好还要有智能网卡支持，还有多副本的要求，这等等加起来成本与集中式存储比并不明显。仅仅考虑此两点，也不值得替代，新系统架适当采用分布式存储，共存融合是个理想状态。@刘东 东软集团 it技术咨询顾问：这个问题需要从两个方面：首先，分布式存储在企业核心存储方面的应用前景肯定是越来越来好，但是并不代表会替代传统的集中是存储。其次，从集中是存储向分布式存储迁移肯定是一种趋势，但是并不代表集中式存储将会完全退出数据中心，仍然有其存在的价值。分布式存储和集中式存储在企业核心存储在未来很长的一段时间内一定是互相共存的一种状态。1、分布式存储经过多年的技术发展，技术也逐渐成熟，已经完成从边缘非核心业务系统部署到核心系统部署，从为了降低成本和提升扩展灵活性为主打的市场转变为全面发展的市场，产品越做越成熟，原来高端集中式存储具备的快照，复制，重删，精简化配置等高级功能在分布式存储上也悉数具备。可以说，分布式存储相比集中式存储无论从价格、功能、性能、扩展能力还有架构上都非常具有优势，集中存储向分布式存储迁移一定是一种趋势。2、根据目前分布式存储发展趋势，越来越多集中式存储正在被替代，特别是近几年兴起超融合技术、分布式数据库和大数据等技术的应用和发展，更加推动了分布式存储的普及。甚至在这几种新技术的应用下，非分布式存储技术架构不可，如果选用集中是存储架构，那么可能都无法实施和落地，实施效果也大打折扣。3、分布式存储具备传统集中式存储诸多无法比拟的优势，但是并不是可以完成对所有的集中式存储设备的替代。我们可以看到目前大部分数据中心仍有大量集中式存储，仍然由新的集中式存储采购需求。造成这种情况的原因并非是分布式存储不够优秀，而是集中式存储和分布式存储都有各自的应用场景和适配应用。4、从成本来看，集中式存储成本在不断降低，一些不太需要扩展能力的应用，采购集中式存储反而成本更低，而分布式存储至少3节点起步，还得配套相应的软件，价格上无法形成规模优势。从稳定性上看，传统的集中式存储发展历史相比分布式存储时间要久得多，而且分布式存储采购的低端服务器设备，稳定性上也有一定的缺陷。特别是高端集中存储，稳定性肯定要大于分布式存储。从性能上看，分布式存储要获得性能优势，需要有一定的节点数量支撑，如果容量小，只部署3节点的分布式存储系统，性能只能达到中低端集中式存储的水平。从应用范围看，分布式存储比较适合新兴架构的业务系统，例如云原生架构，容器技术、超融合技术、分布式数据库或者需要灵活敏捷扩展的业务系统。综上所述，分布式存储是一种未来主流的存储技术路线，而且也具备非常好的发展前景，但是在实际的企业数据中心应用场景中，还得需要根据实际的业务需求进行合理化部署，分布式存储并不能适应所有的应用场景，还得需要分开区别对待。@annoymous 金融：集中存储的价格在下降，分布式在价格上优势几乎没有了；分布式依赖高配万兆交换机，产能目前看也是供不应求，短期内的大方向还是集中存储。@沈天真 浪潮 售前支持：主要看应用场景；具体问题具体分析；分布式存储最开始，也是发现集中式存储在某些场景下性能跟不上，尤其是大数据量+高并发访问场景，还有一点是成本，高端集中式存储卖的太贵，聪明人就想着如何降成本了。@dadaxu X互联网 系统工程师：个人认为分布式存储不会取代集中式存储，毕竟还是要根据不同常见，使用不同存储。并且目前IT系统还是由稳态IT系统和敏态组成，分布式存储局限于网络协议，毕竟稳定性相对于传统的FC或者集中式稳定性会差一些。

Redis 分布式锁其实就是在系统里面占一个“坑”，其他程序也要占“坑”的时候，占用成功了就可以继续执行，失败了就只能放弃或稍后重试。占坑一般使用 setnx(set if not exists)指令，只允许被一个程序占有，使用完调用 del 释放锁。

MySQL可以分布式么？

什么是一致性？至于原理什么的，这里就不赘述了，总的来说目前的分布式系统实现起来基本上都是基于BASE理论的，业务需要保持最终的一致性，说白了了是可以允许 中间过程的短暂不一致，只需要最后一致就好。一说到这个，很多人马上就能想到XA和TCC这两种分布式事务的实现，而且也有很多人针对这两种思想设计出了很好的实现，比如：tcc-lcn:https://github.com/codingapi/tx-lcn 还有很多的实现，去github上一搜就能找到。但是基于XA需要有强大的事务管理器来协调事务操作，TCC的方式需要第三方协调者，多一个中间件就多一分维护，同时业务难度也就上升很多 。当然如果公司中有非常牛逼的中间件团队这个就基本可以忽略了，基本能保持最少4个9的可靠性（https://blog.csdn.net/varyall/article/details/82592970）。B端业务场景通常业务系统B端非常重视一致性，C端则更加重视高可用，在B端数据配置的时候通常都是需要调用好几个系统才能完成一个数据的创建，如商品创建基本都需要创建商品基础数据创建凭证模板创建适用门店库创建xxx关联数据落本地数据在这里的每一步都可能会失败，比如网络超时，db抖动等等常见的失败原因。每一步失败都意味着整个流程需要重试（更恐怖的是有的业务需要回滚前面的步骤）。回滚基本不在业务考虑范围内，因为本来业务就是要做好创建的工作，而且在校验阶段都是符合创建条件的，那么业务上肯定是希望能够完整的建好业务数据，回滚只是作为非常规运维手段来使用。可以需要通过以下几个点来实现最终一致性.重试就像上面说的，在这种可重试的失败需要系统能够自动重试，重试的方法有很多，可以基于任何有定时任务功能的系统或框架来实行，如linux的crontabquartzschedulerxxxl-job等都符合重试的要求，处理业务的时候本地落一条流水数据，失败后设置可重试状态，等待定时任务来执行。注意：重试的时候记录好trace，这对排查问题非常有帮助需要考虑好幂等性需要考虑好并发重试次数幂等在任务进行重试执行的时候，如何保证重复执行的幂等性呢？ 首先：底层接口需要支持幂等，每次重试的时候业务流水id都保持一致，这样通过流水id来实现幂等，防止数据重复创建。但是如果底层接口不支持幂等呢？（这种肯定有的，反正有各种历史原因） 那么就需要业务自己来保证幂等了，在接口执行的时候落一条流水记录，执行完成后更新流水，在执行前先判断流水是否已经执行成功，如果成功了就幂等返回，不做业务操作。通过本地落流水只能保证99%以上幂等，如果完全依赖这个做幂等那就想的太简单了，思考下，如果在调用某个接口的时候返回了超时的异常，此时流水状态设置的还是失败状态，等待重试的时候还是会进行重复请求，这样还是会重复创建数据。所以如果底层不支持流水幂等，而是支持业务幂等的话，如创建的时候有相同的id则会查询一下本地DB，已经有数据就返回指定的错误码，那么业务上还可以根据这个错误码进行幂等处理。如果底层业务幂等都不支持，那这个就只能在处理的时候先查一次，再决定是否调用这个接口了（还是有风险的）。并发做好幂等其实还不够，还需要做好并发处理，比如我的业务在处理的时候如果失败了任务重复调度导致两个任务一起执行了，或者任务执行的时候手动触发了任务执行等，这些问题都是存在的。要做好并发处理，优先考虑使用分布式锁，在业务处理前先获取锁，获取锁失败则说明已经有任务在执行了，当前任务执行结束，等待之前的任务执行完成。加个分布式锁就可以了？ 那也还是想的太简单了，考虑下这个场景第一次用户编辑的时候，在执行第三步的时候网络超时失败了，落了重试任务，此时任务还没开始调度，用户又开始编辑数据，此时执行的时候获取到了锁，执行成功了。然后定时任务调度拉起之前重试的任务，继续执行第三步的操作，然后数据就被覆盖了。。。这时聪明的你已经想到了长锁+可重入锁的方式了：业务执行的时候先落一条长锁，只有执行成功的时候才会释放锁，同时通过请求id作为可重入的判断条件，业务失败后任务拉起来执行的时候还是相同的流水ID，这时任务是可以正常执行的。此时用户想要编辑数据，则会获取锁失败，用户无法进行编辑，此时给个友好的提示。这种方式还要注意一个点，分布式锁改为了分布式可重入锁，那么并发问题又来了，如果任务同时执行了都是相同的流水id，都能正常执行。 可以通过如下的方式来避免这个通过限制可重入个数为1在业务内部再加一个锁小结考虑好幂等，并发，重试这几个问题后，整个业务系统就可以非常健壮的跑起来了。那么问题来了，为什么只要重试而不需要做回滚呢？会进入任务执行的时候，需要基础校验都已经完成了，校验通过后说明数据是允许执行的，既然已经拿到了执行的门票，那么我们的任务就是要保证创建成功，至于回滚等操作只会在底层数据出现问题，无法执行完整的创建流程，需要回滚之前的操作。实际业务上使用的时候基本不会去写回滚的逻辑的，首先加重了开发的任务，其次回滚这种逻辑更适合作为运维手段来执行，这里可以考虑下原因哦。

 把上面的动图完整看完，就懂了，原理如下：Master 是控制机，Slaves 是多个压力机，Target 是被测系统分布式测试中，Master 通过命令行将测试脚本分发给所有 SlaveSlave 不需要启动 Jmeter GUI，通过 CLI 模式执行测试Slave 执行完后，会把结果回传给 MasterMaster 收集所有 Slave 的结果并汇总成一个结果集 注意压力机也可以叫：负载机、代理机、执行机、奴隶机、肉鸡....各种各样的名字，但他们都是 SlaveMaster 也可以执行测试脚本，也可以不执行只负责管理 场景类比一个测试部门有一个部门经理，五个测试小弟有个巨型测试任务由部门经理划分好模块后分发给五个测试小弟去测试五个小弟测试完，会各自发送测试报告给部门经理部门经理把所有测试报告汇总成一份，发给公司大佬看而部门经理可以参与测试，也可以不参与测试只负责管理部门 分布式专用术语认知 实现分布式的前提条件控制机和压力机的 jmeter 要一致具体体现在jmeter 版本要一致jdk 主版本要一致（1.7、1.8...）jmeter 脚本中，csv 文件要一致jmeter 的插件要一致同一局域网，防火墙开放端口  csv 文件一致主要是数据和路径要一致 保证一致性方法直接将控制机的 jmeter 压缩包移到每个压力机上解压使用 压力机配置注意：压力机系统不限，可以是win、mac、linux 前置步骤将控制机的 jmeter 压缩包发送到压力机，解压 修改 jmeter.properties（下面三步走）进入 bin 目录  

2011年，浪潮云战略正式发布，推动政府购买服务，开启中国云计算在政企市场的拓荒之路；十年之后，浪潮云完成迄今为止中国最大规模的一次分布式云迁移，将超过20000个业务应用系统迁移至浪潮分布式云上，建成全国最大的分布式云骨干体系。　　十年弹指一挥间，浪潮云这位拓荒者，不仅见证了云计算在中国市场的起起伏伏，也躬身入局、深度参与到政企上云的方方面面，验证了分布式云在中国云计算市场的巨大价值。　　如今，十年磨一剑的浪潮云再出发，正式发布“1231”业务战略，并推出“分布式云+”行动计划，为政企数字化转型和智能化升级的未来发展构建起最为牢固的基础。　　一朵云背后的故事　　最近几年，分布式云异军突起，成为云计算市场中的热门词汇，它代表着云计算的未来。　　Gartner对于分布式云的定义是：将公有云服务(通常包括必要的硬件和软件)分布到不同的物理位置（即边缘），而服务的所有权、运营、治理、更新和发展仍然由原始公有云提供商负责。　　回顾过去十年云计算发展之路，无论是公有云最早的一枝独秀，还是之后公有云、私有云和混合云的齐头并进，再到如今专属云、边缘云、行业云等后起之秀，始终都是围绕着业务需求的变迁。分布式云的兴起，解决的是未来的位置问题，让云计算资源靠近数据和业务场景发生的物理位置需求。　　IDC中国区副总裁兼首席分析师武连峰也认为，云计算的发展走到今天，在保证一致性体验和安全性的前提下，快速响应用户需求、按需定制，是分布式云受到青睐的原因。　　作为分布式云的引领者，浪潮云早在2019年就率先定义分布式云，完成了中国最大规模的一次分布式云迁移和升级，共涵盖169个分布式云节点，基于统一的OpsCenter，实现了持续性迭代升级，将超过20000个业务应用系统迁移至浪潮分布式云上，同时在2020年建成了全国最大的分布式云骨干体系。浪潮云董事长肖雪直言：“浪潮一直在思考云是什么、怎么做云，如何走出属于自己的道路。”　　事实上，浪潮云能够准确把握住“分布式云”的风口，并不是异想天开或者蹭热点，而是在过去十年中国政企云计算落地中脚踏实地干出来的，从2013年率先定义政务云开始，浪潮云一直深耕政企上云领域，深刻了解中国政企用户数字化转型需求，并且在2015年实现了中国政务云市场占有率第一，此后连续六年保持这一位置；2017年，浪潮云又提出“无处不在的计算”Slogan，进一步提升其云的覆盖和服务能力。　　浪潮云首席技术官孙思清透露，浪潮分布式云如今可以实现随需升级、随需交付服务，并且在全国范围内按月升级分布式云按月升级分布式云，可持续演进。　　如今，随着用户业务场景对于快速响应的需求，浪潮云在分布式云上以数据驱动业务，实现数据采集、数据计算、数据应用一体化，并且融入应用场景，在数字政府、工业互联网、智慧城市等细分领域获得获得广泛认可。“当无处不在的计算延伸到数据末端，对于数据采集能力有着新要求，浪潮云也为此向数采、数算和数用一体化转变，云业务模式也随之升级为一朵分布式云。”肖雪补充道。　　“1231”释放哪些关键信息　　如果说去年最大规模的一次分布式云迁移和升级是浪潮云践行分布式云的一次考试，那么5月14日浪潮云正式发布“1231”业务战略，则是浪潮云对于分布式云实践的沉淀、总结与输出。　　浪潮云的“1231”业务战略，即1个统一架构、2个关键领域、3项融合能力、1个安全体系。所谓1个统一架构指通过浪潮分布式云的软硬一体化架构，通过分布式云，为不同业务场景提供标准统一、高效便捷、安全可靠的云能力；而2个关键领域则是浪潮云坚持“有的放矢”，聚焦在数字政府和工业互联网2大重点领域，将聚焦领域做深做透，结合浪潮云多年实践，助力政企客户快速转型；3项融合能力则是指云网边端融合、云数智融合、建管运融合，通过全栈技术能力支撑起政企用户的数字化转型和智能化升级需求；1个安全体系指云数安全体系，为政府与企业用户提供安全、稳定的云上服务。　　可以说，浪潮云在政企上云领域是先行者和领导者，IDC相关报告指出浪潮云已构建起的中国最大分布式云平台，具备一定的“先发优势”。随着“1231”业务战略的发布，浪潮云有望继续引领市场发展。　　首先，浪潮云的分布式云经历过场景的真实检验，其软硬一体化架构在复杂业务场景中千锤百炼，有利于将分布式云延伸到各个业务场景中，为政企用户快速输出全面云化和全栈智能的能力。　　其次，浪潮云自诞生伊始就很聚焦，长期坚持下去，把政企用户的上云和转型升级需求吃得更透，像其提出的云数智融合，为云上数据提供涵盖“数采”、“数算”、“数用”的一体化融合体系，实现数据价值的智能化变现和应用，恰恰是当前政企用户所渴求，在经历了业务应用迁移上云之后，政企用户下一阶段的重点就是围绕数据，实现云数智的融合，实现数据价值的落地。　　最后，浪潮云有着清晰战略方向，会围绕“1231”业务战略，不断完善自身能力、生态，推动分布式云在中国政企数字化转型中发挥更大作用。　　“面向未来，我们希望通过多年积累的专业能力打造一个更加专业的数采、数算和数用一体化体系，把数是什么、数从哪里来、数到哪里去有效整合，让合作伙伴充分利用好数据，打造丰富的数用生态。”肖雪补充道。　　用“分布式云+”再出发　　为更好地推动分布式云在行业中价值，浪潮云此次还推出“分布式云+”计划：即1+2+N+生态：打造一朵分布式云，聚焦数字政府和工业互联网2大重点领域，结合浪潮云多年来行业实践经验的沉淀，对N个业务场景进行云数智一体化的标准化输出，助力政企客户快速转型，并且联合合作伙伴共建生态。其中，面向N个边缘场景推出云行系列产品，包括N+场景：智慧社区、工业物联、视频感知；N+生态：两院三中心，即联合国家全球机构和高校，共建咨询规划院和标准研究院，以及方案验证中心、开发者支持中心和云原生适配中心；而N+生态则是指云舟联盟生态，拓展行业纵深，发展咨询、方案、云原生等五类合作伙伴，共同形成强供应互联，更好地释放浪潮云能力，并推动云上数用新生态的建设。　　毫无疑问，“分布式云+”计划的发布，不仅仅是浪潮云与政企用户未来升级需求的一种契合与匹配，更是浪潮云开启自身发展新阶段的一道催化剂。　　面向未来，云计算市场依然有着巨大的空间，市场格局也远未最终成型，新需求、新技术、新场景的井喷，云计算的核心必然会从“上云”到“用云”，而浪潮云构建起的“数采”、“数算”、“数用”一体化体系，在未来的政企数字化转型中一定将大有所为。

过去几年，随着云计算进入到全面爆发的阶段，政企客户对于云的接受程度正稳步提升。与此同时，越来越多的政企用户开始从传统架构全面转向云架构，这也让混合多云模式被越来越多的企业级客户所认可并采用，分布式云就是在这样的背景下诞生的。所谓分布式云，可以理解为下一代混合云，它将公有云服务（通常包括必要的硬件和软件）分布到不同的物理位置（即边缘），而服务的所有权、运营、治理、更新和发展仍然由原始公有云提供商负责，真正实现了让云的能力无所不在。作为分布式云的引领者，浪潮云早在2019年就率先定义分布式云，完成了中国最大规模的一次分布式云迁移和升级，同时在2020年建成了全国最大的分布式云骨干体系。基于这些在分布式云领域的探索和实践，今年5月14日，浪潮云正式发布“1231”业务战略，并推出“分布式云+”行动计划，为各行各业快速提升全面云化、全栈智能的能力提供了重要支撑。毫无疑问，在以数据为核心的数字经济新时代到来的背景之下，浪潮分布式云的全新升级和迭代，将能够帮助政企行业用户彻底打破公有云和私有云的隔阂，获得“一朵云”的真正体验。让浪潮云四年前提出的“无处不在的计算”从梦想变成现实的同时，也将进一步引领政企上云新范式。浪潮分布式云升级背后事实上，分布式云的出现并不是“一蹴而就”的，IDC的研究显示，企业数据中心基础设施的发展经历了从硬件定义到软件定义再到服务定义的演进过程后，无不处在的云已经成为了最为关键的IT基础设施之一，而随着边缘云、专属云、行业云以及多云等不同云的部署和运营方式日趋多样化之后，分布式云也就“应运而生”。回头来看，浪潮云过去十年的发展，也完整经历和见证了这一演变历程。对此，浪潮云董事长肖雪在主题演讲中指出，当前无处不在的计算已延伸到数据末端，对于数据采集有了新的能力要求，浪潮云也由过去以数据计算和数据应用为主，向数据采集、数据计算、数据应用一体化进行转变。同样，其云业务模式也升级和迭代为一朵分布式云。总的来说，浪潮云的发展之路可以分为以下几个阶段：第一阶段，浪潮云主要是以数算+数用为主，2011年，浪潮云确定云计算战略，推动政府购买服务；2013年，浪潮云率先定义政务云，并开始了全国的布局；2015年，浪潮取得中国政务云市场占有率第一位，随后连续6年蝉联保持了这一领先优势。从2017年开始，随着企业数字化转型的兴起，传统行业上云成为新的趋势，云计算的“冻土层”正在加速解冻。为此浪潮云发布了全新的品牌Logo和Slogan——“无处不在的计算”，这也标志着浪潮云的覆盖和服务能力进一步提升；此后两年，浪潮云又把数算和数用结合在一起，并通过融入了行业应用场景，先后布局数字政府、工业互联网、智慧城市等细分行业，为浪潮云从政务云走向全方位云服务商奠定了基础。正如肖雪所说：“浪潮不仅是一朵分布式云，也是一朵扎实的云，这与浪潮云的成长历程是有密切关系的，浪潮云要深入行业就必须提供真正的服务，因此可信赖就至关重要。过去十年，我们一直围绕着可信赖不断践行，未来浪潮云也会把可信赖这个基因继续延续下去，赢得更多政企上云客户的信任。”全文总结，分布式云将成为云计算的未来，而在此过程中浪潮云通过不断的探索和实践，以专业的数算体系、丰富的数用生态，以及可信赖的数据自由流打造了国内最大的一朵分布式云，不仅实现了新一轮升级和突破，也将会催生出更多的新技术、新场景、新生态，在引领政企上云新范式的同时，更将重塑整个市场的新格局，其价值无疑“不止于眼下，更关乎未来。”

“当前无处不在的计算已延伸到数据末端，对于数据采集有了新的能力要求，浪潮云也由过去以数据计算和数据应用为主，向数据采集、数据计算、数据应用一体化进行转变。”近日，在浪潮云全新业务战略发布会上，浪潮云董事长兼CEO肖雪指出。　　同时，浪潮云发布全新业务战略“1231”，浪潮“分布式云+”行动计划首次亮相。何谓分布式云？　　此前Gartner公布的2021战略科技趋势中，分布式云再度被提及。Gartner方面预测，到2025年，超过50%的组织将在其选择的地点使用分布式云，从而实现转型业务模式。　　所谓分布式云，是指将公有云服务分布到不同的物理位置(即边缘)，而服务的所有权、运营、治理、更新和发展仍然由原始公有云提供商负责。在这样的设计下，分布式云解决了客户让云计算资源靠近数据和业务活动发生的物理位置的需求。IDC中国区副总裁兼首席分析师武连峰分析称，云计算市场的发展呈现出5大趋势，全球政治、经济的变化让云上升到国家战略层面，重视程度前所未有，未来数字基础架构要求云网数智深度融合，以满足用户重体验、求创新的需求。在这一过程中，云原生应用成为主流，安全可信持续强化，边缘云、专属云、行业云、多云驱动云走向分布，分布云服务有巨**展潜力。　　就此，武连峰建议，云服务商在做好用户和云服务定位的同时，也要深度打造行业应用场景，做好分布云的协同运营。　　浪潮云的思路正是如此。肖雪介绍称，浪潮云定义分布式云并完成了中国最大规模的一次分布式云迁移，涵盖169个分布式云节点，基于统一的OpsCenter，实现了持续性迭代升级，历时半年超过20000+业务应用系统迁移至浪潮分布式云，建成了全国最大的分布式云骨干体系。　　“1231”业务战略　　也是在分布式云的探索基础上，浪潮云正式发布“1231”业务战略，即1个统一架构、2个关键领域、3项融合能力、1个安全体系。　　作为分布式云的重要支撑，浪潮分布式云产品架构也正式亮相。浪潮云首席技术官孙思清在主题演讲中表示，基于该架构支撑，浪潮分布式云研发打造云平台和服务系列产品，通过分布式云延伸到业务场景，帮助各行各业快速提升全面云化、全栈智能的能力。　　此外，基于分布式云的能力，浪潮云推出“分布式云+”行动计划——1+2+N+生态，即打造一朵分布式云，聚焦数字政府和工业互联网2大重点领域，对多个业务场景进行云数智一体化的标准化输出。在这一过程中，浪潮云在全国实践了中心云、本地云、边缘云等多种部署形态，真正做到云网边端融合、云数智融合、建管运融合。　　大会现场，浪潮云还发布了面向智慧社区、工业物联网、视频感知三大场景的云行产品。

分布式存储技术路线选型探讨：HDFS、Ceph、GFS、GPFS、Swift等各种技术的特点和适用场景？随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。当前，分布式存储有多种实现技术，如HDFS、Ceph、GFS、GPFS、Swift等。在实际工作中，为了更好地引入分布式存储技术，我们需了解各种分布式存储技术的特点，以及各种技术的适用场景，在此希望请教下同行，城商行应该如何选择这些分布式存储技术，他们各自的特点和场景如何？（问题来自@fanyqing 系统架构师 某银行）@刘东  IT技术咨询顾问 东软集团：在以上几种分布式存储技术中，每一种存储技术都有各自的特点和应用场景。其中HDFS、Ceph和Swift应用比较多，这也和它们的技术发展比较快和应用场景比较多相关。下面分别介绍：一、HDFS主要用于大数据的存储场景，是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候，就已经明确的它的应用场景，就是为大数据服务。主要的应用场景有：1、对大文件存储的性能比较高，例如几百兆，几个G的大文件。因为HDFS采用的是以元数据的方式进行文件管理，而元数据的相关目录和块等信息保存在NameNode的内存中， 文件数量的增加会占用大量的NameNode内存。如果存在大量的小文件，会占用大量内存空间，引起整个分布式存储性能下降，所以尽量使用HDFS存储大文件比较合适。2、适合低写入，多次读取的业务。就大数据分析业务而言，其处理模式就是一次写入、多次读取，然后进行数据分析工作，HDFS的数据传输吞吐量比较高，但是数据读取延时比较差，不适合频繁的数据写入。3、HDFS采用多副本数据保护机制，使用普通的X86服务器就可以保障数据的可靠性，不推荐在虚拟化环境中使用。二、Ceph是一个开源的存储项目，是目前应用最广泛的开源分布式存储系统，已得到众多厂商的支持，许多超融合系统的分布式存储都是基于Ceph深度定制。而且Ceph已经成为LINUX系统和OpenStack的“标配”，用于支持各自的存储系统。Ceph可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性，在分布式存储系统中，是很少见的。Ceph没有采用HDFS的元数据寻址的方案，而且采用CRUSH算法，数据分布均衡，并行度高。而且在支持块存储特性上，数据可以具有强一致性，可以获得传统集中式存储的使用体验。对象存储服务，Ceph支持Swift和S3的API接口。在块存储方面，支持精简配置、快照、克隆。在文件系统存储服务方面，支持Posix接口，支持快照。但是目前Ceph支持文件的性能相当其他分布式存储系统，部署稍显复杂，性能也稍弱，一般都将Ceph应用于块和对象存储。Ceph是去中心化的分布式解决方案，需要提前做好规划设计，对技术团队的要求能力比较高。特别是在Ceph扩容时，由于其数据分布均衡的特性，会导致整个存储系统性能的下降。三、GFSGFS是google分布式文件存储，是为了存储海量搜索数据而设计的专用文件系统。和HDFS 比较类似，而且HDFS系统最早就是根据 GFS的概念进行设计实现的。 GFS同样适合大文件读写，不合适小文件存储。适合处理大量的文件读取，需要高带宽，而且数据访问延时不敏感的搜索类业务。同样不适合多用户同时写入。GFS 是最早的推出分布式存储概念的的存储系统之一，后来的大部分的分布式式文件系统或多或少都参考了 GFS 的设计。HDFS和 GFS 的主要区别是，对GFS 中关于数据的写入进行了一些改进，同一时间只允许一个客户端写入或追加数据。而GFS 是支持并发写入的。这样会减少同时写入带来的数据一致性问题，在写入流程上，架构相对比较简单，容易实现。四、GPFSGPFS是 IBM 的共享文件系统，它是一个并行的磁盘文件系统，可以保证在资源组内的所有节点可以并行访问整个文件系统。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。GPFS提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。GPFS和其他分布式存储不同的是，GPFS是由网络共享磁盘（NSD）和物理磁盘组成。网络共享磁盘（NSD）是由物理磁盘映射出来的虚拟设备，与磁盘之间是一一对应的关系。所以，使用两台传统的集中式存储设备，通过划分不同的网络共享磁盘，也可以部署GPFS，不一定部署在X86设备上。GPFS文件系统允许在同一个节点内的多个进程使用标准的UNIX文件系统接口并行的访问相同文件进行读写，性能比较高。GPFS支持传统集中式存储的仲裁机制和文件锁，保证数据安全和数据的正确性，这是其他分布式存储系统无法比拟的。GPFS主要用于IBM 小型机和UNIX系统的文件共享和数据容灾等场景。五、SwiftSwift也是一个开源的存储项目，但是主要面向的是对象存储。和Ceph提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和Ceph的对象存储服务的主要区别是。1、客户端在访问对象存储系统服务时，Swift要求客户端必须访问Swift网关才能获得数据。而Ceph使用一个运行在每个存储节点上的OSD（对象存储设备）获取数据信息，没有一个单独的入口点，比Swift更灵活一些。2、在数据一致性方面，Swift的数据是最终一致，在海量数据的处理效率上要高一些，但是主要面向对数据一致性要求不高，但是对数据处理效率要求比较高的对象存储业务。而Ceph是始终跨集群强一致性。主要的应用场景，在在OpenStack中，对象存储服务使用的就是Swift，而不是Ceph。@he7yong  研发工程师 Canway：楼上的解释非常的详细，我觉得更重要的是根据业务需求来进行选择，例如HDFS主要是面向大数据场景。@wanggeng  系统运维工程师 某银行：Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统，适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括：容错，可扩展性，高效性和可靠性。HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。OpenStack的对象存储SwiftOpenStack Swift提供一个类似Amazon S3的对象存储。其主要特点为：所有的存储对象都有自身的元数据和一个URL，这些对象在尽可能唯一的区域复制3次，而这些区域可被定义为一组驱动器，一个节点，一个机架等。开发者通过一个RESTful HTTP API与对象存储系统相互作用。对象数据可以放置在集群的任何地方。在不影响性能的情况下，集群通过增加外部节点进行扩展。这是相对全面升级，性价比更高的近线存储扩展。数据无需迁移到一个全新的存储系统。集群可无宕机增加新的节点。故障节点和磁盘可无宕机调换。在标准硬件上运行，例如戴尔，HP和Supermicro。CephCeph是一个遵循LGPL协议的存储平台，它可以在单个分布式节点上同时支持对象存储，块存储和文件存储。Ceph主要设计的初衷是变成一个可避免单节点故障的分布式文件系统，EB级别的扩展能力，而且是一种开源自由软件，许多超融合的分布式文件系统都是基于Ceph开发的，作为开源软件在超融合商业领域的应用，Ceph因为性能等问题被诟病，但不乏许多厂商在Ceph上不断优化和努力。IBM General Parallel File System(GPFS通用并行文件系统)这个专有GPFS是一个由IBM开发的高性能集群文件系统。它可以在共享磁盘或非共享分布式并行模式中进行部署。GPFS-SNC，其中SNC代表Shared Nothing Cluster(非共享集群)，它是2012年12月正式发布的GPFS 3.5版本，如今被称为GPFS-FPO(文件配置优化)。这让GPFS可以在一个联网服务器的集群上采用本地连接磁盘，而不需要配置共享磁盘的专用服务器(例如使用SAN)，GPFS-FPO可充当HDFS兼容的文件系统。GPFS时常通过调用计算集群上的MPI-IO(Message Passing Interface)进行访问。功能包括：分布式元数据处理。包括目录树。没有单独的“目录控制器”或“索引服务器”管理文件系统。对非常大的目录进行高效索引目录项。很多文件系统被限制在单一目录(通常， 65536或类似的小二进制数)中的少数文件内，而GPFS并没有这样的限制。分布式锁定。该功能考虑了完整的Posix文件系统语义，包括锁定文件进行独占访问。Global Federated File System(GFFS全局联合文件系统)XSEDE文件系统在美国弗吉尼亚大学Genesis II项目的一部分。GFFS的出现是源于一个对诸如文件系统的资源以一种联合，安全，标准化，可扩展和透明化的方式进行访问和远程操作的需求，而无需数据所有者或应用程序开发者和用户改变他们存储和访问数据的任何方式。GFFS通过采用一个全局基于路径的命名空间实现，例如/data/bio/file1。在现有文件系统中的数据，无论它们是否是 Windows文件系统， MacOS文件系统，AFS，Linux或者Lustre文件系统都可以导出或链接到全局命名空间。例如，一个用户可以将它 “C” 盘上一个本地根目录结构，C:\work\collaboration-with-Bob导出到全局命名空间，/data/bio/project-Phil，那么用户 “C” 盘\work\collaboration-with-bob 内的文件和目录将会受到访问限制，用户可以通过/data/bio/project-Bob路径在 GFFS上访问。最后谈一下，最常见的GPFS和HDFS有什么区别？GPFS和Hadoop的HDFS系统对比起来相当有趣，它设计用于在商用硬件上存储类似或更大的数据——换言之就是，不配置 RAID 磁盘的数据中心和一个SAN。HDFS还将文件分割成块，并将它们存储在不同的文件系统节点内。HDFS对磁盘可靠性的依赖并不高，它可以在不同的节点内存储块的副本。保存单一副本块的一个节点出现故障是小问题，可以再复制该组其它有效块内的副本。相较而言，虽然GPFS支持故障节点恢复，但它是一个更严重的事件，它可能包括数据(暂时性)丢失的高风险。GPFS支持完整的Posix文件系统语义。HDFS和GFS(谷歌文件系统)并不支持完整的Posix语义。GPFS跨文件系统分布它的目录索引和其它元数据。相反， Hadoop将它们保留在主要和次要Namenode中，大型服务器必须在RAM内存储所有的索引信息。GPFS将文件分割成小块。Hadoop HDFS喜欢64MB甚至更多的块，因为这降低了Namenode的存储需求。小块或很多小的文件会快速填充文件系统的索引，因此限制了文件系统的大小。说到分布式文件系统，不得不提到许多超融合厂商，一部分是基于Ceph的，还有一部分是完全自主研发的。（引自网络文章《这些主流分布式存储系统，你都知道吗？》）

分布式存储热度越来越高，吸引了许多投资者的目光，得到了广泛的关注和肯定。不少投资者想要布局分布式存储，但是对这个技术了解不够深入，不知道分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？今天我就给大家讲解这两个问题。 分布式存储协议靠谱吗？2021年4月22日到23日华为在杭州举办《数据存储用户精英论坛-分布式存储协议分布式存储分论坛》，全面发力分布式存储协议&星际文件系统分布式存储行业。并且早在2020年，华为就开始布局分布式存储协议&星际文件系统分布式存储行业。2021年4月23日在成都举办《2021数御未来-2021数据与存储产业峰会》，全球最大的信息技术和业务解决方案公司IBM开始布局分布式存储协议&星际文件系统分布式存储，这是继华为、阿里、联想、戴尔、浪潮、中科曙光等布局分布式存储协议&星际文件系统行业后又一世界行业巨头加入分布式存储赛道。华为大家都知道，那这个IBM是什么体量呢？IBM是全球最大的信息技术和业务解决方案公司，全球雇员31万多人，2018世界品牌500强排名28位，2019年Interbrand全球品牌排名12。前面说过，除了华为、IBM，还有阿里、联想、戴尔、浪潮、中科曙光等企业也进入分布式存储赛道，分布式存储可以说是未来存储行业的大势所趋。分布式存储协议会被国家禁止吗？此前，复旦大学成立分布式存储协议系统研究院&分布式存储协议课题研发小组。并且北京、上海、苏州等地方政府出台多项政策，扶持区块链产业发展，加快区块链人才培养和引进。国家教育部更是将高校作为区块链学术和技术攻坚基地，出台《高等学校区块链技术创新行动计划》。随着国家和各地不断助力，区块链教育逐渐迈入发展快车道，只要不将区块链技术用于歧途，国家是不会禁止的。区块链也好，还是具有区块链属性的分布式存储协议也好，技术是无罪的，并且它们都是有利于发展的新技术，也是为数不多的，能与西方站在同一起跑线的技术。关注公众号：IPFS最前沿，了解更多IPFS资讯

分布式存储协议不单单只是定义一个存储市场，还包含激励——星际文件系统，星际文件系统是分布式存储协议的激励层代币，是一个真正的区块链项目。它是一个基于区块链分布式的存储网络，它把云储存变成一个算法市场。分布式存储服务器多少钱一台？分布式存储协议怎么获取区块奖励？分布式存储服务器多少钱一台？顾名思义，分布式存储服务器的重点自然就是存储。可能关注存储行业的读者知道，奇亚币导致存储设备的短缺，并且挖奇亚币非常耗损存储设备，所以存储设备的替换非常快，加上持续的零部件的短缺，会使硬盘缺口越来越大，不仅产能的天灾跟不上，人祸也不可避免，各级经销商乃至厂家自己囤积居奇，也是造成目前硬盘缺口的原因之一。分布式存储协议服务器虽然对硬件要求以及需求量不高，但也经不住存储市场这样过山车式行情。目前多家分布式存储协议服务器公司宣布服务器大幅涨价，目前96T服务器售价128000元，预计4月15日将涨到138000元。分布式存储协议怎么获取区块奖励？对于客户来说，分布式存储协议获取的区块奖励是他们投资的原因。分布式存储协议获取区块奖励的方式有大致有两种，一种是存储收益，一种是检索收益，一般而言，客户得到的是存储收益。了解更多IPFS信息，关注公众号：IPFS最前沿

GaussDB Kernel V500R001C20  这个版本分布式数据库如何进行物理备份，是用roach工具吗，和以前的高斯200分布式集群备份有差别吗

 数据库是应用和计算机的核心组成，试想，如果没有数据库，就像人的大脑没有了记忆一样，信息也得不到共享，那么，对开发者来说，如何设计一款高效易用的数据库至关重要。          GaussDB是企业级分布式数据库，具备分布式强一致、有效降低容灾成本、支持PB级海量数据、智能诊断等优点，是当下炙手可热的主流数据库，那么如何更好的设计分布式数据库的数据分布策略呢？首先介绍一下GaussDB的基本架构，便于理解后面的分析。图 逻辑架构  这个是一个典型的基于数据分片的分布式架构(share nothing)，底层数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上，计算时底层多个节点共同参与计算。同时数据节点可以扩展，上层由协调节点进行SQL解析和转发。       从图中可以看到，主要包括三类节点：协调节点、数据节点、集群类节点（最重要的是全局事务管理器）。协调节点负责SQL解析转发，充当的是类似proxy的角色，数据节点负责计算和数据存储，全局事务管理器负责全局事务读一致性的保证。名称描述OM运维管理模块（Operation Manager）。提供集群日常运维、配置管理的管理接口、工具。CM集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。GTM全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。CN协调节点（Coordinator Node）。负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。DN数据节点（Data Node）。负责存储业务数据、执行数据查询任务以及向CN返回执行结果。ETCD分布式键值存储系统（Editable Text Configuration Daemon）。用于共享配置和服务发现（服务注册和查找）。Storage服务器的存储资源，持久化存储数据。表 关键角色分布式SQL执行过程大致执行过程：业务应用下发SQL给Coordinator ，SQL可以包含对数据的CRUD操作；Coordinator利用数据库的优化器生成执行计划，每个DN会按照执行计划的要求去处理数据；数据基于一致性Hash算法分布在每个DN，因此DN在处理数据的过程中，可能需要从其他DN获取数据，GaussDB提供三种stream流（广播流、聚合流和重分布流）实现数据在DN间的流动；DN将结果集返回给Coordinate进行汇总；Coordinator将汇总后的结果返回给业务应用。数据分布策略场景实践       拿电子商城来举例，一个完整的商城会包括很多信息，例如用户、产品、订单、仓库、物流、支付等等很多信息。以下用订单、支付方式、快递公司这3个信息为例，这3个信息也只列出少量关键属性来举例。step1、数据库逻辑模型设计step2、功能设计常用场景一、查看子订单列表Select sn, status, money, product_id, product_mount from order t1, suborder t2 where t1.id = t2.order_id and t1.sn=’xxx’;常用场景二、查看子订单详情Select product_id, product_mount, t2.name as shipping_name, t3.name as pay_type_name from suborder t1, shipping_com t2, pay_type t3 where t1.id=’xx’ and t1.shipping_id=t2.id and t1.pay_type_id=t3.id;step3、物理数据模型设计子商城每天的订单量非常巨大，使用传统的主备库模式显然无法满足如此大数据量的请求和存储需要。而跨节点、可横向扩展的分布式数据库可以很好解决大规模海量数据的计算存储问题。GaussDB分布式模式最大可以支持1000+节点，PB级存储，分布式事务强一致等特性可以很好地满足政府、交通、金融、能源等行业的互联网+的诉求。这个场景中，订单表和支付方式表代表着两类数据，前者同客户数、时间正相关，一个中型的商城每天的数据可能就达到了百万条记录，暂记为A类数据；后者数据变化较小，往往是配置类的数据，暂记为B类数据。功能模块中存在A类数据之间的相互关联以及A与B类数据的关联。那么在分布式数据库下，当数据分布在不同的节点上，以上能否直接关联呢？如果能够关联的话，怎么样设计才能更好的达到性能上的要求呢？对于分布式数据库而言，如何使得以上的场景能够得到更好的性能，关键的是把表的数据分布策略选择好，而像分区、索引等设计同传统的单机差别不大。因此要回答这个问题，我们需要先了解GaussDB的数据分布策略。数据分布策略GaussDB支持的数据分布策略分布存储和并发查询是MPP架构数据库的主要优势所在。将一个大数据量表中的数据，按合适分布策略分散存储在多个DN实例内，可极大提升数据库性能。GaussDB V5支持如下表所示的数据分布策略：策略描述适用场景散列（Hash）将表中的数据通过hash方式散列到集群中的所有DN实例上。数据量较大的表。复制（Replication）将表中的数据复制到所有DN实例上，每个DN实例都拥有全量数据。数据量较小的表（10W行记录以下），根据集群数量酌情处理。下面这张图可以帮忙我们清晰地理解复制表和分布表，前者每个DN上都是一个完整的表，而后者每个DN上只是一个分片。语法：创建复制表create table region1(ctid_value int) distribute by replication;创建分布表create table region2(ctid_value int) distribute by hash(ctid_value);说明：当不指定分布方式，创建表默认为（第一个可以作为分布列的列为分布键）分布表看到这里这里，很多人马上就会明白，订单表和子订单表适合用分布表，支付方式表和快递公司表适合用复制表，那么是为什么呢？ 让我们先了解下分布表及复制表的关联过程。表分布方式分布列订单Hashid子订单Hashorder_id快递公司Replication－支付方式Replication－ 分布表及复制表关联过程（1）分布表和复制表的关联查询T1为hash表，T2为复制表。T1表的每一部分在各DN上分别与T2表进行连接。各DN上的连接结果集在CN上进行汇聚，产生最终输出的结果集。（2）分布表与分布表关联查询T1表和T3表都为分布表。在DN1实例上，T1表的p1部分与T3表的T1部分进行关联。T3表的p2、p3、p4复制到DN1上，与T1的p1部分进行关联。DN2、DN3、DN4实例操作与DN1类似。CN节点对各DN生成的结果集进行汇聚，生成最终数据结果集。注：细心的朋友可能看到，不同的DN之间可能会进行数据同步，在这种情况下，执行效率会就变差，如何避免这种情况，下面会讲到。分布键的选择尽量选择distinct值比较多的列，保证数据均匀分布。分布均匀是为了避免木桶效应，各个主机对等执行。 尽量选择Join列或group 列做分布列。尽量选择Join列或group 列是为了避免数据节点之间数据流动, 提高性能。避免数据广播在分布表关联分布时，分布列不同时，存在Streaming(type: BROADCAST）广播，不同DN节点之间数据存在交互，会增加网络开销，而分布列相同或关联复制表数据时，不存在DN节点间数据交互。下面我们进行下实际测试：例如对于表t1，t2，我们使用不同的分片列进行关联：select * from t1, t2 where t1.a = t2.b;方式1：t1、t2都选择a做分布列create table t1 (a int, b int) distribute by hash (a); create table t2 (a int, b int) distribute by hash (a);其执行计划如下：方式2：将a作为t1的分布列，将b作为t2的分布列：create table t1 (a int, b int) distribute by hash (a); create table t2 (a int, b int) distribute by hash (b);重新查看执行计划如下：分析：方式1由于存在“Streaming”，导致Datanode之间存在较大通信数据量。避免数据倾斜判断是否已发生数据倾斜现象SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM tablename GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count DESC;如果各DN内元组数目相差较大（如相差数倍、数十倍），则表明已发生数据倾斜现象，请按照下面原则调整分布列。 重新选择分布列，重新建表当前不支持通过ALTER TABLE语句调整分布列，因此，调整分布列时需要重新建表。 选择原则如下： 分布列的列值应比较离散，以便数据能够均分布到各个DN。例如，考虑选择表的主键为分布列，如在人员信息表中选择身份证号码为分布列。 在满足上面原则的情况下，考虑选择查询中的连接条件为分布列，以便Join任务能够下推到DN中执行，且减少DN之间的通信数据量。 总结 GaussDB是分布式架构，数据分布在各个DN上，设计好的数据分布策略是分布式数据库设计中最关键的环节。本文结合电子商城场景讲述了支持的数据分布策略、分布键的选择以及关联过程，还讲述了应该规避的问题。理解了以上这些内容后，相信你可以结合自己的业务场景，设计出最佳的数据分布策略。  作为华为ICT基础设施业务面向全球开发者的年度盛会，华为开发者大会2021（Cloud）将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题，将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者，共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代，每一个开发者都在创造一往无前的奔腾时代。世界有你，了不起！  点击链接，了解大会详细信息。cid:link_1

上云用数赋智，已经成为当前企业发展的必由之路。该如何上云？要上什么样的云？时至今日，企业对此类问题仍旧充满了诸多疑惑。而就在用户、企业讨论要上什么云的同时，云计算技术也在不断的向前发展。中国信息通信研究院《云计算发展白皮书（2020年）》指出：未来，云计算仍将迎来下一个黄金十年，进入普惠发展期。同时指出在这一时期，分布式云将成为云计算新的形态。看到这里有人会不禁好奇，云计算不就是分布式计算嘛？分布式云计算又是一个什么东西呢？雷锋网了解到，分布式云这一理念最先来源于Gartner 2020十大技术趋势之一，并于2021年再次被列为Gartner战略技术趋势。据Gartner解释称，分布式云的背景是云价值主张在混合云以及混合IT中并未能实现，而这个价值主张说的是什么呢？利用云的资源实现降低成本，同时减少运营成本，而私有云、混合云以及混合IT都无法达成这个效果。而分布式云的特点就在于在近源交付公有云资源，而运维依旧是云服务商负责，让客户在本地享有和公有云（集中式部署）同等的服务。近日，华为云召开了TechWave全球技术峰会，会上华为云发布了分布式云全系列产品服务，并升级了覆盖基础设施、音视频、AI、大数据等众多领域的全栈云原生能力等。顺着读者的疑问，不妨以华为云分布式云产品为例来深入分析一下，寻找分布式云为何会被认为是云计算未来发展的趋势？分布式云为何会成为趋势？“一朵分布式云，实现全场景覆盖”。看到华为云这样的概括，我们不经更加好奇，分布式云到底是什么？会有如此大的能力。从华为云发布的分布式云的架构图来看，分布式云就是将中心Region延伸到业务所需的各类位置，包括城域范围内的热点区域、企业的数据中心机房、以及企业的各类业务现场。在离“最终用户”最近的地方，让企业不同的业务上更加合适的云，从而达到企业精细化上云的需求。雷锋网要划一个重点：这些云虽然分布在不同的地理位置，但通过一致的云架构和一张VPC打通的云网络，可以实现各业务系统基于内网互通；通过统一的架构、服务规格和API，可以使企业开发者可以一次开发验证、即可在各类环境中运行，实现高效的业务复制和迭代。同时也能让企业处于统一的IT治理框架，包括用户认证授权、企业项目管理、资源配额管理、自动化部署工具、运维监控、费用结算工具等能力集，让企业对多层次组织架构做到全局统一治理、以及策略化的向下授权，并实现分权分域的局部自治。也就说，在华为云看来，分布式云，能让企业获得无处不在、体验一致的“一朵云”的能力。而为了让用户能够精细化的全面上云，华为云打造了分布式云产品组合，即中心Region、专属Region、智能边缘云IEC/智能边缘小站IES、智能边缘平台IEF。中心Region就是此前的华为云，一朵大公有云，任何地点、任何时间，都可以按需调用。专属Region则是给政企大客户“专享”的一朵云，部署在政企行业大客户的本地数据中心，可以替代、升级原有的私有云/专有云，满足这类超级客户“自营云”或“行业云”的需求。智能边缘云IEC一般会部署在“热点”区域，比如重点省市、主流运营商优质网点上。区域内，有大量“本地”C端用户，可以访问低延迟、大流量的业务。智能边缘小站IES则是一朵客户可以“搬回家”的云，实物是一个“机柜”，可以部署在客户数据中心内，单柜4节点起步，可扩展至16柜，整柜运到客户数据中心去，一体化的交付模式，2天即可上。智能边缘平台IEF是“纯软件”方案，可以部署在各种边缘硬件。应用在对算力要求不高，但是需要统一管理的场景，比如：车辆识别、周界入侵等。对于互联网企业或初创公司来说，绝大部分业务负载部署在公有云中心Region即可，而大流量、时延敏感的业务，如直播、在线教育、视频接入、VR渲染等，则需要在边缘侧通过部署充沛算力和音视频等能力，来保证用户体验，华为云智能边缘云IEC即可满足此类业务需要。而对于大型政企，存在如下四种典型分布式云应用场景:创新业务、弹性需求大的敏态业务、部分存量稳态业务，部署在公有云中心Region。低时延和数据合规性要求较高的业务，如智慧园区、工业智能、医疗影像分析等，则需要本地部署，比较适合基于华为云IES进行部署。业务分布广泛的AIoT场景，如零售门店、场站线路巡检、关键装备的远程维护等，此类场景存在各类终端硬件，华为云IEF可以很好地与各类终端硬件进行协同部署。对于强合规监管行业的业务创新场景，比如金融交易分析、创新药研发、能源互联网等，华为云今年内将发布业界独有产品组合:专属Region加IES的方案，为客户提供全栈专属的分布式云。虽然有不同形态的云产品，但前文中提到了，华为云将其打造成为了一朵云。首先，华为云中心Region、IEC、IES等各种交付形态都基于一致的华为云擎天架构，既能做到从中心到边缘的全域调度，又提供极致的软硬协同能力。上层华为云打造了专为“分布式云”设计的华为云瑶光分布式云操作系统，提供“多形态Region”之间的资源统一调度。

【**网智能综合报道】4月8日，2021全球分布式云大会·北京站隆重召开。本次大会致力于推动分布式系统、分布式网络、分布式算力、分布式云原生、分布式数据库、分布式存储、分布式连接、分布式加速等技术与产业深度融合，形成分布式云信息技术发展和服务模式创新，以帮助业内合作伙伴们更好地适应新一轮科技革命和产业变革趋势。安迈云董秘马思远出席大会，并指出，从2018年开始，每年数字经济所带来新增岗位达到6000万，对于整个社会带来了巨大的价值。分布式计算将促进数据成为新的生产要素，赋能传统产业数字化转型，为国家带来延伸性经济增长。马思远提到，“十四五”规划单列篇章提及云计算、大数据、互联网、人工智能、物联网、虚拟现实和增强现实等核心技术。云计算作为多项技术耦合的基础设施，在将资源不断虚拟化的过程中，成为新基建中的重中之重。目前分布式云计算市场，全球投产约三百亿人民币，作为新赛道仍然有大量的市场潜力等待挖掘。高盛预计，2020-2025年是部署数据新基建的红利期，数据中心在中国的年复合增长率可以达到26%。马思远总结到，分布式云计算是现有“云边端”架构的有效补充，是在将现有产业链的优化和延展，在数据隐私、成本弹性等层面具有优势。其平台本质是未来科技企业成长性期权的集合，是数字经济生产边界的演进，是技术契约、私有契约和公共契约的反制和平衡。基础设施之上，无论未来怎样变化，我们所应坚守和规范的不变原则是：经济行为、个人行为和道德行为。安迈云致力于在分布式云计算领域助力底层创新，包括推出针对分布式存储的Open API工具集和矩阵式存储，在未来研发者体验将是衡量下一代高科技公司的重要标准。安迈云作为全球去中心化云计算一站式服务商。提供分布式云计算资源、产品和服务。以卓越的科技能力打造从中心化互联网到分布式互联网的各类解决方案，协同推进数字产业化和产业数字化转型，培育新经济、新技术、新产业。