• 当我们准备做前后端分离项目时,我们在考虑什么?
    本帖最后由 Jay 于 2017-10-11 15:48 编辑几年前做前后端分离项目的原因,是node刚刚横空出世,业界开始考虑如何真正的用js去写后端服务,于是就借鉴阿里中途岛项目去尝试,主要还是用到了node的密集io场景下的转发。 2694我们的新项目是采用前后端分离的方式进行开发,这一点主要是基于产品特点考虑而来,产品本身会有很强的富客户端的特点。我们后端服务面向的客户端包含:iOS,Android,iPad,H5,还有一些游戏场景。所以最好的方式就是后端提供通用的restapi进行数据传输,而前端展示逻辑则交由不同客户端自己实现。前后端分离项目主要基于微服务架构开发,既然是微服务,所以分布式系统所应该面对的问题一个也漏不掉。JAVA微服务开发场景下,SpringBoot可谓神器,我们基于SpringBoot开发了一个可以快速开发的脚手架,脚手架本身包含了常用及通用的基本功能,如auth验证,功能鉴权,Mysql,Mq,Redis及通用配置的依赖,这样开发工程师在需要开发新功能时,直接从对应的代码库拉下来,编译之后便可跑起来一个hello world的restapi项目。剩下的工作就是围绕业务逻辑去写repository,service,controller代码了。通信服务之间的通信主要可以通过HTTP,RPC方式,众所周知RPC调用的效率要高HTTP好几个等级,所以推荐使用RPC,但是综合考虑系统性能及可用性,快速开发等因素,我们也大量使用HTTP进行服务调用,同时我们也通过Golang对一些核心api,比如支付,交易类接口进行了重写,所以需要在系统效率及开发效率之间做好平衡。接口规范虽然是前后端分离项目,大部分是通过restapi方式给客户端暴露数据,但是也不可避免在系统中会存在自己的view页面,所以在api及controller命名上会建立:AuthApi,AuthController,约定大于配置,可以帮助我们后端对不同的请求做隔离和控制。任务类系统项目中不可避免存在大量的任务程序,主要需要做好数据备份,考虑分布式场景下的任务调度,资源分配问题,主要根据场景不同进行开发。我们采用Zk+定时任务自研的调度系统,也可以采用开源的Elastic-Job方案。依赖梳理这个是一个项目开发过程中最重要的一点,梳理好系统上下游所依赖的服务,同时梳理好服务之间的等级关系。依赖关系主要分为两部分:依赖别人,被别人依赖;依赖别人的服务,包含其他系统API及底层的数据库,Redis,MQ等服务,需要做好对方服务不可用的准备,随时做好降级,限流及开关功能,最好做成可配置,自动化。被别人依赖的服务做成高可用,幂等性,响应数据的可读性好等特点。同时对服务依赖性梳理,哪些系统属于强依赖,哪些属于若依赖。不同依赖的标准做好开关,降级,重试等功能,强依赖比如DB挂了,可以写日志,写到MQ。弱依赖可以做成柔性降级,比如写日志到ES中,ES不可用,可以直接降级即可。对于黄金等级服务,则一定保证服务高可用,可以做灾备,比如依赖集群,多个机房,也就是这个服务是不可降级的,必须准备多套方案保证服务可用。关于依赖降级可以使用Hystrix做。用户友好性做好最坏的打算,如果后端服务全部不可用,前端转发问题等,一定不要给用户一个错误页面,一定建立多级缓存,有数据托底,无论如何保证页面上有内容的。总结综上所述,做好工具,梳理好服务依赖,对服务做等级划分,弱依赖可以通过降级,限流方式处理。强依赖则必须通过多种灾备手段保证高可用,不要给用户感到恐慌的页面,要有数据托底。来源:博客园
  • 冷存储也有了云方案
    本帖最后由 小云妹妹 于 2017-9-8 10:04 编辑1. 冷存储及其应用 存储类型的划分,根据用户的访问热度,可以分为冷存储,温存储,冷存储。对于冷存储,通常意味着不会经常被访问的数据,也或许永远不会被访问的数据,但还用户还是希望保留的数据。数据统计显示,全球信息中约85%的数据将会以冷存储的形式存在。 冷存储适用于档案数据、 医疗影像、视频素材、磁带替代、备份等领域。这类数据具有访问频率低、存储量大、单位存储成本要求低等特点。随着存储的在线化,存储也越来越要求可随时访问。例如法律电子取证要求已存档的数据必须在特定的时间范围内可用。因此,这就要求存储服务提供商以及企业必须确保数据的完整性,以及及时的访问权限。 2. 冷存储的私有云方案 冷存储概念在2014年开始热起来,近年大型存储供应商都陆续针对冷存储提供了私有云的解决方案,目前国内的主流存储供应商都提供有私有云的存储解决方案,如华为、浪潮、联想等。 冷存储的核心思路是企业将计算分析业务与数据存储业务分离,当存储服务器的硬件资源主要用于数据存储,数据块为大块数据时,将这些不常访问的“冷”数据,如果我们能把他们迁移到一个专为冷数据而设计的低成本存储层中,将能大幅降低费用。 私有云虽然解决了冷存储的大部分问题,但正如传统模式一样,在没有真正云化的本质下,面临着这样的一些问题: 1) 复杂的采购;2) 实施;3) 维护;4) 昂贵的硬件;5) 前期资本支出; 特别是新兴企业,在面对未来的不确定性,存储的私有云解决方案确实不能算是个完美的解决方案,一方面私有云的固定成本加重了新兴企业的Capex负责,另一方面,复杂的运维管理也对企业的技术管理提出了挑战。 3. 冷存储的新趋势 公有云存储解决方案很好的解决了这个问题,使用华为云的对象存储服务,真正实现了存储的云化(在线、按需、实时),总结起来有以下7点好处:1) 没有大笔硬件开支:公有云按量按时付费,不需要大笔硬件开支;2) 省去了维护成本:因为不涉及到设备维护,不需要培养相关的技术人员;3) 省去了设备占地:因为不需要设备,不需要专门的机方进行放置;4) 高可靠性:华为云的公有云存储,实现了11个9的可靠性保障;5) 无冗余:存储按需分配,需要用多少再买 多少;6) 无限扩容:海量数据,按需扩容7) 不间断服务:存储设备需要相应的升级带来业务中断; 近期,华为云对象存储更是根据不同需求提供了针对性的解决方案,热存储价格为0.159/GB/月;温存储价格为0.08/GB/月;冷存储价格为0.033/GB/月。可以看到,针对冷存储数据,针对性的选择产品,可以大大的将成本降低不到一半的水平。综合华为在私有云存储的产品品质积累,各中小企业在遇到冷存储的需求时,建议考虑选择华为云对象存储OBS的冷存储产品。 华为公有云存储产品价格:http://support.hwclouds.com/pro_price/#mod_price_04 立即体验华为云
总条数:1405 到第
上滑加载中