• [上云精品] 【云端大事件】上海宽数EDF入驻华为云市场,助力数字化转型
    本帖最后由 Broaddata 于 2018-3-30 17:54 编辑2018年年3月30日,上海宽数EDF产品正式入驻华为云市场,在华为云市场发布了数据智能产品,能够提供大数据集成、数据治理、数据管理、数据检索、数据敏捷分析等数据智能的能力,帮助企业和用户快速便捷解决构建新一代企业级数据仓库难的问题。这款产品有哪些功能,又如何使用呢?一起来了解一下。 一、产品介绍 上海宽数倾力打造的企业大数据智能平台EDI (Enterprise Data Intelligence),以建设企业数据PaaS层为切入点, 帮助企业/机构快速构建新一代数据仓库和基于其上的数据产品,帮忙企业在DT时代快速数字化转型,实现数据智能,对接人工智能。EDI平台基于目前业界领先的大数据技术和理念,融合结构化、非结构化数据,实现了统一的数据架构(Unified Data Architecture)。通过部署EDI,快速的让企业/机构拥有大数据处理的能力,帮助用户在单一平台下,实现对海量数据、全类型数据、外部数据的存储归档、搜索访问、计算加工、价值挖掘、安全控制、以及数据资产全生命周期管理。 二、产品功能及特点 上海宽数的大数据智能平台EDI通过把:现代化的数据基础设施,所有数据之间的关联融合,企业对数据加工、服务的需求,进行统一的封装,构建一个企业大数据集成和管理的PaaS平台,减少用户对于数据技术的直接使用。 数据底层通过丰富的数据适配器,采用配置式的、自由组合的方式,适配各类现代化数据基础设施。通过统一的数据采集配置,统一调用数据基础设施,融合关联所有数据。 数据应用层通过统一的数据API,向数据应用提供透明访问的数据服务,保证数据安全的同时,减少使用数据技术的复杂性。 数据PaaS层剥离数据源和数据应用的复杂性,构建强大的数据管理中台,提供数据管理的各种工具。在数据管理中台,实现一体化的数据架构,在统一管理界面下,实现对海量异构数据的数据治理、存储归档、信息组织、搜索访问、安全控制、分析可视化、以及数据挖掘等。EDI平台在架构体系层面具有一下一些特点及优势。 高可扩展设计基于PC服务器的简单快速部署的,无需购买昂贵的传统数据仓库软件和硬件。分布式计算和存储架构,增加服务器即可获得系统性能的线性增长。 高可适应设计适用小数据量到海量大数据项目,部署可以从3台物理机开始到超大集群,项目启动快。可以根据用户的数据量级和不同的数据类型,选择适合的基础设施,如:海量价值密度低的RFID数据可以选择Hadoop作为数据仓库,而高价值密度的业务数据可以选择GreenPlum作为数据仓库等。 统一数据架构UDA融合了结构化和非结构化数据的管理,实现了统一数据架构UDA(Unified DataArchitecture),结构化数据和非结构化数据在一个统一的数据模型-数据对象(Dataobject)下管理。  数据高可用性和丰富API实现全数据的全文检索,同时支持基于SQL的数据查询分析。提供丰富的数据服务API,包括元数据服务,数据搜索服务,数据聚合服务,数据任务调度等。外部数据应用要使用和共享数据,可以调用已经注册的API服务。  统一元数据管理和全面数据治理提供统一的元数据管理工具,全面管理数据各类信息,包括类型,位置和访问信息,数据格式,数据血缘等。提供全面数据治理功能,实现数据的标准化,编码的标准化和映射,数据质量检查等。  统一数据加工框架提供了一个统一的数据加工的框架,实现了任务调度,任务执行,运行结果显示等。目前支持以下任务: 数据批处理任务,指标计算,标签计算,关系发现,音视频文件语音识别等。 数据安全支持灵活的用户权限管理配置,通过用户、组、角色进行多方位的用户权限管理。提供统一的数据安全模型,对所有数据的访问提供灵活定义的访问控制。记录所有关于数据访问的安全审计信息,以满足未来数据安全审计的要求。 三、产品应用于哪些行业 EDI平台应用于各行各业进行数字化转型,包括公安、政府、教育、制造、电商等。可应用的邻域包括: 大数据管理平台 大数据采集工具 大数据处理工具 大数据分析建模 大数据业务咨询 政务网应用 业务基础及应用开发 人工智能应用开发 四、产品能够解决什么问题 EDI平台帮助企业在DT时代迅速拥有数据能力,快速实现数字化转型: 海量业务数据分析: 更快的SQL查询、数据批处理 和 BI 报表 全类型数据全文检索: 类似“企业百度”,快速搜索企业全量,全类型数据 全面数据治理: 元数据管理,数据标准,数据质量,数据资产清单等 统一数据加工:数据清洗,指标/标签计算,关系发现,音视频文件/文本分析等 数据挖掘:预测,分类,关联分析,深度学习,挖掘数据价值等 数据API:给业务系统,BI系统,AI系统提供API服务,实现企业内数据共享 数据产品: 基于平台快速构建新的数据产品,如360度数据画像(客户,员工,设备等),推荐系统,…
  • [下午茶时光] 【Day 43--2018/3/23】基于新型存储的大数据存储管理
    本帖最后由 Sabrina 于 2018-3-28 15:15 编辑 13236【下午茶时光——业界热点陪你喝咖啡】基于新型存储的大数据存储管理1 引言大数据已经成为目前的一个研究热点。如何改进现有的数据存储与管理技术或者设计全新的体系结构,以满足大数据应用中的大数据量和高速数据流实时处理需求,是大数据技术中的核心问题之一。如果采用传统数据库管理系统(database management system, DBMS)的集中式数据存储方式,大数据存取性能就会受到极大的影响。Hadoop技术虽然提供了对大规模数据的快速、低成本存储和管理,但它是一个离线、批量的数据处理系统,对于实时数据处理与分析的支持较弱,难以满足许多应用的要求。例如,在城市公共安全中,通常要求能够对高达每秒几千帧的高清监控视频流进行实时处理与分析。但目前在传统计算体系结构下,单台计算机只能支持每秒150~300帧的低分辨率图像实时异常事件检测。如果要做进一步的目标识别,根据目前的处理技术,性能将下降到每秒16帧左右,远远不能满足每秒几千帧高清图像的实时处理要求。因此,迫切需要研究能够满足大数据高效存储与实时处理的新型体系结构与新方法。针对大数据高效存储与管理问题,目前除了Hadoop技术之外,学术界和工业界也提出了一些其他的设计,包括以NoSQL数据库为代表的大规模分布式数据库系统设计、基于动态随机存取存储器(dynamic random access memory, DRAM)的内存数据库技术等。但现有的NoSQL分布式数据库技术仍以磁盘存储或者“磁盘+闪存(flash memory)”混合存储的方式存储数据,本质上还是传统的“CPU-DRAM-二级存储”的存储架构,依然存在着内存和磁盘之间的“存储墙”问题,难以从本质上解决大数据实时存取的问题。此外,由于DRAM能耗和成本较高,也限制了其在大规模数据处理中的应用。过去5年来,闪存作为新型存储的代表性技术取得了快速发展,对现有的数据管理技术提出了极大的挑战,同时也带来了许多新的机遇.但是,闪存由于其存取方式(按页)、存取性能(1次存取通常需要约2[17个CPU时钟周期)的限制,仍适合作为二级存储器。基于闪存的数据管理只是优化了I/O延迟,并没有从本质上改变计算架构。除了闪存之外,近年来另一种新型存储介质——相变存储器(phase change memory,PCM)引起了学术界和工业界的广泛关注。与闪存相比,PCM可以被CPU直接按位存取,而且存取性能更高。因此PCM可以与DRAM一样与CPU交互。但与DRAM相比,PCM存储具有非易失性,能够进行持久的数据存储。传统硬盘基于磁性存储机理存储数据,闪存基于微型电容储存电荷的机理存储数据,存储密度都有理论上限,而PCM基于微型相变单元存储数据的机理使其能够迅速超越固态盘的存储密度,并且在未来还有更大的提升空间。IBM公司把PCM这一类具有DRAM的存取性能,同时又具有持久存储能力的介质称为存储级主存(storage class memory,SCM)。PCM等存储级主存以其非挥发、存储速度快、易实现高密度等技术特点,在高速与海量存储方面具有巨大的潜能,已被认为是下一代非易失存储技术的发展方向。另外,因该技术兼有DRAM的高速随机访问和闪存的非易失特性,模糊了主存和外存的界限,有望突破原有的存储架构,实现更高性能的存储。因此,如果能够利用PCM等新型存储器件设计出适合大数据存储与管理的新型存储架构(如图1所示),同时设计新的分布式多节点存储技术,则可以将大数据存取集中在DRAM和PCM上,充分发挥DRAM和PCM的高性能特性以及PCM的随机存取和非易失优点,而且可以利用分布式多节点存储的优势建立高扩展的大数据存储系统,从而有望彻底解决大数据存取中的性能与容量问题,为大规模的大数据分析与应用提供有力的支撑。图1 引入PCM等存储级主存后的存储体系结构目前,公共安全、智能交通、物联网等许多应用都要求实现大数据的实时存取。但是,现有的Hadoop等技术还很难达到这一目标,主要的困难在于无法提供低延迟、高吞吐的大数据实时存取能力。新型存储的出现为解决这一难题提供了可能。首先,PCM等非易失内存的出现为实现大规模的内存计算奠定了基础,使得人们有可能在内存中支持高并发的事务处理,而不需要传统DRAM导致的大量I/O操作,从而实现低延迟的大数据存取。其次,借助基于新型存储的分布式内存文件系统等技术,可以大规模提升外存和内存的写吞吐速率。本文综述了基于新型存储的大数据存储管理技术,分析了现有大数据存储技术的局限性,介绍了新型存储的特点和发展概况,总结了基于新型存储的大数据存储架构、基于新型存储的大数据存储管理等方向的研究现状,在此基础上给出了基于新型存储的大数据存储与管理的若干未来研究方向。2 大数据存储技术2.1 常见的大数据存储技术目前,大数据存储一般采用分布式存储技术,主要应用在NoSQL数据库系统中。现有的主流的NoSQL数据库系统,例如文档数据库系统MongoDB、列存储数据库系统HBase、内存数据库系统Redis等,均采用了分布式集群架构实现大数据的存储。也有一些分布式数据库系统在存储架构设计上考虑了异构存储的特性,例如RAMCloud和RethinkDB,从而有效提升了系统的存取性能。但是,现有的大数据存储技术还存在着以下的局限性。[*]以NoSQL数据库为代表的大规模分布式数据库系统设计了基于磁盘存储的读写方式、索引结构、查询执行、查询优化、恢复策略,但是磁盘固有的读写性能差等弊端限制了大数据存取尤其是大数据分析性能的提升。 [*]在以Hadoop分布式文件系统(Hadoop distributed file system,HDFS)为代表的大规模分布式文件系统中,虽然它们提供了大数据的存储支持能力,但由于这些文件系统在设计时并没有考虑对实时、高性能的数据处理的支持,因此无法满足日益增长的大数据在线分析的需求。此外,随着数据量的急剧增加,元数据的大小也急剧增加,传统的元数据架构、元数据备份管理、元数据动态负载均衡等越来越难适应大数据应用需求。 [*]基于DRAM的内存数据管理技术旨在通过海量的内存提高大数据的处理性能。但是,由于DRAM本身能耗高、价格相对昂贵,使得构建基于大内存的大数据存储集群在环境支持、成本上存在较大的困难。此外,DRAM的掉电易失特性导致的大数据环境下的数据一致性也是一个棘手的问题。2.2 新型存储技术鉴于磁盘存储、内存存储在面临大数据管理与分析时的困难,学术界和工业界开始将目光转向新型存储技术。目前,从技术成熟度和应用前景上看,闪存和相变存储器最有可能形成大规模应用,因此也吸引了国内外学者的关注。闪存是一种可以被电子化擦除和重写的非易失性存储设备。基于闪存的固态盘(solid state drive,SSD)是目前市场上常见的闪存存储设备。与传统的磁存储介质相比,闪存具有传输速率高、低延迟、低能耗、低噪音、抗震等优良特性。同时也有一些特殊性质:写前擦除,对闪存的写操作不是简单地改变某个二进制位,而是需要将整个擦除块的所有二进制位置改为1,这带来了闪存的读写不对称性,一般采用异地更新的方式缓解写前擦除带来的延迟,减少读写不对称带来的影响;寿命限制,目前企业级闪存能耐受3万次写循环,消费级闪存仅为3 000次;读写与擦除的单位不一致,一个擦除块中包含若干个闪存页,擦除的单位是一个闪存擦除块,读写的单位是闪存页。相变存储器是一种非易失类型的存储器,由硫系玻璃材质构成。由于这种材质的特质,通过施以电脉冲热,它可以在非晶态和多晶态这两种状态之间进行切换。PCM兼具速度快、耐用、非挥发性和高密度性等多种优势,其读写数据和恢复数据的速度是闪存的100倍。随着云计算和物联网等新一代信息技术的涌现,对海量存储系统的低能耗、高速及高可靠性的需求日益凸显,以新型存储取代传统存储介质的呼声越来越高,而PCM有望成为未来新型存储的主要技术。与DRAM、闪存等存储介质相比,PCM具有非易失性、存取速度快、节能、可字节寻址、写寿命长等优点。韩国三星(Samsung)公司与美国美光(Micron)公司是目前在PCM技术方面较为领先的两家公司,其中三星公司开发出的65 nm制程、512 MB容量的PCM芯片已投入量产,并应用在三星公司的手机存储卡中;同时三星公司已经推出了20 nm制程、8GB容量的相变内存颗粒。美光公司已经成功研制了45 nm制程、1GB容量的LPDDR2接口的PCM芯片产品,并已经量产。我国中国科学院上海微系统与信息技术研究所近年来也研制了中国自主知识产权的PCM芯片(8 MB),为研制我国自主产权的新型存储系统奠定了基础。此外,华中科技大学自2007年开始研究高密度低功耗的电阻式相变存储器、相变存储器功能芯片、相变存储器芯片的关键材料以及相关专用测试设备等,已经自主研制出具有简单读、擦、写功能的相变存储器功能芯片。总体而言,传统的磁盘存储技术在大数据存储与管理方面面临着严重的性能瓶颈。内存数据管理技术由于价格、容量以及易失等特点难以作为PB级大数据存储的最终解决方案,但在大数据存储与管理中可以借鉴内存数据处理的一些思路。闪存、PCM等新型存储器件提供了高性能、非易失的数据存储支持。从目前的技术发展现状看,PCM是现有最为成熟,且性能、容量与DRAM最为接近的存储技术。PCM以其非挥发、存储速度快、易实现高密度等技术特点以及与CMOS工艺兼容性好、易于与CPU集成形成片上系统(system on chip,SoC)芯片等优点,具有广泛的应用前景。3 大数据存储架构新型存储的出现为构建新的大数据存储架构提供了可能。目前,学术界针对基于新型存储的大数据存储架构提出了多种设计,包括基于PCM的主存架构、基于闪存的主存扩展架构、分布式存储与缓存架构等。3.1 基于PCM的主存架构PCM与闪存相比,其存取延迟更短,而且可以直接按位存取,因此能够被CPU直接存取,更适合作为DRAM的扩展。与DRAM相比,PCM具有非易失性特点,因此适合存储文件等静态数据。总而言之, PCM可以看作兼有DRAM和闪存的优点。从存储架构设计的角度来看,PCM既可以作为主存使用,也可以作为外存使用。但由于PCM的可字节寻址特性(与闪存不同),目前学术界对基于PCM的主存架构研究相对较多。在利用PCM替代DRAM方面,理论上可以有两种架构,即纯PCM主存架构和DRAM/PCM混合主存架构。在纯PCM主存架构中,PCM完全替代DRAM作为唯一的主存,而在DRAM/PCM混合主存架构中,DRAM和PCM共同作为主存。在后一种架构中,又存在着两种可能的设计:一是将DRAM作为PCM缓存的层次架构,另一种是DRAM和PCM并列的平等架构。目前,大多数的研究都假设DRAM/PCM的混合主存架构。研究者针对DRAM/PCM的混合主存架构,提出了多种PCM写操作优化以及负载均衡算法。由于PCM的写次数有限制,因此如何在混合主存中减少PCM上的写操作是目前的研究重点。基于PCM的主存架构为实现大数据的实时处理提供了可能。首先,PCM的低能耗特性使得在集群系统中使用大量的PCM存储代替DRAM成为可能,从而降低系统成本。其次,PCM的持久存储特性可以通过设计有效的算法提高分布式存储环境中的数据一致性。第三,PCM的高密度特性可以为内存计算提供有力的支持。3.2 基于闪存的主存扩展架构闪存是目前相对较成熟的新型存储技术。基于闪存的SSD已经大量装备在服务器上,成为企业级存储解决方案中的重要组成。由于闪存的整体存取性能优于磁盘,因此理论上可以借助闪存提升大数据存储和管理的性能。在早期的一些研究工作中,研究人员往往假设未来存储系统中闪存可以完全替代磁盘作为外存,但是,由于闪存的读写不均衡特性以及寿命问题,目前实际的系统中往往是DRAM、闪存和磁盘共存。在DRAM、闪存、磁盘共存的存储架构下,闪存通常作为主存的扩展,即作为DRAM和磁盘之间的中间层,提升大数据存取的性能。SSDAlloc是基于闪存的主存扩展系统,它将闪存作为磁盘的缓存,实现了系统整体性能的提升。也有一些学者提出了将闪存作为虚拟内存,在DRAM容量不够的情况下,将闪存作为虚拟内存设备进行页面交换。由于闪存性能总体优于磁盘,因此这种以闪存作为虚拟内存的架构理论上在大数据应用场景下性能优于传统的DRAM+磁盘的架构。对于大数据处理而言,基于PCM的主存扩展总体上比基于闪存的主存扩展更具可行性。这是因为大容量的闪存本身仍然采用按页存取的方式,与CPU按位存取模式之间存在不一致性,而且在存取性能上PCM也高于闪存,因此更有望减小与CPU之间的性能差距,构建能够充分发挥CPU、DRAM和PCM各自优势的高性能数据处理系统。3.3 分布式存储与缓存架构目前,基于分布式观点的数据管理是大数据存储与管理研究中的一个热点。一种观点是将闪存应用于分布式文件系统中进行元数据存储。元数据对于整个大数据管理系统的性能起着决定性作用,对于大数据解析、大数据统计、大数据操作优化等起着重要作用。基于闪存的分布式文件系统元数据管理的基本思路是在元数据服务器(metadata server,MDS)上使用SSD作为存储设备加速文件系统,如参考文献在Lustre分布式文件系统架构中的元数据服务器上使用闪存作为存储介质,加速元数据的读写速度。此外,基于Memcached的内存分布式缓存技术也被广泛用来加速大规模数据的访问,而在更为复杂的大数据环境下,其局限性主要体现在:一方面内存分布式缓存受限于集群内存容量,只能服务容量较小的热点数据,会造成性能下降;另一方面,如果采取扩大集群内存容量满足更多数据缓存需求,会带来高额的成本和巨大的能耗。现阶段解决方法是将小容量、高I/O负载的缓存处理与大容量、中低等I/O负载的缓存处理分离,形成“热缓存”与“冷缓存”的缓存策略,其中在“冷缓存”方面主要采用了闪存技术。例如,Facebook设计了基于闪存的键—值存储系统McDipper,代替Memcached为大量访问频率较低的图片提供缓存服务,降低成本和能耗,为了减少闪存I/O延迟,将闪存层分成两个区域,一个区域存放数据,另一个区域配置散列桶存放键值数据的指针,并将散列桶元数据放入内存。分布式存储技术将是解决大数据存储与管理问题的主要途径之一。一方面是由于Hadoop分布式技术已经为现有的大数据管理提供了一种行之有效的存储方案,而且已经在Google、Facebook等公司的实际应用中得到了验证,为大数据未来研究提供了有用的借鉴;另一方面也是因为在大数据应用中数据来源、用户等本身存在天然的分布特性,适合采用分布式存储技术。4 大数据存储管理闪存、PCM等新型存储的物理特性、读写特性等均与磁盘有着非常显著的不同,而目前已有的大数据数据库,其设计理念均是基于磁盘存储,在面对闪存、PCM等新型存储时,并不能最大限度地发挥新型存储的性能。目前,在基于新型存储的大数据存储管理方面也有一些研究工作。在基于PCM的存储管理方面,Ramos L E等人提出了一种针对DRAM/PCM混合主存的硬件驱动的页面置换策略。该策略依赖一个内存控制器(memory controller,MC)监控内存页面的使用频率和写密集程度。MC在DRAM和PCM之间进行页面迁移,保证性能攸关的页面和频繁写的页面保存在DRAM中,而性能不太敏感以及很少写的页面存储在PCM中。Qureshi M K等人提出了一个层次型混合主存系统。他们将DRAM设计为CPU和PCM之间的缓冲区。所有的数据页都存储在PCM中,只有当DRAM发生页面置换或者需要访问新的页面时系统才存取PCM。Wu Z L等人在PCM存储管理方面也提出了动态桶列表(dynamic bucket list)以及写敏感的混合时钟存储管理方法。索引作为优化数据存取性能的重要技术,是数据存储管理中的关键问题之一。传统的B+树索引在数据库系统和文件系统中被广泛应用,近年来在云计算、位置服务等应用中也有一些针对B+树的优化工作。虽然B+树具有很好的搜索性能,但它常常导致较高的更新代价。在面向闪存的数据库领域,研究人员提出了多种针对B+树的改进设计,例如μ*-Tree、BF-Tree、LA-Tree、HashTree、BloomTree等。这些方法以减少对闪存的写操作为主要目标,采用了利用溢出节点延迟更新、利用额外的缓存节点的更新等方法,最终减少B+树叶节点的更新次数以及索引的合并和分裂操作。虽然目前在基于闪存的索引设计方面已经有了不少的工作,但由于在大数据存储中引入了PCM等其他类型的新型存储介质,而且在计算架构上产生了根本性的变化(闪存定位在二级存储,而PCM则可以用于直接的内存扩展),因此,近年来研究人员也探讨了针对PCM的B+树索引优化问题。Chen S M等人最早在2011年的国际创新数据库研究会议(International Conference on Innovative Database Research,CIDR)上测试了B+树在采用了PCM主存技术的服务器上的性能。其研究结果表明,当PCM技术应用到数据库服务器上后,因其具备高速随机访问特性,传统的索引技术应进行新的设计。他们在后续的工作中继续研究了针对PCM等非易失内存的B+树索引结构,类似的工作还有Hu W W等人提出的BP-tree、Chi P等人提出的写优化B+树以及Li L等人提出的面向PCM的读写趋势感知的CB+-tree索引。这些工作基本都采用了针对PCM特性优化传统的B+树的思路。5 未来研究展望5.1 基于新型存储的大数据存储架构以PCM为代表的新型存储技术进一步提升了非易失存储的性能极限。PCM类似于DRAM的高速随机访问模式使其有机会直接与CPU连接,而其高密度潜力也使它能够适应大数据时代的容量需求。当存储静态数据的非易失存储允许CPU通过直接寻址的方式访问时,存储体系的进化不仅仅带来性能的大幅提升,同时还将改变应用程序访问数据的方式。由于PCM等存储级主存能够直接支持随机读写,因此可以将其与DRAM共同连接于主存控制器上,与DRAM实现统一编址,CPU可直接寻址到PCM的任何地址。由于计算机系统的系统集成度较高、构成复杂,不易完成架构改动,因此基于新型存储的大数据存储架构可以采用嵌入式系统方式构建验证用的硬件平台,在平台上直接实现新存储架构及相应软件,从而能够准确地评估新存储架构带来的性能优势。通过搭建新型嵌入式存储架构软硬件验证平台,实现对存储系统的硬件级访问检测,为验证软件系统性能提供准确的数据。5.2 基于新型存储的分布式内存文件系统PCM等存储级主存的出现及应用打破了传统的硬盘驱动器(hard disk drive,HDD)/SDD+DRAM的存储架构,为适应PCM等存储级主存PCM和DRAM共存的新存储架构,需研究新型的可支持以内存访问形式访问各种文件数据的新型文件系统。同时,由于大数据时代数据一般需要分布式存储与计算,因此在文件管理上还需要考虑对分布式环境的支持。因此,需要结合新型存储架构和分布式环境的需求,研究新型的大数据文件系统。该方向的一些研究要点包括以下几方面。(1)支持新型存储架构的单节点文件系统单节点文件系统是研制分布式随机访问内存文件系统的基础,具体包括新型存储架构下的文件原位访问技术、文件系统管理与控制技术、基于新型存储架构的内存管理机制等。(2)支持新型存储架构的分布式文件系统本地节点的数据访问仅能够提升应用程序访问本地数据时的效率。分布式存储技术可以基于新型存储架构搭建支持海量数据存储的分布式环境,从而满足大数据存储的容量需求。因此,将单节点文件系统向多节点扩充,完成支持新型存储架构的分布式内存文件系统,是实现基于新型存储的大数据存储管理的关键,研究要点包括分布式文件系统虚拟访问接口、基于统一寻址的分布式文件管理技术、存储空间的全局划分和寻址技术等。5.3 基于新型存储的大数据管理PCM等存储级主存给存储与计算架构带来了极大的挑战,包括异构存储上的数据分配与调整机制、异质缓存管理机制、基于新型存储的大数据索引技术等。(1)基于新型存储架构的数据存储分配与调整机制由于DRAM、PCM、SSD/HDD等多种存储介质同时用于数据存储,因此需要研究一种自适应的多粒度数据存储分配机制。具体而言,该机制首先根据数据访问频度将数据划分为3种状态:热(hot)、温(warm)、冷(cold),然后根据数据的状态进行存储分配与调整。所谓多粒度是指在存储分配时,同时采用文件和页两种粒度。在PCM与SSD/HDD之间进行数据分配时,PCM作为持久存储介质,采用文件粒度进行数据分配;在DRAM与SSD/HDD之间进行数据分配时,DRAM作为缓存,采用页粒度进行数据分配;在DRAM与PCM之间进行数据分配时,以键值记录粒度进行数据迁移和交换。在数据存储调整方面,一种可能的方法是基于应用对数据的访问模式变化,自适应、动态地调整数据存储策略。访问模式的度量基于数据的访问频度以及存取方式(读/写)两类因素,通过周期性考察的方法确定当前数据访问模式的变化程度,并基于访问模式的变化程度确定是否重新执行数据存储分配。一旦确定了新的数据存储分配策略,将对相应的数据进行介质之间的迁移操作。(2)基于新型存储架构的异质缓存管理数据缓存是传统数据库领域中的核心技术之一,它对于提升系统存取性能有着非常重要的作用。在大数据环境下,由于数据量的急剧增加,数据缓存的重要性尤为突出,因为如果让每个应用直接在全部的大数据上运行将很难保证访问性能。目前一种普遍的观点认为,虽然大数据环境下数据量很大,但对一个具体应用而言,涉及的只是大数据集合中的一部分(小数据)。但是,在新型存储架构下,数据存储涉及了DRAM、PCM、SSD等具有完全不同访问特性的存储介质,在缓存层也同样面临着多种介质共存的局面,例如数据既可以缓存在DRAM中,也可以缓存在PCM中,甚至也可以缓存在SSD中。这类异质缓存管理问题是传统数据缓存研究中不曾面临的新问题,也是构建基于新型存储的高效大数据管理系统的关键所在,需要首先分析异质缓存管理中的普遍性问题,阐明异质缓存管理的一些新的准则,在此基础上研究新的方法。(3)基于新型存储架构的大数据索引在传统的基于“DRAM+SSD/HDD”的存储架构下,DRAM与外存之间的I/O是影响系统查询处理性能的瓶颈。但在基于新型存储架构的大数据应用系统中,索引的设计不仅要考虑内外存之间的I/O代价,还要考虑异质内存之间的数据迁移代价(从DRAM到PCM以及从PCM到DRAM),此外还要考虑PCM等新型存储的器件特性(例如芯片写次数有限制)。另一方面,大数据应用系统往往构建在分布式环境之上,由于数据的分布以及涉及的数据量过大,传统的单一索引机制不能从根本上解决问题。因此,需要针对新型存储和分布式查询处理要求,设计相应的大数据索引结构以及操作算法。6 结束语高效的大数据存储与管理如果仅从软件体系结构考虑很难取得本质性突破,因为在大数据环境下内存与外存之间的I/O瓶颈很难克服。以PCM为代表的新型存储为大数据高效存储与实时处理提供了可能。研究适合高效大数据存储和管理的新型存储架构,借助创新的系统软件设计,改变大数据处理过程中对外存I/O的依赖,有望克服目前大数据存储与管理中的性能瓶颈,并进一步带动大数据技术的未来发展。本文讨论了新型存储的特点以及现有大数据存储技术的局限性,在此基础上综述了基于新型存储的大数据存储管理领域的研究现状,最后给出了未来研究展望,以期能对新型存储与大数据管理的未来研究提供有价值的参考。目前,由于非易失内存技术仍处于研发阶段,工业界还没有推出真正可用的新型存储系统,因此目前的研究还只能在新型存储模拟器上展开。随着非易失内存芯片工艺上的突破,预计几年内会出现可用的新型存储系统。届时,可以基于实际的平台开展理论和实验,对基于新型存储的理论研究成果进行验证。本文转载自《大数据期刊》作者:BDR
  • [公告] 华为云EI·大数据MRS服务又发福利,发布两节点小集群!
    1.99元能买什么?一瓶矿泉水?两个鸡蛋?三个馒头? 什么?专业级大数据服务?! #华为云#EI·大数据MRS服务发布两节点集群,价格最低低至1.99元每小时! 本次大数据MRS服务支持2节点小集群:在创建集群的时候可以配置Master节点是否开启HA,在关闭HA的时候,只需要申请一台节点作为集群的管理节点,从而大量节省成本。成本降低的同时,集群中包含的组件并没有减少,仍然包含大数据处理的全套组件,如Hadoop、HBase、Hive、Spark、Kafka等等。单Master节点集群,让客户灵活配置集群节点,为企业使用大数据提供更多便利。 13237
  • [下午茶时光] 【Day 41--2018/3/22】超融合架构的本质之层次存储
    13083 【下午茶时光——业界热点陪你喝咖啡】 超融合架构的本质之层次存储 本篇文章将进一步解释在超融合架构中,层次存储为什么是提升数据的I/O性能的最好选择。首先,让我们追溯到现代计算机体系结构中,解决系统性能瓶颈的关键策略:Cache。现代计算机体系结构是基于冯·诺依曼体系结构构建的,冯.诺依曼体系结构将程序指令当做数据对待,程序和数据存储在相同的存储介质(内存)中,CPU通过系统总线从内存中加载程序指令和相应的数据,进行程序的执行。 13080 冯·诺依曼体系结构解决了计算机的可编程性问题,但是带来了一个缺点,因为程序指令和数据都需要从内存中载入,尽管CPU的速度很快,却被系统总线和内存速度的限制,不能快速的执行。为解决这个问题,Cache的理念被提出,通过在CPU和内存之间加入更快速的访问介质(CPU Cache),将CPU经常访问的指令和数据,放置到CPUCache中,系统的整体执行速度大幅度提升。 I/O性能瓶颈问题转移到了存储 如果内存的访问速度相对CPU太慢,那么磁盘的I/O访问速度相对CPU来说就是“不能忍”了。下表是不同存储介质的访问延时,在虚拟化环境下或云环境下,由于I/O基本都是随机I/O,每次访问都需要近10ms的寻道延时,使得CPU基本处于“等待数据”的状态,这使得核心业务系统运转效率和核心应用的用户体验都变得很差,直观的感受就是业务系统和桌面应用“很卡”。 参考:http://norvig.com/21-days.html#answers13081 基于SSD构建平衡系统 和前人解决内存访问延时问题的思路类似,现在的主流方法是使用内存和SSD作为Cache来解决I/O性能瓶颈。存储系统能够分析出数据块的冷热程度,将经常访问的数据块缓存到内存和SSD中,从而加速访问。不论是全闪存存储,还是混合介质存储,从某种意义上讲都是层次存储,只不过混合阵列多了一层磁盘介质。学过计算机体系结构的人都听说过著名的Amdahl定律,这里我们要介绍一个Amdahl提出的“不那么著名”的经验法则:在一个平衡的并行计算环境中,每1GHz的计算能力需要1Gbps的I/O速度与之匹配。 假设一台服务器有2颗E5-4669 v3的CPU,每颗CPU有18个核,36个超线程,主频是2.1GHz,那么我们可以计算一下,这样的一台服务器需要151Gbps (即~19GBps)的带宽。在大规模的云计算(虚拟机算)环境中,极端情况下,大量的I/O并发使得存储收到的I/O都变成随机I/O,在这么一个并发环境中,假设我们的访问大部分都是8KB的读写,根据上面的计算,我们需要为一台服务器配备近250万的IOPS读取速度。在不考虑系统总线的情况下,如果我们用SAS/SATA硬盘来提供这个IOPS,即使每个SAS/SATA盘可以提供近250的IOPS(实际数值更小),仅为构建一台平衡的服务器计算存储环境,就需要大概1万个SAS/SATA硬盘。在稍大规模的虚拟化环境,想要搭出一个平衡的系统,用传统的SAS/SATA硬盘几乎不可能完成任务。但是如果采用能够提10万“写IOPS”的SSD设备,25块SSD就够了。 层次存储的优势 “层次存储”是相对“全闪存”而言,是指将容量大但是速度较慢的HDD和速度快的SSD同时构建在系统中,通过数据的访问特性,将经常访问的热数据放置在SSD中,而冷数据放置在HDD中。 首先,为构建一个平衡的虚拟化环境,需要大量的SSD设备来提供足够的IOPS。但是SSD也不是完美的。目前的SSD擦写次数有限、价格高。层次存储将热数据放置在SSD层中,而大量的冷数据仍然放置在SATA硬盘上,热数据周期性的同步到HDD硬盘,既为用户热数据提供了高IOPS的保障,也通过SATA硬盘提供了更大的容量和可靠性。下图是对11个开发人员桌面负载的I/O统计,包含了对5.1TB大小的存储上的76亿次IO访问和28TB的数据传输。首先值得注意的是,有3.1TB(62%)的数据,在一年内从来没有被访问过,这意味着这些数据无论是放置在SSD上,还是SATA上,甚至放到U盘上拔走,对系统都没有影响。 图引自:《The 80/20 rule… for storage systems》by Andy Warfield13082 作者:佚名来源:SmartX超融合
  • [下午茶时光] 【Day 38--2018/3/19】带你快速读懂块存储、文件存储、对象存储
    本帖最后由 KING 于 2018-3-19 15:29 编辑12719 【下午茶时光——业界热点陪你喝咖啡】 带你快速读懂块存储、文件存储、对象存储 产品和市场需求有各种相互影响的关系,但不管是哪一种,最终呈现都是产品和应用需求需要对应匹配。应用需求越多样化,市场也就划分得更加细,产品种类也就更加丰富。在存储行业,我们也可以从“应用适配”这个角度来聊聊各类存储。 传统认知上来说,IT设备分为计算/存储/网络三大类,相互之间是有明显的楚河汉界的。计算大家都清楚,服务器,小型机,大型机;网络也就是路由器交换机;存储有内置存储和外置存储,最常见的就是磁盘阵列。在HCI(超融合)这个概念没被热炒之前,计算网络存储还都是泾渭分明,各担其责的。今天我们先不讨论超融合的情况,仅基于传统理解,看看存储的情况。从逻辑上存储通常分为块存储,文件存储,对象存储。这三类存储在实际应用中的适配环境还是有着明显的不同的。 12720 块存储(DAS/SAN)通常应用在某些专有的系统中,这类应用要求很高的随机读写性能和高可靠性,上面搭载的通常是Oracle/DB2这种传统数据库,连接通常是以FC光纤(8Gb/16Gb)为主,走光纤协议。如果要求稍低一些,也会出现基于千兆/万兆以太网的连接方式,MySQL这种数据库就可能会使用IPSAN,走iSCSI协议。通常使用块存储的都是系统而非用户,并发访问不会很多,经常出现一套存储只服务一个应用系统,例如如交易系统,计费系统。典型行业如金融,制造,能源,电信等。 12721 文件存储(NAS)相对来说就更能兼顾多个应用和更多用户访问,同时提供方便的数据共享手段。毕竟大部分的用户数据都是以文件的形式存放,在PC时代,数据共享也大多是用文件的形式,比如常见的的FTP服务,NFS服务,Samba共享这些都是属于典型的文件存储。几十个用户甚至上百用户的文件存储共享访问都可以用NAS存储加以解决。在中小企业市场,一两台NAS存储设备就能支撑整个IT部门了。CRM系统,SCM系统,OA系统,邮件系统都可以使用NAS存储统统搞定。甚至在公有云发展的早几年,用户规模没有上来时,云存储的底层硬件也有用几套NAS存储设备就解决的,甚至云主机的镜像也有放在NAS存储上的例子。文件存储的广泛兼容性和易用性,是这类存储的突出特点。但是从性能上来看,相对SAN就要低一些。NAS存储基本上是以太网访问模式,普通千兆网,走NFS/CIFS协议。 12722 对象存储概念出现得晚一些,存储标准化组织SINA早在2004年就给出了定义,但早期多出现在超大规模系统,所以并不为大众所熟知,相关产品一直也不温不火。一直到云计算和大数据的概念全民强推,才慢慢进入公众视野。 前面说到的块存储和文件存储,基本上都还是在专有的局域网络内部使用,而对象存储的优势场景却是互联网或者公网,主要解决海量数据,海量并发访问的需求。基于互联网的应用才是对象存储的主要适配(当然这个条件同样适用于云计算,基于互联网的应用最容易迁移到云上,因为没出现云这个名词之前,他们已经在上面了),基本所有成熟的公有云都提供了对象存储产品,不管是国内还是国外。对象存储常见的适配应用如网盘、媒体娱乐,医疗PACS,气象,归档等数据量超大而又相对“冷数据”和非在线处理的应用类型。这类应用单个数据大,总量也大,适合对象存储海量和易扩展的特点。网盘类应用也差不多,数据总量很大,另外还有并发访问量也大,支持10万级用户访问这种需求就值得单列一个项目了(这方面的扫盲可以想想12306)。归档类应用只是数据量大的冷数据,并发访问的需求倒是不太突出。 另外基于移动端的一些新兴应用也是适合的,智能手机和移动互联网普及的情况下,所谓UGD(用户产生的数据,手机的照片视频)总量和用户数都是很大挑战。毕竟直接使用HTTPget/put就能直接实现数据存取,对移动应用来说还是有一定吸引力的。对象存储的访问通常是在互联网,走HTTP协议,性能方面,单独看一个连接的是不高的(还要解决掉线断点续传之类的可靠性问题),主要强大的地方是支持的并发数量,聚合起来的性能带宽就非常可观了。 12723 从产品形态上来看,块存储和文件存储都是成熟产品,各种规格形态的硬件已经是琳琅满目了。但是对象存储通常你看到都是一堆服务器或者增强型服务器,毕竟这东西现在还是互联网行业用得多点,DIY风格。 关于性能容量等方面,我做了个图,对三种存储做直观对比。 12724 块存储就像超跑,根本不在意能不能多载几个人,要的就是极限速度和高速下的稳定性和可靠性,各大厂商出新产品都要去纽北赛道刷个单圈最快纪录,千方百计就为提高一两秒,跑不进7分以内都看不到前三名。(块存储容量也不大,TB这个数量级,支持的应用和适用的环境也比较专业(FC+Oracle),在乎的都是IOPS的性能值,厂商出新产品也都想去刷个SPC-1,测得好的得意洋洋,测得不好自动忽略。)文件存储像集卡,普适各种场合,又能装数据(数百TB),而且兼容性好,只要你是文件,各种货物都能往里塞,在不超过性能载荷的前提下,能拉动常见的各种系统。标准POXIS接口,后车门打开就能装卸。卡车也不挑路,不像块存储非要上赛道才能开,普通的千兆公路就能畅通无阻。速度虽然没有块存储超跑那么块,但跑个80/100码还是稳稳当当。而对象存储就像海运货轮,应对的是"真·海量",几十上百PB的数据,以集装箱/container(桶/bucket)为单位码得整整齐齐,里面装满各种对象数据,十万客户发的货(数据),一条船就都处理得过来,按照键值(KeyVaule)记得清清楚楚。海运速度慢是慢点,有时候遇到点网络风暴还不稳定,但支持断点续传,最终还是能安全送达的,对大宗货物尤其是非结构化数据,整体上来看是最快捷便利的。 从访问方式来说,块存储通常都是通过光纤网络连接,服务器/小机上配置FC光纤HBA卡,通过光纤交换机连接存储(IPSAN可以通过千兆以太网,以iSCSI客户端连接存储),主机端以逻辑卷(Volume)的方式访问。连接成功后,应用访问存储是按起始地址,偏移量Offset的方法来访问的。而NAS文件存储通常只要是局域网内,千兆/百兆的以太网环境皆可。网线连上,服务器端通过操作系统内置的NAS客户端,如NFS/CIFS/FTP客户端挂载存储成为一个本地的文件夹后访问,只要符合POXIS标准,应用就可以用标准的open,seek, write/read,close这些方法对其访问操作。对象存储不在乎网络,而且它的访问比较有特色,只能存取删(put/get/delete),不能打开修改存盘。只能取下来改好后上传,去覆盖原对象。(因为中间是不可靠的互联网啊,不能保证你在修改时候不掉线啊。所谓你在这头,对象在那头,所爱对象隔山海,山海不可平。) 另外再说一点分布式存储的问题,以上三种存储都可以和分布式概念结合,成为分布式文件系统,分布式块存储,还有天生分布式的对象存储。对象存储的定义就把元数据管理和数据存储访问分开在不同的节点上,多个节点应对多并发的访问,这自然就是一个分布式的存储产品。而分布式文件系统就很多了,各种开源闭源的产品数得出几十个,在不同的领域各有应用。至于分布式的块存储产品就比较少,也很难做好。我个人认为这个产品形态有点违和,分布式的思想和块存储的设计追求其实是冲突的。前面讲过,块存储主要是图快,一上分布式肯定严重拖后腿,既然都分布开了,节点之间的通信必然增加额外负担,再加上CAP,为了保持一致性牺牲响应速度,得到的好处就是扩展性。这就像把超跑弄个铁索连环,哪里还可能跑出高速?链条比车都重了,穿起来当火车开吗?而文件存储原来也就是集装箱货车,大家连起来扮火车还是有可行性的。 作者:EricChan
  • [下午茶时光] 【Day 35--2018/3/13】农业变革,看看“区块链+农业”能做什么
    12201 【下午茶时光——业界热点陪你喝咖啡】 农业变革,看看“区块链+农业”能做什么 从去年起,“区块链”成为最火的名词,有人认为这是一场大忽悠,也有人认为这是一场大变革,被徐小平称为一场“顺之者昌、逆之者亡的伟大技术革命”。到了2018年,轰轰烈烈的区块链猝不及防进入了农业。区块链到底是什么?区块链会为农业带来什么? 12202 一、区块链到底是什么? 通俗一点说,区块链技术是指一种全民参与记账的方式。所有的系统背后都有一个数据库,你可以把数据库看成是一个大账本。那么谁来记这个账本就变得很重要。目前是谁的系统谁来记账,微信的账本就是腾讯在记,淘宝的账本就是阿里在记。但现在区块链系统中,系统中的每个人都可以有机会参与记账。在一定时间段内如果有任何数据变化,系统中每个人都可以来进行记账,系统会评判这段时间内记账又快又好的人,把他记录的内容写到账本,并将这段时间内账本内容发给系统内所有的其他人进行备份。这样系统中的每个人都了一本完整的账本。这种方式,我们就称它为区块链技术。区块链行业应用最显著的优势在于优化业务流程、降低运营成本、提升协同效率,这个优势已经在金融服务、物联网、公共服务、社会公益和供应链管理等社会领域逐步体现出来。 12203 二、区块链和农业有关系吗? 目前农业发展的问题源自农产品供需不平衡。而造成供需不平衡的主要原因是在农业生产、流通、消费三大环节中,生产者和消费者过于分散、弱小,双方无法实现信息对称,无法直接对接,无法决定价格。双方只能做出理性但无奈的选择:生产者用一切降低成本的方式生产;消费者只能选择价格更低的产品;流通商只能打价格战,造成恶性循环。行业人士认为,区块链恰恰可以解决这个痛点,“从消费者端看,通过区块链技术可以满足知情权,选择自己信任的农产品;从采购商角度来讲,担心批量购买的农产品质量不好,则可以通过对种植过程以及大数据分析,选择信任的农户。” 动作最快的是中南建设,公司与北大荒公司合作的区块链农业公司“善良味道”,第一批区块链认证大米产品现已推向市场。以土豆生产为例解释,整个土豆生产过程的数据将全部上传到分布式账本存储,形成不可篡改账本内容,提供给消费者、采购商查阅。 12204 例如,把化肥、农药的采购过程记录在册,从根源上避免重金属超标和农药残留超标的问题;通过大数据分析,建立种植户、采购商的信用评级参考;利用智能合约在种植户和采购商之间保证公平交易。销售过程也把分选加工等信息用分布式账本存储起来,保证完整透明的信息给利益相关方。那么,在此过程中,区块链最大的特长,即分布式账簿的优势是如何体现的呢?对此,以往采购商在采购前会派人给土豆种植户开出一个高价。但是,当农民从地里把土豆挖出来后,农民往往就联系不上这个人了,这时采购商再派另一个人,利用土豆在地头不容易存储的因素,大幅压低土豆价格。而采用区块链技术之后,每笔交易都是向所有人公开的,就可以解决这个问题。 利用区块链技术实现充分分布化,让消费者、种植户、采购商,批发商等都同步记账防止篡改,可以利用相互之间的利益不相容机制来制衡保证数据的真实,避免利益趋同下一致行动的风险。传统的追溯体系是单一公司的个体行为,自己既当运动员又当裁判员,公信力弱。而采用区块链技术后,分布式账本将农民、合作社、经销商、消费者组织起来共同记录种植信息,利用不可篡改的特性起到信息透明的作用。 12205 三、区块链可能改变农业哪些领域? 区块链市场开始孕育,短期尚不具备大规模落地条件,关注上下游产业链和未来商业场景的落地。农业部**康春鹏博士认为区块链将会在物联网农业、农产品溯源、农村金融等6大领域运用,并推动产业发展。 1、农业物联网: 目前制约农业物联网大面积推广的主要因素就是应用成本和维护成本高、性能差。而且物联网是中心化管理,随着物联网设备的暴增,数据中心的基础设施投入与维护成本难以估量。物联网和区块链的结合将使这些设备实现自我管理和维护,这就省去了以云端控制为中心的高昂的维护费用,降低互联网设备的后期维护成本,有助于提升农业物联网的智能化和规模化水平。 2、农业大数据: 传统数据库的三大成就,关系模型、事务处理、查询优化,数据库技术在不停发展。未来随着农业大数据采集体系的建立,如何以规模化的方式来解决数据的真实性和有效性,将是全社会面临的难题。以区块链为代表的技术,对数据真实有效不可伪、无法篡改的这些要求,相对于现在的数据库来讲,是一个新的起点。 3、农产品质量安全追溯: 农业产业化过程中,生产地和消费地距离远,消费者对生产者使用的农药、化肥以及运输、加工过程中使用的添加剂等信息根本无从了解,消费者对生产的信任度降低。基于区块链技术的农产品追溯系统,所有的数据一旦记录到区块链账本上将不能被改动,依靠不对称加密和数学算法的先进科技从根本上消除了人为因素,使得信息更加透明。 4、农村金融: 农民贷款整体上比较难,主要原因是缺乏有效抵押物,归根到底就是缺乏信用抵押机制。区块链技术公开、不可篡改的属性,为去中心化的信任机制提供了可能。 5、农业保险: 农业保险品种小、覆盖范围低,经常会出现骗保事件。将区块链与农业保险结合之后,农业保险在农业知识产权保护和农业产权交易方面将有很大的提升空间,而且会极大的简化农业保险流程。另外,因为智能合约是区块链的一个重要概念,所以将智能合约概念用到农业保险领域,会让农业保险赔付更加智能化。以前如果发生大的农业自然灾害,相应的理赔周期会比较长。将智能合约用到区块链之后,一旦检测到农业灾害,就会自动启动赔付流程,这样赔付效率更高。 6、农产业供应链: 区块链技术有助于提升供应链管理效率。由于数据在交易各方之间公开透明,从而在整个供应链条上形成一个完整且流畅的信息流,这可确保参与各方及时发现供应链系统运行过程中存在的问题,并针对性地找到解决问题的方法,进而提升供应链管理的整体效率。 12207 区块链技术可以避免供应链纠纷。所具有的数据不可篡改和时间戳的存在性证明的特质能很好地运用于解决供应链体系内各参与主体之间的纠纷,实现轻松举证与追责。区块链技术可以用于产品防伪。数据不可篡改与交易可追溯两大特性相结合,可根除供应链内产品流转过程中的假冒伪劣问题。
  • [下午茶时光] 【Day 30--2018/3/6】云存储的核心技术:虚拟化存储
    11595 【下午茶时光——每日精选小知识陪你喝咖啡】有人说虚拟化解决方案就好像游历一个虚拟现实的主题公园。当游客想象他正在城市上空滑翔时,传感器就会把相应的真实感觉传递给游客,如同身历其境。同样,一个好的虚拟化工具可以对企业的存储设备做相同的工作,让数据感觉自己是存储在一个真实的物理环境里,之后就可以任意改变数据存储的位置了。以下这篇文章就是聊聊在云存储中虚拟化技术的使用,有兴趣的小伙伴多加关注啦~从今日起,下午茶时光每日精选与大家分享云计算领域中的各种小知识,继续陪大家喝咖啡( ̄︶ ̄)> 云存储的核心技术:虚拟化存储 导语虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机(VM:Virtual Machine)一样,物理存储设备也被抽象成虚拟磁盘(Virtual Disk)。今天我们就来聊聊虚拟化存储(Storage Virtualization)技术,究竟虚拟磁盘是怎样实现的?11577 [*]虚拟磁盘的实现 我们知道,服务器扩展存储的手段主要有直连存储(DAS)、存储区域网络(SAN)和网络附加存储(NAS)这三种类型。那么哪种存储类型可以用来实现虚拟磁盘呢? 在虚拟化环境中,类似VMWare这样的虚拟机管理程序hypervisor,要同时给很多VM分配存储空间。这个过程中,我们需要先把物理存储资源重新划分成虚拟磁盘,然后再分配给VM。 显然我们不能用DAS方式把物理磁盘直连到VM上,如果这样,需要的物理磁盘就太多了。SAN是以逻辑单元(LUN:Logic Unit)的形式提供存储资源,但虚拟环境下的VM数量很大,LUN的数量也不足以支撑这么多虚拟磁盘。 更重要的一点,虚拟磁盘对于众多的VM来说是共享的,因为VM需要随时创建、删除或者迁移,在迁移VM的时候就需要共享存储,只有这样原来的数据才不会丢失。无论DAS还是SAN,都不适合共享存储。 考虑到资源分配以及共享的问题,hypervisor采用NAS的方式来实现虚拟磁盘。VMware通常采用VMFS(Virtual Machine File System)或NFS协议来实现虚拟磁盘,VMFS是专门针对虚拟机环境的文件系统协议。 每个虚拟机的数据实际上就是一堆文件,最主要的文件就是虚拟磁盘文件(VMDK文件),此外还有交换分区文件(vswp文件,相当于swap)、非易失性内存文件(nvram相当于bios)等。每个VM对虚拟磁盘的IO操作,实际上是对这个虚拟磁盘文件的读写。 VMFS的设计、构建和优化针对虚拟服务器环境,可让多个虚拟机共同访问一个整合的群集式存储池,从而显著提高了资源利用率。采用 VMFS 可实现资源共享,使管理员轻松地从更高效率和存储利用率中直接获益。 11593 [hr]那么我们如何在云计算中使用虚拟磁盘呢? [*]实例存储 最主要的一种使用虚拟磁盘的方式就是实例存储,每一个VM就是一个虚拟机实例,hypervisor在每个实例中提供仿真的硬件环境,包括CPU、内存和磁盘。这种方式,使得虚拟磁盘成为虚拟机实例的一部分,就像物理世界一样。VM删除后,虚拟磁盘也会被删除。 这种实例存储模型中,虚拟磁盘与虚拟机之间的存储关系,实际上是DAS存储。但虚拟磁盘的底层实现,上面我们说了,是用NAS方式实现的。而hypervisor的作用就是把VM层的存储模型,与虚拟机下层的实现协议(VMFS或NFS)分离开了。 [*]卷存储 实例存储有它的限制,开发者一般希望把实例数据(比如OS以及安装的一些服务器应用软件)和用户数据分开,这样重建VM的时候可以保留用户的数据。 这个需求衍生出另外一种存储模型:卷存储。卷是存储的主要单位,相当于一个虚拟的磁盘分区。不属于虚拟机实例的一部分,可以认为是虚拟机的外置存储设备。 卷可以从一个VM卸下,然后附加给另外一个VM。这样我们就实现了实例数据与用户数据的分离。 [*]对象存储 很多云应用需要在不同的VM之间共享数据,经常需要跨越多个数据中心,对象存储可以解决这个问题。 在对象存储模型中,数据存储在存储段(bucket)中,按字面意思bucket也可以被称为“桶“。我们可以用硬盘进行类比,对象就好比文件,存储段就像是文件夹(或目录)。对象和存储段可以通过统一资源标识符(URI: Uniform Resource Identifier)查找。 对象存储的核心设计思想其实也是虚拟化,具体说来,就是把文件的物理存储位置,比如卷、目录、磁盘等,虚拟化为bucket,把文件虚拟化为对象。对应用层来说,简化了对数据的存取访问,屏蔽了底层存储技术的异构性和复杂性。 11591 NAS与对象存储各有所长当然你也许会问,NAS存储技术不是也可以解决数据共享的问题吗?由于对象存储的规模优势和成本优势,很多云环境采用对象存储来代替NAS。 由于对象存储将遍布于很多节点且最新的数据并非总是可用, 所以对象存储的数据一致性不强。如果对强一致性有要求,那么可以使用NAS。目前在云计算环境下,NAS和对象存储是共存的关系。 和NAS一样,对象存储也是软件架构,不是硬件架构。应用直接通过REST API来访问对象存储。[hr] 结语在实际的云平台应用中,我们需要根据自己的实际情况来合理运用不同的虚拟化存储技术。 [*]对于非结构化的静态数据文件,如音视频、图片等,我们一般使用对象存储。 [*]对于系统镜像以及应用程序,我们需要使用云主机实例存储或者卷存储。 [*]对于应用产生的动态数据,我们一般还需要利用云数据库来对数据进行管理。 本文转载自《微说互联网》
  • [下午茶时光] 【Day 24--2018/2/13】国内首家区块链租房平台已运行一月,雄安推行租房积分制度
    本帖最后由 KING 于 2018-2-13 15:48 编辑11047 【下午茶时光——业界热点陪你喝咖啡】 【国内首家区块链租房平台已运行一月,雄安推行租房积分制度】 此前2月10日,雄安新区宣布推行住房租赁积分制度。雄安已建成区块链租房应用平台,并且已经低调上线近一个月。这也是国内首例。在这一政府主导的区块链统一平台上,挂牌房源信息,房东房客的身份信息,房屋租赁合同信息将得到多方验证,不得篡改。未来,雄安新移民租房时,将不再用担心遇到假的房东,租到假的房子,因为当租房各个环节信息都记在区块链上,它们之间会相互验证。 11048 据悉,中国建设银行,链家,蚂蚁金服等机构参与了这一租房模式的建设。其中,蚂蚁金服是核心区块链技术提供方,链家和建行则负责提供房源租赁信息等服务。 吃瓜群众表示:科技发展这么快,租房行业都玩得这么花了 【马斯克:“Delta IV”要能在2023年前上天 我把帽子吃了】 上周,SpaceX成功发射了“重型猎鹰”火箭。本周一,SpaceXCEO埃隆·马斯克(Elon Musk)在Twitter上讨论了火箭助推器的性能。喷气式推进实验室可视化内容制作人道格·埃里森(Doug Ellison)在Twitter上分享了一些计算结果,表明Delta IV重型火箭可以达到“重型猎鹰”的性能,从而完成某些飞往**外的任务。对此,马斯克回应称,埃里森的数据基于有缺陷的基础数据。即便数据正确,“重型猎鹰”的成本也要远低于竞争对手。随后,联合发射联盟CEO托里·布鲁诺(Tory Bruno)也加入了争论。11049 马斯克甚至发布Twitter消息称,他敢于打赌,竞争对手的火箭不可能在2023年之前承担美国的国家安全太空飞船发射任务;如若不然,他“把帽子吃了”(eatmy hat)。而布鲁诺只回复了一个词:“哇”(Wow)。 吃瓜群众表示:大佬开撕,一言不合就开“吃”。 【华为携手熙菱信息共同打造海淀视频云】 日前,华为携手熙菱信息共同建设的北京市海淀区“网格化图像信息系统微卡口(大数据)平台”项目首战告捷。本次项目中熙菱信息采用了视频图侦及车辆大数据分析系统作,同时采用了华为云中视频云产品“一云一池”的理念,以及华为云相关的云计算产品,旨在更好的解决客户在图片接入转发及存储、图片二次解析、车辆大数据应用上云与数据整合的所产生的问题需求。 11050 吃瓜群众表示:已经沐浴在华为视频云带来的春风中了。。。 【春晚首次采用4K技术转播 比电影还清晰】 近日央视对外发布了春晚新技术应用情况。央视2018年春晚,将提供4K超高清春晚点播服务。春节期间,北、上、广、贵的用户,可通过“央视专区”互动电视平台点播4K超高清央视春晚。 11051 目前,我国的电影院的放映清晰度是2K。而此次央视春晚采用4K技术,使千家万户的观众能收看到远比电影院看电影,还要清晰和精彩的画面。央视4K的主要技术指标为:分辨率为3840X2160,帧率为50P,图像量化bit为10bit,具备HDR高动态范围,色域为ST 2020,声音为5.1环绕声和三维声。同时央视春晚节目和主分会场,还会推出30多个春晚VR短视频,可通过“中央电视台”移动客户端直接收看到二维立体视频,或借助头盔收看三维立体视频。 11053 今年的春晚可谓是科技感十足啊!!! 吃瓜群众表示:没想到今年春节档最火大片名字叫做“2018春节联欢晚会”。 【往期下午茶回顾】[下午茶时光] 【Day 23--2018/2/12】VanFraud病毒疯狂来袭,18家下载站已中招[下午茶时光] 【Day 22--2018/2/11】今日,比特币中国出让100%股权[下午茶时光] 【Day 21--2018/2/8】美国听证会不完全解读:没有比特币就没有区块链[下午茶时光] 【Day 20--2018/2/7】装上AI大脑的无人机能担当“无人机警察”吗[下午茶时光] 【Day 19--2018/2/5】太执着于让别人喜欢,这是很多创业者的通病
  • [云计算周刊] 金融科技ABCD:人工智能、区块链、云计算、大数据
    1、 金融科技ABCD:人工智能、区块链、云计算、大数据近日,中国信息通信研究院主任工程师、金融科技负责人韩涵在“2018中国金融科技产业峰会”上正式发布了《中国金融科技前沿技术发展趋势及应用场景研究报告》,详细讲解了A(人工智能)B(区块链)C(云计算)D(大数据)四大技术发展趋势及在金融行业的落地应用方案,预测了金融科技七大未来发展趋势。 详情点击 2、 苹果云搬家到贵州,云计算行业格局冷暖何如?2018年伊始,云计算的大战好像又要开始,继续重演去年开年厦门政务云的一幕。网传,网宿科技要被腾讯投资30亿,随后便是股市异动。此前几天,苹果公司的一则声明也引发社会关注。苹果公司宣布:自10日起的七周内,苹果将通过电子邮件和推送通知的方式,告知中国用户从2月28日起,中国内地的iCloud服务转由云上贵州负责运营。详情点击 3、 大数据发展火爆,云计算平台主打安全至上随着互联网、 云计算、移动通讯技术发展,数据越来越成为人们不可缺少的重要资产,对人们生活起着重要作用。作为信息时代下的产物,大数据,则是企业和互联网用户之间产生的结构化和非结构化的数据统称。因为大数据内容广泛,无所不渗,大数据包含着客户的喜好和购买打算、甚至一些非常详细的个人讯息等非常重要的资讯,因此,大数据便越来越受到企业和机构的重视。而在大数据日益受到重视的今天,大数据的服务公司、一些数据提供商,便成为了互联网时代的领路人,作为首批接触数据分析的公司,不远它是服务商、或者是甲方客户,在信息时代的第一步,你就选择对了。详情点击 4、 主流云计算提供商服务中断三天将预计导致150亿美元的损失根据专业保险商劳埃德(Lloyd´s)和风险建模商AIR Worldwide公司的报告,如果一场大规模的网络攻击将使亚马逊网络服务这样的顶级云服务提供商的服务中断几天,那么美国的经济损失可能会高达150亿美元。详情点击 5、 经济学人新年关注EasyStack等四家中国云计算企业2018年,在云计算诞生的第十二年,渐劲的东风正在重构业界对于全球云力量的认知。新年伊始,拥有175年历史的全球财经旗舰媒体英国《经济学人》就对“中国云计算行业发力赶超西方”的话题进行了全面报道,中国发行量最大的日报《参考消息》对文章进行了编译转载。在《经济学人》1月20日刊登的“中国云计算行业发力赶超西方”的报道中,作者曾来到中国实地采访,并着重选择了四家中国云计算的代表企业——阿里云(中国最大的公有云企业)、EasyStack(中国开源云计算领导企业)、兴业数金(中国金融行业云的领导者)、UCloud(中国估值最高的独立公有云企业)进行了面对面沟通。详情点击 6、 云计算垂直领域含藏机遇,行云管家等成为市场新秀2017年,中国云计算市场的竞争比上一年度更为残酷,已经从群雄并起的血战发展到巨头之争的鏖战,可谓波谲云诡、纷争不休。在基础云服务领域(IaaS),用一句打趣的话来形容,那就是神仙打架,小鬼遭殃。青云、UCloud等后起之秀凭借大笔融资活的看似还滋润。腾讯云、金山云等重量级玩家则已经奠定巨头地位。阿里云依旧遥遥领先,凭借近半的市场份额隐隐坐稳中国云计算的霸主位置。这些不差钱的主儿各自挥舞着"价格战"这同一把达摩克里斯之剑互相伤害,结果谁也没占到太大便宜,反倒是这一轮恶斗的余波把一众小型云厂商和传统的IDC们伤的叫苦不迭。详情点击 7、 云计算“黑马”金山云D系列再融资2亿美金1月29日,据港交所消息,金山软件29日发布公告称,金山云将发行2.299亿股D轮优先股,交易总额为2亿美元。其中,金山软件和FuturexCapital将分别认购1.15亿股。金山软件称,完成第六份购股协议项下拟进行之交易后,将仍为金山云的多数股东。公司与FutureXCapital认购D系列优先股彰显对金山云的长足信心。详情点击 8、 谷歌推出新数字商店 销售以云计算为基础软件网易科技讯1月31日消息,据TechCrunch报道,谷歌正在推出新的数字商店,向其他公司和组织出售以云计算为基础的软件。彭博社早些时候曾报道了这一消息,并指出谷歌此举只是为了确保该公司在云端的领先地位,特别是不能让亚马逊的AWS落下。详情点击 9、 华为在我国西北地区最大的云计算大数据中心落户如今,大数据对我们来说已不再陌生,已经渗透到了我们生活的方方面面。如果一座城市拥有一个大数据中心,那么市民的生活将变得更加智能便捷。青洽会期间,华为集团已经与海南州签订合作协议。去年11月30日,海南州华为云计算大数据中心一期工程正式破土动工,整个工程计划今年9月完成建设并投入使用。华为集团已在海南州设立临时机房,相关的业务也已经开展起来。“从规模上来讲,海南州华为云计算大数据中心建成后,是华为在我国西北地区布设的的云计算大数据中心。”详情点击 10、 IDC:2018年全球公有云服务支出预计达到1600亿美元根据IDC全球半年度公有云服务开支指南的最新更新,全球公有云服务和基础设施支出预计在2018年达到1600亿美元,比2017年增长23.2%。尽管2016年到2021年预测期间的年度支出增长将有所放缓,但预计该市场到2021年将达到21.9%的五年复合增长率(CAGR),其中公有云服务支出总额将达到2770亿美元。详情点击
  • [上云精品] 结硬寨、打呆仗,争第一:江苏国泰新点软件总结2017,展望2018
    光阴荏苒,岁序迭新。2018年1月30日,江苏国泰新点软件有限公司“2017年终总结表彰大会”在张家港国贸酒店盛大召开。公司全体干部和优秀员工代表共1000多人齐聚一堂,共同回顾了2017年的精彩历程和累累硕果,也为2018年的更上一层楼蓄力前行!江苏国泰新点软件有限公司“2017-2018年终总结表彰大会”现场会议首先由总经理黄素龙先生对2017年所取得的业绩进行了总结。2017年,在各事业部、分公司的通力合作下,各大业务条线均取得了骄人业绩,公司全年合同销售毛利达到10.4亿,同比增长39.5%,新点软件实现了历史性跨越!国泰新点软件总经理黄素龙先生发言主线业务,共放异彩电子交易2017年,国家对电子招投标的落实和发展进一步提出了明确的目标和要求,国泰新点凭借10多年在招投标领域的实践积累和专业知识,以“互联网+”思维为理念、以落实“放管服”要求为导向,依托云计算、大数据等领先技术,取得了“不见面交易”、“跨区域远程异地评标”、“招标采购金融服务”、“招投标大数据应用”等多个创新成果,公司案例遍及全国27个省市、230多个地市、1600多个县区,市场占有率在业内遥遥领先。政务服务2017年,在国家“互联网+政务服务”相关政策文件的推动和指导下,我司协同各地政府一起,探索“互联网+政务服务”改革的新思路、新做法,并在全国各地落地开花,取得了硕果累累。全年销售实现了70%以上的增长,先后承担了青海省、江苏省、辽宁省等多个省级项目的建设,截止2017年年底,新点政务服务业务已覆盖全国25个省市,累计案例300多个,已在行业内处于领先地位。2017年12月11日,*** 总理视察武汉东湖自贸区政务服务中心,肯定了东湖自贸区的“一次办、马上办、网上办“的建设成果,这在全国政务服务领域引起了强力反响!政务大数据2017年是我司大数据业务的起航之年。依托《政务信息系统整合共享实施方案》、《关于开展政务信息系统整合共事应用试点的通知》,公司先后在河北省、贵州省、威海、马鞍山、河南多个地级市参与了政府资源信息整合项目的建设,并在公共资源、智慧住建、政务服务、城市治理等不同领域进行了大数据的深化应用。2017年,公司在张家港、沈阳两地成功举办了较大规模的大数据应用研讨会,几十位行业专家和各地主管领导共聚一堂,对政务大数据治理、政务信息资源共享开放等主题进行了深入探讨,为公司在该领域的发展提供了思路、指明了方向。数字建设2017年,我司积极响应国家对住建行业在“大数据发展、互联网+、政务信息系统整合”方面的政策要求,因地制宜地运用云计算和大数据等技术,实现建设行业内服务、应用和管理上的全面创新,顺利拿下了住建部、安徽省住建厅等多个重量级项目,全年参与住建项目的规划和建设达50多个。建筑企业2017年,建筑企业事业部坚持走全国市场的道路,利用行业影响力,集中优质资源,积极开拓新市场,将销售版图扩大到18个省市;同时,增加了产品的专业覆盖,推出了公路、水利的全新版本;为顺应新技术发展要求,积极探索BIM技术的应用,力争抓住机遇,实现弯道超车。黄素龙总经理指出,为保持公司的持续高速发展,我们必须走专业化道路,在优选的十大业务条线里精耕细作,提供专属领域的全屋定制,做专做透业务,力争在选定的行业内做到国内数一数二!创新技术,铸就利器出色的市场业绩离不开背后的扎实技术支撑和强大交付能力。公司常务副总经理*** 随后对公司在产品研发和项目交付方面取得的成绩进行了总结。国泰新点软件常务副总经理*** 先生发言研发方面。全新的基于微服务架构的F9框架、PaaS云平台eCloud为应用全面上云提供了强有力的保障;在“移动为先”的战略引领下,推出了全新的跨平台开发框架M7和更高效的协作式移动应用开发平台;政务大数据平台产品覆盖了政府信息资源“理”、“通”、“用”的各个方面,为大数据在政务领域的落地应用奠定了坚实的基础;全面符合“国办108号函“《互联网+政务服务技术体系建设指南》的“互联网+政务服务”产品在全国各地超过100个项目中得到了应用;电子交易产品在架构整体升级、交易业务拓展、用户体验提升、系统安全保障、售后服务增效等方面均取得和很好的成果,使公司在“互联网+招标采购”领域的竞争优势继续扩大;基于全新架构、运用资源整合共享理念研发的智慧住建大平台在诸多省市得到了积极的应用;新点系列工程造价软件在系统性能和用户体验等方面得到了很大的提升,BIM5D算量V3.0实现了土建、安装合并发布,并新增了园林绿化专业,BIM5D协同平台进入应用推广阶段;政务协同大平台升级到9.0,人脸识别、语义分析、智能问答等人工智能新技术的落地应用,大大提升了产品的智慧化。在项目交付方面,通过全面推动各业务条线专业化、标准化建设,进一步提升了项目交付的质量和效率。在全年项目多、要求高、时间短的压力下,项目交付团队积极应用和总结适用于不同条线要求的实施指南、操作规范和经验知识,通过跨部门通力协作、项目督导制度的保障,使全年项目验收数同比2016年大增67%。规模化、批量化、专业化、快速化、高质量的交付能力已成为新点软件的核心竞争力。李总指出,2018年,我们将继续保持在行业业务理解方面的优势,以市场驱动、问题导向为原则,进一步开拓思路,提升云计算、移动、大数据等技术的应用效果,探索人工智能、区块链等技术的场景化应用方案,全方位提高我公司产品解决方案的技术水平和用户体验,打造新点品牌在行业领域中“人无我有、人有我优”的差异化竞争优势。稳扎稳打,永争第一(曹总)年复一年地不懈努力,国泰新点积累了丰富的行业经验;精益求精地刻苦钻研,成就了国泰新点技术实力的不断攀升!面对2017年公司所取得的各项成绩,董事长曹立斌先生给与了充分肯定。国泰新点软件董事长曹立斌先生发言他讲到,规律天定,选择人定。我们要充分发挥主观能动性,将意志参与进去的,坚持正义,鼓起勇气,拿出担当,勇挑重担。公司的成功是通过商业竞争的胜利实现的,而胜利的实现不能选择捷径,要仰仗“结硬寨、打呆仗”,克服困难,每天踏实、认真,持续努力。结硬寨保证现有的产品和服务盈利是我们的防守。所谓“结硬寨”,就是通过标准化作业、专业化分工,打造高品质、低成本的产品和服务,形成“大规模生产、批量化销售”的模式。把最传统的工业化管理方法,应用到我们的实际工作中,是最有效的“结硬寨”。打呆仗创新是我们的进攻。长期以客户为中心,聚焦为客户创造价值,持续不断解决客户痛点,是我们创新的源泉。不取巧,也不贪图飞来横财,深入客户一线、遵循IPD的创新流程,这就是“打呆仗”。在帮助客户取得项目成功、获得更好发展的同时,实现自身成果的创新。争第一我们要在选定的细分市场内,争取做到全国第一。实现这一目标就要在行业内争取做到六个第一,即解决方案争第一,研究水平争第一,整合能力争第一,专业分工、后台支持能力争第一,员工待遇争第一,遵纪守法争第一。样样细节争第一,是我们的精神风貌。全体新点人务必要坚持长期奋斗,持续改进!会议最后,江苏国泰国际集团有限公司总裁陈晓东作了重要讲话,他充分肯定了2017年国泰新点取得的优秀业绩,并表示国泰集团将会一如既往地支持国泰新点软件的发展,希望国泰新点软件能抓住当前发展的窗口期,加大市场推广和技术研发力度,早日成为国内顶尖的软件企业!江苏国泰国际集团有限公司总裁陈晓东先生发言2017年成绩的取得,离不开全体员工的努力,在这一年中,国泰新点涌现了一大批技术标兵、先进集体、先进个人,他们为公司在瞬息万变、飞速发展的IT行业提供了坚实的力量。此次大会对他们进行了表彰,并鼓励全体员工向先进集体、先进个人学习,为更好地实现自身价值而努力奋斗。九层之台,起于累土,从1998到2018,从3个人1间办公室,到分公司遍布全国主要省市,国泰新点的成长和实力有目共睹!二十年的拼搏,我们创造了不菲的成绩,积累了丰富的行业经验,为今后的发展奠定了坚实的基础;未来更多的二十年中,我们将更加清醒地认清信息化发展的新形势、新任务和新要求,持续深化“结硬寨、打呆仗、争第一“的发展战略,顺应社会发展的大趋势,保持蓬勃生机,继往开来,迎接挑战,不断开拓前行!
  • 【顶象技术】全景式业务安全风控体系,为企业业务安全保驾护航
    一、公司介绍北京顶象技术有限公司是互联网业务安全的引领者,致力于打造零风险的数字世界,红杉资本中国基金成员企业。顶象技术拥有领先的风控技术和智能终端安全技术,其首创的“共享安全”理念已成为新一代安全产品的标准架构。 顶象技术专注于业务安全领域的产品研发和技术服务,在互联网、云计算以及大数据等领域为客户构建“端到端、全环节、全链路和全维度的智能风险感知和防护体系——全景式业务安全风控体系。”二、SaaS产品及服务通过全景式业务安全风控体系、无感验证、虚机源码保护、安全SDK等方案和产品,赋予电商、金融、IoT、航空、游戏、社交等企业BAT级的业务安全能力,让平台和用户免受薅羊毛、交易欺诈、账号盗用、内容被恶意抓取、系统和App遭破解等风险威胁。截止目前,顶象技术累计拦截恶意请求和攻击过亿次,监测到风险设备超百万,能有效识别95%+的威胁。 9841 1、业务风险防控顶象技术的业务风险防控产品,支持快速私有化部署,将成熟的业务安全经验提供给各类互联网业务,帮助客户快速建立自由业务安全体系,解决仿冒、盗用、欺诈、作弊、垃圾、爬虫等各类互联网风险 9842 2、业务场景安全防护顶象技术基于用户在各行业不同业务场景可能存在的风险,进行大数据业务分析和风险研究。将长期实战总结的丰富经验沉淀于业务场景安全风控体系。分别从账户体系、营销活动、渠道推广、短信通道、网址数据等各个业务场景环节,提供相应的业务场景安全解决方案,进行全方位防护。 9843 3、全流程端防护针对各类终端面临的逻辑破解、数据篡改、业务欺诈、数据窃取等种类风险,为客户提供多平台、全流程的解决方案,用户可一站式组合应用,也可独立选用 9844 了解更多SaaS产品及私有化部署方案,请访问顶象技术官网:https://www.dingxiang-inc.com/ 9845
  • [下午茶时光] 【Day 13--2018/1/25】你也开始佛系养蛙了吗
    本帖最后由 霁月 于 2018-1-25 15:38 编辑9580云硬盘下午茶时光,Day 13--2018/1/25 【下午茶时光——业界热点陪你喝咖啡】【冬天来了,哪一款手机更耐冻】什么手机才耐寒?究竟怎么区分?那么此时我们要知道就是耐寒的手机应该具备什么普遍的条件,其实有时候冷冻手机会使得锂电池能力大大的提升续航,但是多次使用会缩短寿命(因为说白了“所谓的超频”),那么什么手机可以耐住低温?首先就是关于电池的好坏“来源于锂膜与电解液结构,如果好的话可以减少漏电的影响”,其次就是“每个手机都有主板,而主板是由电路板上面的各个晶体管连接的,因此设计一定要避免短路的问题,因为寒冷会有冷凝水,如果晶体管连接不好的话会造成短路,因而就不可能耐寒”,最后就是“芯片对于电池的功耗的控制问题”,一般满足2点即可。而华为mate 10pro耐冻的原因是什么呢?大家都知道麒麟970属于目前比较热门的处理器,其主要是架构上可以恰当的为各个部件进行减负(因此提高了某种情况下的“应用效率和降低能耗”)这样的做法,大家不妨换个角度思考“减负的功效达到了,是不是让手机可以在别的地方提升很明显,比如受寒、受热等极限化的天气或者是物理条件”,另外还有就是该芯片采用“HiAI移动计算架构可以间接提升性能,保证一种能效的合理发挥,从而也是有利于克服极限天气或者物理条件的影响的”,因此耐寒绝不是“IP67级别的防水功能,更主要的是芯片架构设计”。9581吃瓜群众说:给我也换一个架构吧,我也怕冷~ 【明明是日文游戏,青蛙旅行为什么刷爆中国人的手机?】这款游戏名为《旅かえる》(中文名为旅行青蛙),由日本游戏公司HitPoint Inc打造。游戏操作十分简单,被网友戏称为“佛系养蛙”,俘获了一大批“慈母”。游戏的主角是一只大眼睛的小青蛙,小青蛙独自居住在一个石头洞的小屋里,屋外头种着一片幸运草,屋里则是木头做的小阁楼。而你除了收割家门口的三叶草,买些食物装备给它准备行囊之外,能做的只有等待。即使你给它装好了行李,你的蛙仍然有可能不出家门一步,不是在打盹,就是坐在桌边削木头。你随缘地点开游戏,它随缘地生活。其实刷屏的背后是对现代年轻人无处安放的灵魂的慰藉。现实的压力,生活的苟且,人心的复杂与多变的社会让人们不堪疲惫。而游戏中这只喜欢旅行的青蛙就像是另一个自己,在一个简单的世界过着简单的生活,给年轻人一种特别治愈的感觉。9582吃瓜群众说:愿大家在得到了慰藉之后,更有勇气回到现实世界,就像小青蛙,不管走多远,都要回家~ 【达沃斯世界经济论坛:2018 年,全球化将如何发展?】我们前不久曾预测,由于全球需求的增长,股市的持续上涨以及全球贸易的上升,2018年将是并购和IPO交易的丰收之年。而这一前景也暗含着不少重大风险,包括美国贸易政策的难以预测性、美国债券市场可能出现的问题、以及中国经济增长速度的下滑趋势。尽管英国决定退欧,特朗普总统“美国第一”政策也渐渐崛起,但是全球经济仍然表现不俗。中国正在以6%的GDP增长速度保持发展。尽管英国经济略显疲软,但是欧元区在家庭支出和商业投资领域出现增长。包括装箱运输和空运在内的世界贸易关键指标,正以全球经济危机出现前的最快速度增长。而上述这些统计数据给政客们留下了对全球化经济报以怨恨的根据。这通常会导致保护性政策的实施,例如对进口商品征收更高关税,限制跨境数据的流动、限制移民,并呼吁人们回归传统价值观,这通常是社会和经济保护主义的标志性表现。吃瓜群众说:就是全球化要面临分裂了吗? 【占星学的新时代:为什么年轻人更加相信星座了?】星座的作用就是告诉你行星正在做什么,将来会怎样运行,会给每个星座带来什么样的影响。“你可以把这些行星当作是一个鸡尾酒会,”星座空间(Astrology Zone)网站的创建者,著名的占星家苏珊·米勒(Susan Miller)解释道,“你可能会看到有三个人在一起聊天,两个人正在角落里争吵,金星和火星正在接吻。而我则要把这些‘对话‘’和‘行为’变得有意义,即告诉你每个月这会产生什么样的影响。”在压力大的时候,人们倾向于从占星学中寻求慰藉。心理学家格雷厄姆·泰森(Graham Tyson)在1982年进行的一项小型研究发现,“咨询占星家的人通常是为了应对生活中的压力——尤其是这些压力与其个人的社会角色或者是人际关系有极大关联的时候。”泰森写道,“在压力很大的时候,人们更加愿意从占星学中寻求慰藉,尽管在压力小的时候,他们并不相信占星学。”9589吃瓜群众说:不不不~~我相信星座是因为科学,才不是因为压力大~~ 【“刷脸取款”来了!银行称“无需带卡,即刷即取”】农行展出的“刷脸取款”自助设备,引来不少市民体验。现场负责人介绍,“刷脸取款”采用红外双目识别技术实现**检测,通过比对现场抓拍的照片与可信照片,验证客户手机或身份证号码、交易密码实现取款。与传统取款相比,客户无需携带银行卡,与设备的交互也更加自然,能够做到“随时随地,即刷即取”。此外,民生银行也推出生物识别和大数据方面的新品,具体为“人脸识别+点石成金”新品。 中国工商银行展出融e购电商扶贫、微信预约取号、地铁易通行APP、二维码扫码支付、实物贵金属等多项产品和业务设置了现场体验活动。现场还有3D全景H5互动游戏等活动,还有便捷移动VR体验技术等高科技展示手段。吃瓜群众说:明明可以靠脸吃饭,还要靠脸取钱~~ 【Amazon Go姗姗来迟,它和中国“无人零售店”们有什么不同?】Amazon Go才是无人零售店鼻祖,2016年12月, Amazon Go在亚马逊西雅图总部开业内测,随之披露的Amazon Go视频一时引爆全球,对线下零售世界产生了巨大的影响。那么,看起来起了个大早,却赶了个晚集的Amazon Go和国内的“无人便利店”们有什么不同?在Amazon Go买东西是拿了就走,自动结账,客户很爽。而目前很多国内无人便利店是,没有收银员,顾客自助结账,节省了人工成本。从这角度看,尽管Amazon Go姗姗来迟,但其是真正把自动结账方式,或者说客户购买体验带到了一个全新技术高度的无人商店。9592吃瓜群众说:自动结账真心太爽了,好期待~~ 【“80后创业明星”茅侃侃不幸离世】网传“80后创业明星”茅侃侃今日凌晨不幸离世。这一突如其来的消息得到了创投圈多位人士的证实。过去茅侃侃与李想、戴志康、高燃并称“京城IT四少”。与仍然备受关注的李想相比,茅侃侃似乎正被逐渐遗忘——他已经在公众视野中消失很久。茅侃侃被“逼到绝路”的消息于去年11月以后相继传出。报道称,他当时已面临公司濒临破产,60名员工仲裁、抵押车房的窘境。2015年9月茅侃侃与上市公司万家文化成立合资公司万家电竞,并出任CEO。当时,万家文化出资460万元,认购46%股份;茅侃侃出资340万元,认购34%股权,而其余三位股东分别出资50万元。万家电竞的业绩并不理想,成立后一直处于亏损状态。根据上市公司财报,2016年电竞公司实现归属于少数股东的损益为-1073.72万元,期末少数股东权益余额为1199.89万元。2017半年报显示,当期归属于少数股东的损益为亏损约215万元;负债合计约为4812.7万元。2017年9月起,万家电竞拖欠员工工资,次月公司关闭。茅侃侃曾向媒体透露,万家电竞实际债务达6000多万元。茅侃侃此后的经历可以想象。有接触过茅侃侃的人表示,茅被逼至绝路,散尽身家给员工发工资。9593吃瓜群众说:才34岁,好可惜~~ 【往期下午茶回顾】[下午茶时光] 【Day 12--2018/1/23】听说你天天加班?教你高效工作的秘诀[下午茶时光] 【Day 11--2018/1/22】买iPhone为测电池真假竟用牙咬:直接爆炸[下午茶时光] 【Day 10--2018/1/19】听说你买不起房?教你用一根混凝土水管打造一个家[下午茶时光] 【Day 9--2018/1/17】薛定谔猫的平行世界,生命终结不代表消失[下午茶时光] 【Day 8--2018/1/16】未来10年狗将可以与人说话 ,神奇的人工智能[下午茶时光] 【Day 7--2018/1/15】区块链、比特币、ICO:全都是庞氏骗局[下午茶时光] 【Day 6--2018/1/11】CPU内核高危漏洞爆发,华为云将与客户共进退[下午茶时光] 【Day 5--2018/1/10】国内智造实力惊艳CES展 华为等巨头让人眼前一亮[下午茶时光] 【Day 4--2018/1/9】钉钉无招内部动员信:高管全部下沉服务一亿用户[下午茶时光] 【Day 3--2018/1/8】回首云计算的2017年,华为云高调发力公有云市场[下午茶时光] 【Day 2--2018/1/5】任正非强调低端机重要性,称不能轻视穷人[下午茶时光] 【Day 1--2018/1/4】2018 年科技趋势预测
  • [云计算周刊] 云计算的2017年:巨头阴影下暗流涌动
    本帖最后由 哆啦A梦 于 2018-1-17 11:17 编辑1、云计算的2017年:巨头阴影下暗流涌动2017年的云计算市场竞争正在进一步白热化。阿里云和亚马逊AWS之间的战争尚未见分晓,百度云、腾讯云就扎入了这个战场,网易云也被网易视为一大业务重点。华为云甚至大张旗鼓宣布要和阿里云展开竞争。运营商以及其他IT厂商也在各自的细分领域悄悄扎根。更令人感到恐怖的是,招商银行这样的玩家也在发力云服务。云计算已经成了所有人都要来插一脚、分杯羹的市场。详情点击 2、2017年云计算市场营收增长24%,达1800亿美元根据SynergyResearch Group的新数据显示,全球云计算市场去年增长了24%,估值超过1800亿美元。Synergy Research公司的调查数据是基于六个领域的云计算服务的收入:基础设施即服务和平台即服务(IaaS & PaaS)、托管私有云、企业软件即服务(SaaS)、统一通信即服务以及公有云/私有云的软件和硬件。详情点击3、王兴下架美团云公有云业务? 或因B端业务太烧钱2018年1月12日晚,有媒体爆料称美团云公有云业务疑似被砍。中国IDC圈立即向美团云前公有云员工求证,对方回应:“这种调整,并不奇怪”。他表示,美团云此举有几方面原因,一是,公司本身基因问题;二是,公有云业务前期投入较大,可能致使收支不平衡;三是,美团云公有云业务与美团点评整个集团所处的阶段步调不一致。详情点击 4、数据中心,云计算,大数据之间有什么区别和联系?不少人把数据中心、云计算数据中心、大数据搞混淆,觉得这三者是一样的产品,其实有显著地区别,数据中心机房是一整套复杂的设施,如今,云计算即将成为信息社会的公共资源,而数据中心则是支撑云计算服务的基础设施,所以自从云计算横空出世,一切信息技术都开始围着它转,云计算有如神一样地存在着,下面看看数据中心、云计算、大数据之间有什么区别和联系?详情点击 5、 云计算到底能为银行的业务带来什么?云计算为现代银行业务的发展带来了巨大的变革,而实际上,得益于云计算这种创新的计算资源使用方式以及基于互联网标准的连接方式,商业银行可以利用云计算,将依赖计算资源运作业务,以一种更便捷、灵活的方式聚合,并按需分享,实现更高效、紧密的多方协同。而基于云计算技术的云业务模式,可以通过资源聚合、共享和重新分配,实现资源的按需索取,其中资源包括业务处理能力、信息甚至实物资源等。详情点击 6、华为马力:私有云与公有云共用华为云品牌将并行发展1月11日上午消息,自2017年3月华为副董事长、轮值CEO徐直军宣布成立专门负责公有云的Cloud BU以来,华为在公有云业务上动作频频。而近日华为IT云计算与大数据平台产品线总裁马力在接受媒体采访时表示,华为公有云和私有云解决方案将共用华为云品牌,并行发展。详情点击 7、亚马逊Q4云份额遭微软蚕食降至62% 后者营收增长一倍据CNBC网站北京时间1月14日报道,投行KeyBanc分析师发布的研究报告显示,亚马逊公司去年第四季度在公有云市场的份额出现下滑,而微软公司继续其增长势头。KeyBanc分析师布伦特·布拉塞林(BrentBracelin)和其他分析师在周四发布报告称,去年第四季度,亚马逊云计算服务Amazon WebServices的市场份额为62%,低于上年同期的68%.与此同时,微软云服务Azure份额从16%增长至20%,谷歌云服务份额从10%增长至12%.详情点击 8、人工智能和物联网发展推动云计算进入3.0时代“互联网+”加速了云计算的普及,目前约有 80% 的企业用户将其IT系统运行在云中。与此同时,人工智能和物联网的发展,带动了海量终端以及海量数据交互分析的需求,进一步加速了云计算市场和技术格局的改变。目前云计算的演进过程可以分为三个阶段,第一阶段,中小企业通过云计算实现从“无”到“有”的IT功能;第二阶段,云计算成为企业级用户IT核心应用的补充资源;第三阶段,在原生应用、人工智能和物联网驱动下,云计算成为企业IT的核心资源。当前,大多数企业正处于云计算的第二阶段,越来越多的企业开始选择将业务部署上云。详情点击 9、为什么2018年将是混合云的元年根据研究调查,85%的IT和业务决策者认为云计算将成为企业数字转型(DX)战略的重要组成部分,而无论是公共云、私有云,还是混合云。而全球云计算的市场规模预计将从2015年的670亿美元增加到2020年的1620亿美元。越来越多的企业在2018年采用云计算。但是,实施数字转型(DX)的策略也充满着风险。特别是加快新应用程序的交付时,或者在为客户提供服务的时候。详情点击 10、回眸2017:人工智能五大里程碑人工智能首次写入政府工作报告2017年3月5日,第十二届全国人民代表大会第五次会议正式开幕。国务院总理**在发表2017政府工作报告时指出,要加快培育壮大包括人工智能在内的新兴产业,加快人工智能技术的研发和转化,做大做强产业集群。这是人工智能首次被写入全国政府工作报告,意味着其上升至国家战略层面。详情点击
  • [技术干货] mysqldump如何优雅的导出大表
    在使用mysqldump导出数据时添加选项–q(--quick) 后,不会把SELECT出来的结果放在buffer中,而是直接dump到标准输出中。如果不加该选项,则会把select的结果放在本地buffer中,然后再输出给客户端。如果只是备份小量数据,足以放在空闲内存buffer中的话,禁用 -q 会快一些。但如果是大数据集,没办法完全hold在内存buffer中时,就会产生swap,效率反而更差。对于大数据集的导出,不加选项-q,不但会消耗主机的内存,更严重的是可能会造成数据库主机无可用内存继而宕机。总之,如果使用mysqldump来备份数据时,建议总是加上 -q 参数。导出示例:mysqldump-uroot -p -P8635 -h192.168.0.199--set-gtid-purged=OFF --single-transaction --flush-logs -q test t1>t1.sql
  • 大数据告诉你:2018年该学习什么技术
    前几天,数据科学家Julia Silge在Stack Overflow官方博客上分享了一组分析数据,他在文中揭示了快速增长的技术,快速衰落的技术,稳步增长的技术。我们从中可以看到,2018年你学习什么技术最值钱! 文中数据来源于Stack Overflow 的提问标签,且相同的标签提问次数都不少于10000次。 7875快速增长的技术 7876走向灭亡的技术 很明显的看出Swift 和 Angular式增长最快的语言,背后原因是因为Swift背后亲爹Apple大力加持,和苹果独有的生态体系,作为Objective C的替代者,它的增长毋庸置疑。Angular则代表了前端框架的流行趋势,面对快速发展的时代,适应需求才能活得长一些。Android Studio 是谷歌推出的开发 IDE,增长势头也很快。在 人工智能概念大行其道的今天,TensorFlow 几乎成为了机器学习和深度神经网络的工业标准,涨势喜人。 哪些技术有明显的下降呢?JavaScript 框架 Backbone.js 差不多已经走到了生命的尽头,用于 iPhone 开发的游戏引擎 Cocos2d 也渐渐淡出开发者的视野。 Silverlight 和 Flex 技术因为浏览器的背离,基本上已经属于历史遗产,这说明即使有大厂(Adobe 和 微软)背书,如果脱离了主战场,也是说完就完,不带走一片云彩。ORM 技术变得沉寂还是挺让人奇怪的,不过就我近几年在的互联网公司里技术应用,ORM 使用的确实很少了,也可能是技术成熟导致没什么人问问题了吧。 7877稳步增长的技术 有哪些稳步增长的技术呢?当然是前端大丰收了,Angular 居首,JavaScript 的生态系统成员 TypeScript 和 Meteor 紧随其后。Pandas 是 Python 的一个开源数据分析库,它提供的数据结构DataFrame 极大的简化了数据分析过程中一些繁琐操作,由于数据科学和机器学习的风生水起,Pandas 同样水涨船高。其他一些技术则在行业内有广泛的应用,比如搜索引擎 Elasticsearch,游戏引擎 Unity,亚马逊的 Web Service 服务,机器学习框架等等。 那么在2018年学习什么更符合趋势呢? 1、希望就业的同学来说,学习Java还是首选。它的需求还很庞大,企业服务端和安卓手机的不断增长让Java保持巨大增量。除了Java外,还有python,swift,Go, Javascript,c++也很值得关注。Python和JavaScript目前风头正劲,无需多言。随着Go的成熟,越来越多的企业也正是尝试Go,来构建项目。C++在硬件和科研方面还是主流。Swift正在全面取代Objective C,成为Apple的当家语言。 2、随着技术的成熟,物联网在2018年会有大的发展。万物互联不再是梦想,这里面包含的技术有蓝牙技术,WiFi技术,自动控制...... 将万物数字化连在一起的时候,这里面的想象力很大很大! 3、人工智能方面,在2018年会更加渗透到生活的方方面面。更多的企业会应用这项技术来推动自己的业务增长。
总条数:1461 到第 页
上滑加载中