• [问题求助] 7——区块链就是分布式数据库?
    区块链就是分布式数据库?答案显然不是!分布式数据库是一个中心化的系统,即数据的所有权一般有明确归属人(即逻辑上中心化管理),只是存储在不同的物理位置(参考 ),但区块链上的数据则是归属不同的人,链上的参与方对数据各自拥有 所有权和管理权,这个是有本质上的区别。另外,数据库一般有增删查改四个基本操作,而区块链主要是增查两个操作,删和改都是通过新增数据来实现的(也即是说,数据上链了,原始数据就一直都存在链上)。更多推荐:       华为云区块链产品及解决方案服务       华为云区块链各行业解决方案
  • HDC.Cloud2021|如何设计好分布式数据库,这个策略很重要
     数据库是应用和计算机的核心组成,试想,如果没有数据库,就像人的大脑没有了记忆一样,信息也得不到共享,那么,对开发者来说,如何设计一款高效易用的数据库至关重要。          GaussDB是企业级分布式数据库,具备分布式强一致、有效降低容灾成本、支持PB级海量数据、智能诊断等优点,是当下炙手可热的主流数据库,那么如何更好的设计分布式数据库的数据分布策略呢?首先介绍一下GaussDB的基本架构,便于理解后面的分析。图 逻辑架构  这个是一个典型的基于数据分片的分布式架构(share nothing),底层数据通过一定的规则比如hash、list或者range等让数据打散分布到不同的数据节点上,计算时底层多个节点共同参与计算。同时数据节点可以扩展,上层由协调节点进行SQL解析和转发。       从图中可以看到,主要包括三类节点:协调节点、数据节点、集群类节点(最重要的是全局事务管理器)。协调节点负责SQL解析转发,充当的是类似proxy的角色,数据节点负责计算和数据存储,全局事务管理器负责全局事务读一致性的保证。名称描述OM运维管理模块(Operation Manager)。提供集群日常运维、配置管理的管理接口、工具。CM集群管理模块(Cluster Manager)。管理和监控分布式系统中各个功能单元和物理资源的运行情况,确保整个系统的稳定运行。GTM全局事务管理器(Global Transaction Manager),负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。CN协调节点(Coordinator Node)。负责接收来自应用的访问请求,并向客户端返回执行结果;负责分解任务,并调度任务分片在各DN上并行执行。DN数据节点(Data Node)。负责存储业务数据、执行数据查询任务以及向CN返回执行结果。ETCD分布式键值存储系统(Editable Text Configuration Daemon)。用于共享配置和服务发现(服务注册和查找)。Storage服务器的存储资源,持久化存储数据。表 关键角色分布式SQL执行过程大致执行过程:业务应用下发SQL给Coordinator ,SQL可以包含对数据的CRUD操作;Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据;数据基于一致性Hash算法分布在每个DN,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供三种stream流(广播流、聚合流和重分布流)实现数据在DN间的流动;DN将结果集返回给Coordinate进行汇总;Coordinator将汇总后的结果返回给业务应用。数据分布策略场景实践       拿电子商城来举例,一个完整的商城会包括很多信息,例如用户、产品、订单、仓库、物流、支付等等很多信息。以下用订单、支付方式、快递公司这3个信息为例,这3个信息也只列出少量关键属性来举例。step1、数据库逻辑模型设计step2、功能设计常用场景一、查看子订单列表Select sn, status, money, product_id, product_mount from order t1, suborder t2 where t1.id = t2.order_id and t1.sn=’xxx’;常用场景二、查看子订单详情Select product_id, product_mount, t2.name as shipping_name, t3.name as pay_type_name from suborder t1, shipping_com t2, pay_type t3 where t1.id=’xx’ and t1.shipping_id=t2.id and t1.pay_type_id=t3.id;step3、物理数据模型设计子商城每天的订单量非常巨大,使用传统的主备库模式显然无法满足如此大数据量的请求和存储需要。而跨节点、可横向扩展的分布式数据库可以很好解决大规模海量数据的计算存储问题。GaussDB分布式模式最大可以支持1000+节点,PB级存储,分布式事务强一致等特性可以很好地满足政府、交通、金融、能源等行业的互联网+的诉求。这个场景中,订单表和支付方式表代表着两类数据,前者同客户数、时间正相关,一个中型的商城每天的数据可能就达到了百万条记录,暂记为A类数据;后者数据变化较小,往往是配置类的数据,暂记为B类数据。功能模块中存在A类数据之间的相互关联以及A与B类数据的关联。那么在分布式数据库下,当数据分布在不同的节点上,以上能否直接关联呢?如果能够关联的话,怎么样设计才能更好的达到性能上的要求呢?对于分布式数据库而言,如何使得以上的场景能够得到更好的性能,关键的是把表的数据分布策略选择好,而像分区、索引等设计同传统的单机差别不大。因此要回答这个问题,我们需要先了解GaussDB的数据分布策略。数据分布策略GaussDB支持的数据分布策略分布存储和并发查询是MPP架构数据库的主要优势所在。将一个大数据量表中的数据,按合适分布策略分散存储在多个DN实例内,可极大提升数据库性能。GaussDB V5支持如下表所示的数据分布策略:策略描述适用场景散列(Hash)将表中的数据通过hash方式散列到集群中的所有DN实例上。数据量较大的表。复制(Replication)将表中的数据复制到所有DN实例上,每个DN实例都拥有全量数据。数据量较小的表(10W行记录以下),根据集群数量酌情处理。下面这张图可以帮忙我们清晰地理解复制表和分布表,前者每个DN上都是一个完整的表,而后者每个DN上只是一个分片。语法:创建复制表create table region1(ctid_value int) distribute by replication;创建分布表create table region2(ctid_value int) distribute by hash(ctid_value);说明:当不指定分布方式,创建表默认为(第一个可以作为分布列的列为分布键)分布表看到这里这里,很多人马上就会明白,订单表和子订单表适合用分布表,支付方式表和快递公司表适合用复制表,那么是为什么呢? 让我们先了解下分布表及复制表的关联过程。表分布方式分布列订单Hashid子订单Hashorder_id快递公司Replication-支付方式Replication- 分布表及复制表关联过程(1)分布表和复制表的关联查询T1为hash表,T2为复制表。T1表的每一部分在各DN上分别与T2表进行连接。各DN上的连接结果集在CN上进行汇聚,产生最终输出的结果集。(2)分布表与分布表关联查询T1表和T3表都为分布表。在DN1实例上,T1表的p1部分与T3表的T1部分进行关联。T3表的p2、p3、p4复制到DN1上,与T1的p1部分进行关联。DN2、DN3、DN4实例操作与DN1类似。CN节点对各DN生成的结果集进行汇聚,生成最终数据结果集。注:细心的朋友可能看到,不同的DN之间可能会进行数据同步,在这种情况下,执行效率会就变差,如何避免这种情况,下面会讲到。分布键的选择尽量选择distinct值比较多的列,保证数据均匀分布。分布均匀是为了避免木桶效应,各个主机对等执行。 尽量选择Join列或group 列做分布列。尽量选择Join列或group 列是为了避免数据节点之间数据流动, 提高性能。避免数据广播在分布表关联分布时,分布列不同时,存在Streaming(type: BROADCAST)广播,不同DN节点之间数据存在交互,会增加网络开销,而分布列相同或关联复制表数据时,不存在DN节点间数据交互。下面我们进行下实际测试:例如对于表t1,t2,我们使用不同的分片列进行关联:select * from t1, t2 where t1.a = t2.b;方式1:t1、t2都选择a做分布列create table t1 (a int, b int) distribute by hash (a); create table t2 (a int, b int) distribute by hash (a);其执行计划如下:方式2:将a作为t1的分布列,将b作为t2的分布列:create table t1 (a int, b int) distribute by hash (a); create table t2 (a int, b int) distribute by hash (b);重新查看执行计划如下:分析:方式1由于存在“Streaming”,导致Datanode之间存在较大通信数据量。避免数据倾斜判断是否已发生数据倾斜现象SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM tablename GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count DESC;如果各DN内元组数目相差较大(如相差数倍、数十倍),则表明已发生数据倾斜现象,请按照下面原则调整分布列。 重新选择分布列,重新建表当前不支持通过ALTER TABLE语句调整分布列,因此,调整分布列时需要重新建表。 选择原则如下: 分布列的列值应比较离散,以便数据能够均分布到各个DN。例如,考虑选择表的主键为分布列,如在人员信息表中选择身份证号码为分布列。 在满足上面原则的情况下,考虑选择查询中的连接条件为分布列,以便Join任务能够下推到DN中执行,且减少DN之间的通信数据量。 总结 GaussDB是分布式架构,数据分布在各个DN上,设计好的数据分布策略是分布式数据库设计中最关键的环节。本文结合电子商城场景讲述了支持的数据分布策略、分布键的选择以及关联过程,还讲述了应该规避的问题。理解了以上这些内容后,相信你可以结合自己的业务场景,设计出最佳的数据分布策略。  作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!  点击链接,了解大会详细信息。cid:link_1
  • [技术专区] 31231231231233123
    132312312324234234234234234324234
  • 1234657
    123455
  • [技术干货] 华为云DDM:分库分表小能手,数据治理小专家
    大家好,我是一个普普通通的短信平台说起我的工作,相信大家都不陌生无论是注册、登录、还是办理业务短信验证码肯定没少收吧但有时候明明已经发送验证请求了验证码就是不来信号不好?网络出轨?黑客劫持?验证码迷路了么?NO!可能是我压力太大暂时挂了先别喷,我是有苦衷的作为一个短信平台,日均亿级业务流量,每天面对成千上万的手机号和各种业务信息,光是查询就脑壳疼,何况还有那么多业务数据,头都秃了。如果还使用了不太靠谱的数据库,那挂掉也是可能的。当然我不是那种轻易放弃的人,今天就来跟大家分享分享我的抗压小故事你可能知道我们日常业务流量为亿级,但是你知道我们还需要支持按手机号、时间范围精准查询吗?知道我们业务数据需要保留至少180天,甚至更久吗?而且,好巧不巧,霸霸一开始给我用的还是单机数据库,所以经常是一天的数据压下来,我就挂了!可能是看到了我的难处,所以找了一个小伙伴:分库分表小能手-华为云分布式数据库中间件DDM。首先,DDM一来就帮我把业务数据按手机号拆分成了 64个分片(总共4个RDS);然后,帮我按日期进行分表;TA说因为客户霸霸查询一般是按天查,所以按天分表,可以实现精准查询,嚯,足足分了366个表!对于不需要按时间日期分的表,就帮我开发了库内串行的特性,既能保护数据库,也节省DDM线程提高效率,一举N得呀!考虑霸霸需要清理180天前的数据,DDM决定按分表truncate的方法进行数据清理,说还可以提升数据库性能。对了:truncate是一个能够快速清空数据表内所有数据的SQL语法。经过华为云DDM一顿操作,我不但轻松搞定各种业务高峰,而且持续运行数月,再也未出差错,真是个靠谱的好伙伴!听起来有没有很欣慰?其实,这则小故事,看起来虽然是一个短信平台的“求救”,但实际上,也是千千万万个业务平台的现状。随着时代发展,数据量正成几何式爆炸增长,传统数据库面临着更多挑战,数据问题正成为企业数字化转型拦路虎。率先解决就能站在数据最高点,成为数字时代的赢家。依托华为优秀数据实践验证的方法论、以及丰富的数据管理工具,华为云不但为用户提供一系列高效易用的数据库工具服务,更有全套数据使能解决方案.帮助客户从多角度、多层次、多粒度挖掘数据价值,沉淀行业数据资产,完成数字化转型。看到这里的你,要来一起治理治理你的数据吗?
  • [技术干货] 【云图说】第197期 初识华为云分布式数据库中间件DDM
    分布式数据库中间件介绍页入口,详情请点击链接分布式数据库中间件成长地图入口,详情请点击链接好久不见,小云妹又给大家带来了新的知识~这次是我们的分布式数据库中间件DDM,它解决了单机关系型数据库对硬件依赖性强、数据扩容困难、数据库响应慢等难题。突破传统数据库的容量和性能瓶颈,实现海量数据高并发访问,一起来认识一下
  • 3131232
    https://support.huaweicloud.com/prtg-apache-kunpengbds/kunpenghbase_02_0001.html
  • [行业资讯] 选择华为云DDM,这家短信平台成功实现了“自救”
    支撑短信平台日均亿级业务流量,华为云DDM做到了 短信验证大家都熟悉,毕竟在信息大爆炸时代,注册需要验证,登录需要认证,办理业务需要认证,可以说短信认证进入了生活的方方面面。但是,你有没有过,明明已经发送验证请求了,但验证码就是迟迟不出现,你寻思着,这里信号不差啊,为啥就是没收到呢? 难道是黑客半路劫持?还是网络出轨了?额,不要乱猜,可能只是短信平台罢工了。 什么?TA还有脾气了,想不干就不干! 别气,或许TA有难言之隐呢!要知道短信平台日均亿级业务流量,每天面对成千上万的手机号和各种业务信息,光是查询就很让人头疼了,何况还有那么多的业务数据,所以TA的压力也是很大的。如果TA还使用了不靠谱的数据库,那挂掉也是极有可能的。 害,这年头,谁没有压力啊,不能光用一句压力大就可以逃避问题吧!当然不能,所以短信平台开始“自救”了。于是TA找到了华为云,开启了“自救”故事副本。 华为云针对短信平台业务特点和用户诉求,利用分布式数据库中间件DDM对短信平台的数据库架构做了分库分表升级,构建了一套高扩展、高性能、实时响应的业务系统。 这么高能!怎么做到的?来,让我们一起捋捋。 首先,我们知道短信平台日常亿级业务流量,需要支持按手机号和时间范围精准查询,而且业务数据需要保留至少180天(有可能根据业务策略调整),而TA好巧不巧一开始还用了单机数据库,所以压了一天数据就挂了,愁得啊~但是,华为云怎么能忍受客户发愁呢,经过客户同意,立马就将原数据库架构进行分库分表升级。华为云先把业务数据按手机号拆分成 64个分片(总共4个RDS),然后按日期进行分表(分了366个表),因为客户的查询一般是按天查,所以按天分表可以实现精准查询;同时客户需要清理180天前的数据,华为云按分表truncate的方法进行数据清理,提升了数据库性能。华为云经过一连串动作,成功让客户由愁转乐,而且持续运行数月,至今未出差错,可轻松搞定各种业务高峰。华为云分布式数据库中间件DDM为短信平台提供的解决方案图 是不是很6!其实华为云分布式数据库中间件DDM还为客户实现了以下功能:l  所有带手机号的表,全部按上文拆分,确保inner join/left join可以下推给MySQL并极致并行。l  对于查询条件不带时间范围的,原来会按表并行,这会造成MySQL卡顿,华为云后来为客户开发了库内串行的特性,既保护了MySQL,也节省了DDM线程。l  为客户提供指定分表的 truncate table功能,让客户轻松清理历史数据。 这则“自救”故事表面上是短信平台的自我解救,实际上也反映了随着时代发展,数据量成几何式增长的现状,传统数据库面临更多的问题和挑战。谁能解决这些困扰客户的问题,谁就可以站在数据最高点,成为数字时代的赢家,而华为云选择了迎难而上,根据市场变化和客户诉求,提供了先进卓越的产品和服务。 华为云分布式数据库中间件DDM专注于解决数据库分布式扩展问题,突破了传统数据库的容量和性能瓶颈,实现海量数据高并发访问,不仅可以帮助短信平台成功“自救”,还在互联网、物联网、传统应用上云等方面广泛应用,为客户海量数据复杂业务场景提供了更高扩展、高性能、高可用的解决方案。 【11·11云数据库专场】深度剖析行业痛点,提供全套解决方案,爆款产品低至2折,ECS+MySQL组合购还可享折上9折!  更多惊喜猛戳→  https://activity.huaweicloud.com/dbs_Promotion/index.html              
  • [数据库] 【第9课】手把手教您创建DDM逻辑库
    DDM专注于解决数据库分布式扩展问题,突破了传统数据库的容量和性能瓶颈,实现海量数据高并发访问,其核心的优势是提供数据库水平扩展能力。当业务达到一定规模后,需要通过分库分表来进行负载均衡从而达到大量业务压力场景下平滑支撑的能力。通过逻辑库,则可便捷的进行分表/逻辑表操作,下面将给大家介绍如何创建逻辑库。【前提条件】·         成功登录分布式数据库中间件服务控制台。·         当前DDM实例状态为“运行中”。·         已有RDS实例,且该RDS实例满足以下条件。1)与当前DDM实例处于相同VPC和子网;2)未被其他DDM实例使用。【操作步骤】在分布式数据库中间件服务实例管理列表页面,在目标实例操作栏单击“创建逻辑库”按钮。或者您可在分布式数据库中间件服务实例管理列表页面,单击目标实例名称,进入实例基本信息页面。在左侧导航栏选择“逻辑库列表”,进入逻辑库列表页面。在逻辑库列表页面单击“创建逻辑库”按钮,进入创建逻辑库页面。 2.在创建逻辑库基本信息页面填写逻辑库名称,选择单RDS分片数,设置好信息,单击页面下方的“下一步:选择RDS”按钮。说明:      1)逻辑库名称:长度为2-24个字符,必须以字母开头,且不区分大小写,可以包含字母、数字、下划线,不能包含其它特殊字符。      2)单RDS分片数:支持8、16片2种规格。 3.在选择RDS实例页面,勾选RDS实例,您可将该RDS实例设置为单表的储存节点。单击页面下方“下一步:预览”按钮。 4.在预览页面,输入RDS管理员密码,分片预览信息无误后,单击页面下方的“完成”按钮。更多DDM相关介绍,欢迎查看https://support.huaweicloud.com/ddm/index.html
  • [技术干货] 【云图说】第161期 初识华为云GaussDB(for MySQL),新一代企业级高扩展海量存储分布式数据库
    云数据库GaussDB(for MySQL) 介绍页入口:https://www.huaweicloud.com/product/gaussdb_mysql.html云数据库GaussDB(for MySQL)帮助文档入口:https://support.huaweicloud.com/gaussdb/index.html数据库的大家庭又有了一位重磅级成员——云数据库GaussDB(for MySQL),它是华为自研的新一代企业级高扩展海量存储分布式数据库,兼容MySQL。既拥有商业数据库的高可用和高性能,又具备开源低成本效益。一起来认识下,
  • [行业资讯] 7倍性能提升!华为云新型分布式数据库 Taurus 之谜
    3月30日,由中国 MySQL 用户组主办的ACMUG 全国巡讲深圳站圆满结束,华为云新一代企业级分布式数据库 Taurus 亮相技术峰会,其一系列高精尖特性背后的设计理念和技术原理也在外界的期盼中徐徐展现。Taurus 是华为云自研的最新一代云原生分布式数据库,完全兼容 MySQL 8.0,采用计算与存储分离、日志即数据的架构设计,支持1写15读,性能达到原生 MySQL 的7倍。此外,Taurus 构建在共享分布式存储上,存储空间最高达128T,能跨 AZ 部署。纵观业界,华为云Taurus 无论是功能还是性能,均走在了数据库领域的最前沿。那么,Taurus又是如何推陈出新一步步走到今天的呢?云上 MySQL 架构的不足当前,对于RDS for MySQL,各大云厂商基本都采用主备高可用模式、主备间使用Binlog复制(有些厂商采用DRBD),该架构下每添加一个从库都需要全栈式资源。这导致了一些问题:1. 资源浪费备库往往不承担流量;复制线程会消耗主库/从库计算资源,造成计算资源浪费;EVS的 3 副本冗余机制下,最大需要3*(N+1)个副本,造成存储资源浪费;以及多种数据需要走存储网络进行刷盘,造成网络资源浪费等。2. 扩展性不佳添加只读时需要拷贝数据,重放binlog,对于大数据量情况下速度很慢,尤其是采用本地盘方案。主从复制延迟问题会让主备倒换受影响,难于保证RTO。此外,采用物理备份、逻辑备份时备份恢复速度很慢, 1T以上数据量都以小时计,使得数据库扩展性受限。数据库作为承载业务和应用的核心所在,提供高扩展、高性能、高可用的分布式服务日渐成为用户刚需。如何兼容MySQL生态、对原有MySQL 应用无需任何改造就能轻松迁移?如何存储互联网业务下的海量数据?如何保障无缝弹性扩容、高可用、高并发性能?而现在,这些问题都找了答案。华为云 Taurus 分布式架构满足用户数据库高要求华为云的宗旨一向是想客户之所想,急客户之所需,华为云数据库 Taurus 也正是在这样的背景下诞生。架构上,Taurus 采用计算与存储分离,日志即数据,将IO 密集型负载卸载到存储节点完成。Taurus 还充分利用云存储的能力,实现存储层实现独立容错和自愈服务和共享访问(单写多读)。此外,Taurus还采用软硬件结合,充分利用RDMA网络、NVME SSD等硬件优势,对内核进行深度优化,使性能有大幅提升。对于大量对数据库有高要求的行业而言,华为云Taurus 的推出无异于“雪中送炭”。不但性能强悍,而且数据安全可靠、业务有保障,可广泛应用于下面的应用场景。 强悍性能支撑业务拓展随着 SaaS 应用在企业级市场的切入,高吞吐和高性价比随之成为大型互联网公司、传统大企业对数据库的要求。一方面,庞大的业务和高吞吐量使得开源库无法解决数据处理问题,另一方面,SQL Server、Oracle 等商用数据库的 license费用也成为企业高成本的一大忧患。Taurus 具有 RDMA、V5CPU、Optane等硬件优势和数据库逻辑下推、释放算力、减少网络开销的架构优势,完全兼容 MySQL 8.0 并提供7倍于原生 MySQL 的性能,对用户而言不用改造业务就能充分享受超高性能的数据库服务。且成本只有商用数据库的1/10。极致可靠助力金融行业实现数据0丢失故障闪恢复受监管诉求驱动,可靠性和可用性是金融行业的核心诉求。第一要务是数据不能丢,其次是故障秒级恢复。但传统MySQL 并不能支持此高要求。Taurus 的共享存储架构,将数据持久化放入新一代存储中,充分保障数据强一致性和0丢失。Taurus的存储3副本容错能力,使得数据库的单点故障0中断得以实现,加之对跨AZ 部署和跨 Region 容灾的支持,让计算节点故障秒级恢复不再是难题。多维扩展和海量存储满足游戏行业高速发展需求轻资产,快速扩容作为游戏行业使用云数据库驱动力,其主要目标在于解决无法预测用户流量以及产生的数据量、业务高峰时用户体验会受到影响甚至要停服扩容的问题。Taurus 基于云虚拟化,单节点可规格变更,且计算节点支持双向扩展,支持1写15读,扩展比达0.9。此外数据存储池化后最大可支持128TB容量,且存储按需计费, 扩容不中断业务,计算节点扩容也不会带来存储成本上升。Taurus 的愿望很简单,希望用户同时享受商业级的技术服务和开源软件的生态红利。想了解更多信息,请扫码关注【HW云数据库】
  • [行业资讯] 十年磨一剑:华为云自研云上企业级融合分布式数据库发布
    3月22日, 2019 华为生态大会在福州圆满落幕。本次大会上,华为云发布了两款具有划时代意义的云数据库产品:最新一代企业级高扩展海量存储分布式数据库Taurus,和全球化的 NoSQL 分布式多模数据库Gemini。二者均为华为云厚积薄发的自研产品,针对用户普遍需求,结合当下云数据库领域最新技术,在功能和性能方面都有大幅提升。十年磨一剑:华为云自研云上企业级融合分布式数据库发布新一代企业级高扩展海量存储数据库 Taurus绝大部分企业在数据库选择方面,都曾面临一个难题:开源还是商业?商业级数据库性能好,可靠性高,数据库厂商提供数据库维护,但成本高、生态不开放。大型企业每年支出的Lisence 和运维费用高达千万,中小企业基本无法负担。此外应用被数据库绑定,要迁移到别的生态就得改应用,改造成本相当之高。开源数据库可免费使用、用户量大生态广阔,但可靠性差、安全性、性能都较差,且维护成本高。开源数据库需要专业的DBA 人才团队来运维,并且高可用方案尚不完善,容易出现丢数据、故障恢复时间长等问题。此外,面对互联网上的攻击,企业需要投入额外的成本做安全防护,出了问题也只能依赖社区,效率得不到保障。那么,有没有同时结合了商业数据库和开源数据库两者优势的数据库呢?华为云数据库Taurus 就是最佳答案。1极致可靠华为云 Taurus 采用存储与计算分离的新型架构,提供跨3个城市的数据副本,将备份数据保存至OBS(对象存储服务),数据可靠性高达11个9(99.99999999%),绝无数据丢失的担忧。此外通过数据分片技术,Taurus能实现秒级恢复存储故障,软件故障恢复则可保障业务不中断和数据0丢失。小到软/硬件故障,大到自然灾害,都有自动化快速恢复方案。 2极致性价比华为云 Taurus 的单节点性能最大可达原生 MySQL的7倍;同时通过只读扩展,读性能可以成倍线性提升,业界同类产品无与争锋。在同等规模下,Taurus成本只有商业数据库的1/10,且提供整套数据库运维服务,可大大减少企业人力投入。 3多维扩展Taurus 集群规模高达1写15读,其中只读节点企业可以根据业务需要在线动态扩展/收缩,无论是CPU、内存、还是数据库节点,都能够简便地一键扩展,方便快捷。Taurus还会根据用户存储容量自动扩容,存储空间最大可达 128TB,且扩容期间不会对业务造成任何影响,消除了运维人员通宵部署硬件之苦。 4完全可信Taurus通过与DBSS(数据库安全服务)的透明化集成,不用修改应用,只需在界面配置即可享受智能化的安全保障,可以防御各种互联网攻击,防护数据泄露。 当前,华为云数据库已通过可信云认证,提供国际级的隐私和数据保护。值得一提的是,Taurus 完全兼容MySQL8.0 版本,用户可以将原有的 MySQL 线下业务无缝迁移上云,不用担心额外业务改造成本。后续,华为云将在持续优化Taurus 性能和功能的基础上,同步社区更新,使用户在技术上同时享受商业级的技术服务,和开源软件的生态红利。 全球化的分布式多模数据库 GeminiGemini 是一款华为自研的旗舰级、CloudNative架构、Serverless 按需弹性伸缩、跨Region容灾、自驱动的、多模 NoSQL 云数据库服务产品。其兼容支持多种主流NoSQL生态/接口模型,包括 MongoDB、Cassandra和 DynamoDB 等。1 3倍性价Gemini 在社区版的相同配置情况下,能达到 3 倍性能提升。Gemini具备业界领先的Serverless特性,即根据吞吐量需求自动的弹性伸缩,为客户节省大量成本。2 企业级可靠性Gemini 具备企业级的数据可靠性,能够容忍N-1个节点故障,并且在节点故障时对客户的应用无感知,不影响数据的读写。通过多节点并行的快照备份,做到10 倍以上的备份恢复性能提升,20分钟内能够完成任意时间点的恢复。3 灵活全托管Gemini 基于业界领先的计算存储分离架构模式,灵活性能够达到同类产品百倍。此外它在内核层面做到实时监控实例的数据存储量以及吞吐量,一旦达到扩容阈值,在2分钟内能够自动扩展完成,让用户可以放心托管数据库。4 完善的数据库生态Gemini 具备完善的数据库生态体系,有DAS作为图形化的数据编辑工具,有DRS支持数据的在线迁移、同步和跨版本的复制,有云DBA作为自动化的数据库诊断工具,并且能够与大数据组件无缝对接。Gemini 的特性使其非常适用于游戏、工业制造、互联网等行业。游戏具有快速迭代、开服吞吐量高峰、快速开服、全球同服、降成本、附近玩家、回档等行业关键需求,在Gemini下都能够很好地支持。工业制造、互联网行业需要存储海量数据,Gemini 能很好的支持7*24小时实时高并发数据写入,作业高峰期弹性扩展。华为云 Gemini 将在全球布局规划,让每个 Region间数据实时进行超低时延的同步,帮客户业务实现全球容灾和就近读写。轻松上云:华为云DRS实现多场景数据迁移作为核心业务运行的主要承载体,数据库上云一直是客户最关心的问题之一。如何保障迁移时核心业务不中断?如何确保数据不丢失?数据库迁移实施难度大、没有专家团队怎么办?华为云数据复制服务DRS正是为了解决这些问题而推出。华为云 DRS 是一种易用、稳定、高效,用于数据库在线迁移和数据库实时同步的云服务,业内首家提供数据预估功能、参数迁移、用户迁移,并通过多项核心技术,让RPO&RTO双控在秒级,数据库异地灾备的业界最高水平,完美解决跨云灾备、本地到云灾备、混合云灾备、跨区云灾备等场景下的能力空白。DRS 的引导式操作、近百项检查、详细的指导让没有迁移经验的用户也能做好迁移。此外通过在线迁移技术和数据实时同步,能确保数据库迁移上云业务中断时间最小化。DRS的断点续传、故障重试、迁移后对象、数据对比等多项特性组合,实现迁移任务高效、无死角,数据 0 丢失的完成。当前,DRS 支持多来源、多网络、多引擎迁移。无论用户是从本地机房、其他云、华为云内部,采用公网网络、华为VPN网络、专线网络、华为VPC网络,均可对MySQL、SQL Server、PostgreSQL任意一款数据库进行迁移。云开年采购季火热进行中!免费抽奖,人人有礼,消费满额送mate20,爆款数据库低至5.8 折 火热抢购,了解详情,请点击下面链接。https://activity.huaweicloud.com/2019Feb-promotion/index.html?utm_source=wechat&utm_medium=officialaccount&utm_campaign=2019feb_promotion_0322&utm_content=sjk_xcp
  • [热门活动] 【10.24关爱码农】寻找码农锦鲤——这个冬天,你的温暖我来送
    活动已经正式结束啦,似乎大家都不积极呢,社区的参与人数还是未达到开奖标准,我们的锦鲤要落空了呢~~但是我们最终决定抽出10位幸运奖,赠送华为云Redis600元代金券一张,以下是各位中奖者名单,三个工作日内,我们的代金券将会发到您的账户上,请注意查收哦~~①lishuimo②ichblue88③chjchjchj④wang7955760⑤dongdadongda⑥qd_zhangqxue⑦yu361518431⑧yun_mincloud⑨xiaomengbot⑩henyuxu----------------------------------------------------------我是分割线------------------------------------------------------------10月24日,一年中的第297天,对无数可爱又可敬的“码农”们而言,是一个特殊的日子——1024程序员节!感谢所有辛勤付出的码农朋友,是你们用一个个代码,构建了我们快捷高效的数字时代! 在这个特殊的节日中,华为云中间件给各位码农朋友送温暖来啦~寻找码农锦鲤活动正式开启!参与活动,我们将抽取1名朋友成为云中间件“锦鲤”,赢取超级超级丰厚的奖品(礼品清单见下方)~没有被抽中锦鲤的朋友,我们也有精美的礼品赠送哦~~锦鲤礼品清单:华为云分布式缓存服务Redis    600元代金券1张华为云分布式数据库中间件DDM    600元代金券1张华为荣耀10手机一部        价值2599元加湿器1个     价值139元华为小天鹅蓝牙音箱1个    价值89元享睡纽扣1个   价值79元华为荣耀耳机1副    价值49元 活动时间:2018年10月23日-2018年11月07日活动参与方式:1、购买Memcached和DDM0.1元包月实例,体验产品2、截图回帖+产品体验或建议留言+华为云用户名3、经审核订单真实有效、回帖有效,即可参与抽奖称为锦鲤 0.1元抢购Memcached包月实例              0.1元抢购DDM包月实例 (两个套餐都要需要购买哦~)奖品设置及规则:三等奖4名:在前50楼的有效回帖中抽取4名,获得华为荣耀耳机1副(有效楼层满50层开奖)二等奖3名:在前100楼的有效回帖中抽取3名,获得华为小天鹅音箱1个(有效楼层满100层开奖)一等奖2名:在前150楼的有效回帖中抽取2名,获得加湿器1个(有效楼层满150层开奖)锦鲤1名:在所有有效回帖中抽取1名,称为华为云中间件锦鲤,获得锦鲤礼品清单的所有奖品(有效楼层满200层开奖) 中奖小贴士:①    越早回帖中奖概率越高哦,所以要抓紧时间尽快参与呀~~②    锦鲤大奖需要满足200有效回帖数,你可以多多邀请自己的好友来参与哦,增加中奖概率,最后礼物怎么分配,你们自己说了算~~③    谨记要遵守活动规则,不然取消了资格得不偿失呢~~ 说明:1、 本次活动华为云的认证用户即可参加;2、 活动回帖不可盗用他人截图,否则视为无效;不可重复盖楼,多次盖楼视为一次有效回帖;如有恶意刷楼、弄虚作假的行为,将取消其参与资格;3、 一、二、三等奖不重复中奖,如重复抽中,将再抽取一次;锦鲤可重复被抽中一、二、三等奖其中之一;温馨提示:1、 我们在11月8日公示获奖者名单。同时会在3个工作日内联系获奖者,在公示后7个工作日内统一发放奖品。2、 有效楼层指按照要求参与活动,不同ID,且不同实名认证用户。3、 禁止华为云及其业务外包方员工参加(除非作出说明),若参加后获奖(含员工小号获奖),则取消获奖资格。4、 请遵守华为云社区常规活动规则。
  • 分布式数据库中间件使用心得
    关键字:高可用、分布式、多可用区       最近公司新项目使用了华为云的DDM分布式数据库中间件服务,通过一段的时间的使用感觉还不错。近段时间发现有许多小伙伴也准备去使用这个服务,所以为大家分享一下使用 创建DDM服务的经验,帮助小伙伴们少走弯路。       首先在使用创建DDM实例的时候小伙伴们会遇到的第一个问题应该是如何选择DDM实例的规格,选小了满足不了业务量,选大了浪费多余的性能。 那么应该如何解决呢?DDM服务公布了不同规格DDM实例的性能压测数据,如下图,我们可以参考DDM的性能压测数据,再通过对公司业务发展规模的评估,选择相对应的DDM实例规格。混合读写OLTP场景sql类型DDM规格并发数QPS混合sql8C16G2564947416C32G2568730232C64G25615267164C128G512317431 简单查询场景sql类型DDM规格并发数QPS单select8C16G25610800316C32G25620522832C64G25642558564C128G512796614         选择规格之后,在创建DDM实例的界面,我们会看到有可用分区这个选项。可能有部分小伙伴不理解可用分区是什么意思,在这里也一起解释一下。      不同的可用分区在物理上分布在不同的地点,可以简单地理解为:在同一区下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离(如下图所示)。针对可用区的选择上,主要从两个方面考虑:   (1)如果您需要提高应用的高可用性,建议您将云服务器创建在不同的可用区内。这样我们使用的DDM实例虚拟机的物理资源,就分布在了多个可用分区上,当其中有可用分区的物理资源出现故障时,只要有一个可用分区还正常运行我们的DDM实例就依然可以使用。   (2)如果您需要较低的网络延迟,建议您将云服务器创建在相同的可用区内。             还有一点需要注意的是,在创建DDM实例时选择的VPC与安全组必须要与你的ECS服务器使用的一致,否则会导致网络不通如下图所示(华为云出于安全上的考虑,VPC之间默认网络不互通,安全组不一致有可能导致网络访问被拦截),在华为云创建了多个VPC和安全组的同学需要注意一下。            DDM实例的使用需要关联RDS实例,因此在创建完DDM实例之后,还需要创建RDS实例才能够使用DDM实例。下面我们继续介绍RDS实例创建的注意事项。         首先需要注意的是,存储类型一定要选择超高IO类型,如下图所示,超高IO类型的最大吞吐量达到350MB/S,性能大大提高,并且价格只比普通IO贵20多块钱超值。数据库版本,优先选择最高MySQL5.7+,新版本会修复旧版本存在的漏洞,并且性能上会有所提高。           实例类型(如下图所示)如果仅仅是学生小伙伴自己玩玩,或者用于开发测试环境,则可选择单机实例即可,省点钱。但是如果是使用于公司的业务,则建议选择主备实例,预防万一,保证业务的稳定运行,提高可靠性,就相当于买个保险了,多花点钱图个安心,完全值得。            RDS实例规格可以适当选择小点,以便创建多个RDS,比如:如果需要一个2核8GB的RDS,可以换成创建两个1核4GB的RDS。这样的好处是,在使用DDM实例时,可以挂载多个RDS,提高使用DDM实例的性能。需要注意的是,创建RDS实例时,选择的VPC与安全组,也与创建DDM实例时选择的一样,必须与你的ECS服务器使用的一致。         最后在创建完RDS实例之后,如果对性能有更高要求的小伙伴,可以在RDS实例管理界面,创建只读实例,如下图所示,创建的只读实例的规格与主RDS实例的规格一致即可。创建了只读实例后,可以在DDM服务中,设置访问主RDS实例与只读RDS实例的负载均衡策略,进一步提升DDM实例的性能。                  好了,今天的分享就先到这里,后面还会继续分享DDM实例创建逻辑库、逻辑表、负载均衡策略等相关经验,小伙伴们如果有什么疑问可以随时与我交流分享吗,谢谢大家!欢迎扫码查看更多精彩:
  • 分布式数据库中间件使用心得
            关键字:高可用、分布式、多可用区       最近公司新项目使用了华为云的DDM分布式数据库中间件服务,通过一段的时间的使用感觉还不错。近段时间发现有许多小伙伴也准备去使用这个服务,所以为大家分享一下使用 创建DDM服务的经验,帮助小伙伴们少走弯路。       首先在使用创建DDM实例的时候小伙伴们会遇到的第一个问题应该是如何选择DDM实例的规格,选小了满足不了业务量,选大了浪费多余的性能。 那么应该如何解决呢?DDM服务公布了不同规格DDM实例的性能压测数据,如下图,我们可以参考DDM的性能压测数据,再通过对公司业务发展规模的评估,选择相对应的DDM实例规格。混合读写OLTP场景sql类型DDM规格并发数QPS混合sql8C16G2564947416C32G2568730232C64G25615267164C128G512317431 简单查询场景sql类型DDM规格并发数QPS单select8C16G25610800316C32G25620522832C64G25642558564C128G512796614         选择规格之后,在创建DDM实例的界面,我们会看到有可用分区这个选项。可能有部分小伙伴不理解可用分区是什么意思,在这里也一起解释一下。      不同的可用分区在物理上分布在不同的地点,可以简单地理解为:在同一区下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离(如下图所示)。针对可用区的选择上,主要从两个方面考虑:   (1)如果您需要提高应用的高可用性,建议您将云服务器创建在不同的可用区内。这样我们使用的DDM实例虚拟机的物理资源,就分布在了多个可用分区上,当其中有可用分区的物理资源出现故障时,只要有一个可用分区还正常运行我们的DDM实例就依然可以使用。   (2)如果您需要较低的网络延迟,建议您将云服务器创建在相同的可用区内。             还有一点需要注意的是,在创建DDM实例时选择的VPC与安全组必须要与你的ECS服务器使用的一致,否则会导致网络不通如下图所示(华为云出于安全上的考虑,VPC之间默认网络不互通,安全组不一致有可能导致网络访问被拦截),在华为云创建了多个VPC和安全组的同学需要注意一下。            DDM实例的使用需要关联RDS实例,因此在创建完DDM实例之后,还需要创建RDS实例才能够使用DDM实例。下面我们继续介绍RDS实例创建的注意事项。         首先需要注意的是,存储类型一定要选择超高IO类型,如下图所示,超高IO类型的最大吞吐量达到350MB/S,性能大大提高,并且价格只比普通IO贵20多块钱超值。数据库版本,优先选择最高MySQL5.7+,新版本会修复旧版本存在的漏洞,并且性能上会有所提高。           实例类型(如下图所示)如果仅仅是学生小伙伴自己玩玩,或者用于开发测试环境,则可选择单机实例即可,省点钱。但是如果是使用于公司的业务,则建议选择主备实例,预防万一,保证业务的稳定运行,提高可靠性,就相当于买个保险了,多花点钱图个安心,完全值得。            RDS实例规格可以适当选择小点,以便创建多个RDS,比如:如果需要一个2核8GB的RDS,可以换成创建两个1核4GB的RDS。这样的好处是,在使用DDM实例时,可以挂载多个RDS,提高使用DDM实例的性能。需要注意的是,创建RDS实例时,选择的VPC与安全组,也与创建DDM实例时选择的一样,必须与你的ECS服务器使用的一致。         最后在创建完RDS实例之后,如果对性能有更高要求的小伙伴,可以在RDS实例管理界面,创建只读实例,如下图所示,创建的只读实例的规格与主RDS实例的规格一致即可。创建了只读实例后,可以在DDM服务中,设置访问主RDS实例与只读RDS实例的负载均衡策略,进一步提升DDM实例的性能。                  好了,今天的分享就先到这里,后面还会继续分享DDM实例创建逻辑库、逻辑表、负载均衡策略等相关经验,小伙伴们如果有什么疑问可以随时与我交流分享吗,谢谢大家!欢迎扫码查看更多精彩: