- 开发者
- NoSQL数据库
#NoSQL数据库#
- 在云服务中, 为了提高数据的持久性和可用性,通常将数据存储在多个AZ(Availability Zone)之中,每一个AZ拥有独立的供电系统和网络设备,这样,单AZ的故障并不会导致数据的丢失或服务的不可用。 对于云服务而言,如果拥有了跨AZ 的数据同步和业务多活能力,就可以宣称,该服务按年计算可以达到4个9的可用性和11个9的持久性。本文主要介绍跨AZ数据复制方案中所涉及的EC与XOR技术。 在云服务中, 为了提高数据的持久性和可用性,通常将数据存储在多个AZ(Availability Zone)之中,每一个AZ拥有独立的供电系统和网络设备,这样,单AZ的故障并不会导致数据的丢失或服务的不可用。 对于云服务而言,如果拥有了跨AZ 的数据同步和业务多活能力,就可以宣称,该服务按年计算可以达到4个9的可用性和11个9的持久性。本文主要介绍跨AZ数据复制方案中所涉及的EC与XOR技术。
- 关于如何阅读开源社区源码,最近陆续有同学过来问我这个问题。前段时间,在HBase技术交流群里,大家也讨论过一些零散的方法,但都不系统。借着这个问题,我也认真回顾了一下自己所用过的一些方法,觉的有必要整理出来,供大家参考。 关于如何阅读开源社区源码,最近陆续有同学过来问我这个问题。前段时间,在HBase技术交流群里,大家也讨论过一些零散的方法,但都不系统。借着这个问题,我也认真回顾了一下自己所用过的一些方法,觉的有必要整理出来,供大家参考。
- Flush与Compaction其实属于Write流程的继续,所以本文应该称之为"Write后传"。在2.0版本中,最主要的变化就是新增了In-memory Flush/Compaction,而DateTieredCompaction并不算2.0新加入的特性,2.0版本在Compaction核心算法方面并没有什么新的突破。本文将带你探讨Compaction的一些本质问题。 Flush与Compaction其实属于Write流程的继续,所以本文应该称之为"Write后传"。在2.0版本中,最主要的变化就是新增了In-memory Flush/Compaction,而DateTieredCompaction并不算2.0新加入的特性,2.0版本在Compaction核心算法方面并没有什么新的突破。本文将带你探讨Compaction的一些本质问题。
- 本文先简单介绍了图数据库的发展趋势,而后重点介绍了分布式图数据库Titan,围绕图数据库的典型查询(扩线查询)场景,分析了Titan在设计上的一些待改进点。最后简单介绍了图数据库与图引擎的关系。 本文先简单介绍了图数据库的发展趋势,而后重点介绍了分布式图数据库Titan,围绕图数据库的典型查询(扩线查询)场景,分析了Titan在设计上的一些待改进点。最后简单介绍了图数据库与图引擎的关系。
- 如果将上篇内容理解为一个冗长的"铺垫",那么,从本文开始,"剧情"才开始正式展开。本文基于所给出的样例数据,介绍了将数据从Client写到RegionServer的全流程。 如果将上篇内容理解为一个冗长的"铺垫",那么,从本文开始,"剧情"才开始正式展开。本文基于所给出的样例数据,介绍了将数据从Client写到RegionServer的全流程。
- 在众多SQL On Hadoop的解决方案中,Kylin采用了Cube的思路来加速多维分析型查询,Cube是传统数据仓库常用的一种技术,本文简单讨论Kylin多维分析的原理以及Kylin的缺点。 在众多SQL On Hadoop的解决方案中,Kylin采用了Cube的思路来加速多维分析型查询,Cube是传统数据仓库常用的一种技术,本文简单讨论Kylin多维分析的原理以及Kylin的缺点。
- 在谈论数据库的最新趋势时,我们习惯了参考DB-Engine上所提供的排名信息。每当新的报告出来时,我们也时常看到各个媒体网站争先发布关于最新排名的分析内容。如标题所言,你是否曾质疑过DB-Engine所给出的这份排名? 在谈论数据库的最新趋势时,我们习惯了参考DB-Engine上所提供的排名信息。每当新的报告出来时,我们也时常看到各个媒体网站争先发布关于最新排名的分析内容。如标题所言,你是否曾质疑过DB-Engine所给出的这份排名?
- 一个完整的OpenTSDB HTTP Query请求,分别由OpenTSDB I/O Thread和AsyncHBase I/O Thread完成。OpenTSDB I/O Thread线程负责处理HTTP Query请求,AsyncHBase I/O Thread负责处理HBase的响应并发送HTTP响应。 一个完整的OpenTSDB HTTP Query请求,分别由OpenTSDB I/O Thread和AsyncHBase I/O Thread完成。OpenTSDB I/O Thread线程负责处理HTTP Query请求,AsyncHBase I/O Thread负责处理HBase的响应并发送HTTP响应。
- 以PCM为代表的新型存储设备摒弃传统磁盘存储方式,采用新型存储介质存储数据,摆脱了硬盘的机械特性限制,无需数据寻道时间,因而具有很大的优势,其中相变存储器因其各方面的优良特性而备受关注,得以广泛研究与应用。 以PCM为代表的新型存储设备摒弃传统磁盘存储方式,采用新型存储介质存储数据,摆脱了硬盘的机械特性限制,无需数据寻道时间,因而具有很大的优势,其中相变存储器因其各方面的优良特性而备受关注,得以广泛研究与应用。
- 前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义,这篇文章介绍OpenTSDB的线程模型,主要是处理HTTP请求的线程池以及负责HBase响应的线程池。 前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义,这篇文章介绍OpenTSDB的线程模型,主要是处理HTTP请求的线程池以及负责HBase响应的线程池。
- 上一篇文章《OpenTSDB原理系列-元数据模型》讲到了OpenTSDB的基础概念以及元数据模型,这篇文章继续介绍OpenTSDB的HBase数据表设计。OpenTSDB共涉及两种类型的数据:Metrics数据以及Annotation(注释)数据,在将这些数据存到HBase表中时,针对RowKey, Qualifier以及Value信息都做了特殊设计,从而使得存储更加高效。 上一篇文章《OpenTSDB原理系列-元数据模型》讲到了OpenTSDB的基础概念以及元数据模型,这篇文章继续介绍OpenTSDB的HBase数据表设计。OpenTSDB共涉及两种类型的数据:Metrics数据以及Annotation(注释)数据,在将这些数据存到HBase表中时,针对RowKey, Qualifier以及Value信息都做了特殊设计,从而使得存储更加高效。
- 本文作为介绍OpenTSDB原理系列文章的第一篇,主要介绍了时序数据以及OpenTSDB的一些基础概念,以及OpenTSDB中的元数据模型定义。 本文作为介绍OpenTSDB原理系列文章的第一篇,主要介绍了时序数据以及OpenTSDB的一些基础概念,以及OpenTSDB中的元数据模型定义。
- NewSQL概念几乎是紧跟着NoSQL之后变得火热的。Google Bigtable与AWS Dynamo奠定了NoSQL技术的根基,而Google Spanner&F1则引领了NewSQL技术的发展。本文首先探讨NoSQL与NewSQL的概念与范畴,随后结合一些业界观点以及两者之间的优缺点对比,来论述各自的适用场景以及未来的演变趋势。 NewSQL概念几乎是紧跟着NoSQL之后变得火热的。Google Bigtable与AWS Dynamo奠定了NoSQL技术的根基,而Google Spanner&F1则引领了NewSQL技术的发展。本文首先探讨NoSQL与NewSQL的概念与范畴,随后结合一些业界观点以及两者之间的优缺点对比,来论述各自的适用场景以及未来的演变趋势。
- 最近,Intel在HBase社区提交了一个标题为"WALLess HBase on Persistent Memory"的问题单,将3D XPoint技术引入到HBase中,并且移除了WAL。虽然方案还没有公布详细的设计细节,本文借机讨论HBase现有架构的一些痛点,以及利用3D XPoint技术可能为HBase带来的一些变革。 最近,Intel在HBase社区提交了一个标题为"WALLess HBase on Persistent Memory"的问题单,将3D XPoint技术引入到HBase中,并且移除了WAL。虽然方案还没有公布详细的设计细节,本文借机讨论HBase现有架构的一些痛点,以及利用3D XPoint技术可能为HBase带来的一些变革。
- 将一种现行流行的技术,换一种语言来重写,多以失败告终,但用C++重写Cassandra的ScyllaDB可谓是一个成功的典范。基于Seastar的ScyllaDB,能够很好的发挥新型硬件的优势,这是ScyllaDB性能有质的突破的一大重要原因。 将一种现行流行的技术,换一种语言来重写,多以失败告终,但用C++重写Cassandra的ScyllaDB可谓是一个成功的典范。基于Seastar的ScyllaDB,能够很好的发挥新型硬件的优势,这是ScyllaDB性能有质的突破的一大重要原因。
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析
2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授,硕士研究生导师,开放原子教育银牌认证讲师
科技浪潮中,鸿蒙生态强势崛起,OpenHarmony开启智能终端无限可能。当下,其原生应用开发适配潜力巨大,终端设备已广泛融入生活各场景,从家居到办公、穿戴至车载。 现在,机会敲门!我们的直播聚焦OpenHarmony关键的网络数据请求与解析,抛开晦涩理论,用真实案例带你掌握数据访问接口,轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播,为开发鸿蒙App夯实基础,抢占科技新高地,别错过!
回顾中 -
Ascend C高层API设计原理与实现系列
2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例,讲解开箱即用的Ascend C高层API
回顾中
热门标签