-
### 引言 熟悉MySQL的朋友应该都知道,MySQL集群主从间数据同步机制十分完善。令人惊喜的是,ClickHouse作为近年来炙手可热的大数据分析引擎也可以挂载为MySQL的从库,作为MySQL的 "协处理器" 面向OLAP场景提供高效数据分析能力。早先的方案比较直截了当,通过第三方插件将所有MySQL上执行的操作进行转化,然后在ClickHouse端逐一回放达到数据同步。终于在2020年下半年,Yandex 公司在 ClickHouse 社区发布了MaterializeMySQL引擎,支持从MySQL全量及增量实时数据同步。MaterializeMySQL引擎目前支持 MySQL 5.6/5.7/8.0 版本,兼容 Delete/Update 语句,及大部分常用的 DDL 操作。 ### 基础概念 - **MySQL & ClickHouse** MySQL一般特指完整的MySQL RDBMS,是开源的关系型数据库管理系统,目前属于Oracle公司。MySQL凭借不断完善的功能以及活跃的开源社区,吸引了越来越多的企业和个人用户。 ClickHouse是由Yandex公司开源的面向OLAP场景的分布式列式数据库。ClickHouse具有实时查询,完整的DBMS及高效数据压缩,支持批量更新及高可用。此外,ClickHouse还较好地兼容SQL语法并拥有开箱即用等诸多优点。 - **Row Store & Column Store** MySQL存储采用的是Row Store,表中数据按照 Row 为逻辑存储单元在存储介质中连续存储。这种存储方式适合随机的增删改查操作,对于按行查询较为友好。但如果选择查询的目标只涉及一行中少数几个属性,Row 存储方式也不得不将所有行全部遍历再筛选出目标属性,当表属性较多时查询效率通常较低。尽管索引以及缓存等优化方案在 OLTP 场景中能够提升一定的效率,但在面对海量数据背景的 OLAP 场景就显得有些力不从心了。 ClickHouse 则采用的是 Column Store,表中数据按照Column为逻辑存储单元在存储介质中连续存储。这种存储方式适合采用 SIMD (Single Instruction Multiple Data) 并发处理数据,尤其在表属性较多时查询效率明显提升。由于列存方式中物理相邻的数据类型通常相同,因此天然适合数据压缩,从而达到极致的数据压缩比。  ### 使用方法 - 部署Master-MySQL 开启BinLog功能:ROW模式 开启GTID模式:解决位点同步时MySQL主从切换问题(BinLog reset导致位点失效) ```shell # my.cnf关键配置 gtid_mode=ON enforce_gtid_consistency=1 binlog_format=ROW ``` - 部署Slave-ClickHouse 获取 [ClickHouse/Master](https://github.com/ClickHouse/ClickHouse) 代码编译安装 推荐使用`GCC-10.2.0`,`CMake 3.15`,`ninja1.9.0`及以上 - 创建Master-MySQL中database及table ```mysql creat databases master_db; use master_db; CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_` VARCHAR(100) NOT NULL, `runoob_author` VARCHAR(40) NOT NULL, `submission_date` DATE, PRIMARY KEY ( `runoob_id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8; # 插入几条数据 INSERT INTO runoob_tbl (runoob_, runoob_author, submission_date) VALUES ("MySQL-learning", "Bob", NOW()); INSERT INTO runoob_tbl (runoob_, runoob_author, submission_date) VALUES ("MySQL-learning", "Tim", NOW()); ``` - 创建 Slave-ClickHouse 中 MaterializeMySQL database ```sql # 开启materialize同步功能 SET allow_experimental_database_materialize_mysql=1; # 创建slave库,参数分别是("mysqld服务地址", "待同步库名", "授权账户", "密码") CREATE DATABASE slave_db ENGINE = MaterializeMySQL('192.168.6.39:3306', 'master_db', 'root', '3306123456'); ``` 此时可以看到ClickHouse中已经有从MySQL中同步的数据了: ```mysql DESKTOP:) select * from runoob_tbl; SELECT * FROM runoob_tbl Query id: 6e2b5f3b-0910-4d29-9192-1b985484d7e3 ┌─runoob_id─┬─runoob_title───┬─runoob_author─┬─submission_date─┐ │ 1 │ MySQL-learning │ Bob │ 2021-01-06 │ └───────────┴────────────────┴───────────────┴─────────────────┘ ┌─runoob_id─┬─runoob_title───┬─runoob_author─┬─submission_date─┐ │ 2 │ MySQL-learning │ Tim │ 2021-01-06 │ └───────────┴────────────────┴───────────────┴─────────────────┘ 2 rows in set. Elapsed: 0.056 sec. ``` ### 工作原理 - BinLog Event MySQL中BinLog Event主要包含以下几类: ```mysql 1. MYSQL_QUERY_EVENT -- DDL 2. MYSQL_WRITE_ROWS_EVENT -- insert 3. MYSQL_UPDATE_ROWS_EVENT -- update 4. MYSQL_DELETE_ROWS_EVENT -- delete ``` 事务提交后,MySQL 将执行过的 SQL 处理 BinLog Event,并持久化到 BinLog 文件 ClickHouse通过消费BinLog达到数据同步,过程中主要考虑3个方面问题: 1、DDL兼容:由于ClickHouse和MySQL的数据类型定义有区别,DDL语句需要做相应转换 2、Delete/Update 支持:引入`_version`字段,控制版本信息 3、Query 过滤:引入`_sign`字段,标记数据有效性 - DDL操作 对比一下MySQL的DDL语句以及在ClickHouse端执行的DDL语句: ```mysql mysql> show create table runoob_tbl\G; *************************** 1. row *************************** Table: runoob_tbl Create Table: CREATE TABLE `runoob_tbl` ( `runoob_id` int unsigned NOT NULL AUTO_INCREMENT, `runoob_` varchar(100) NOT NULL, `runoob_author` varchar(40) NOT NULL, `submission_date` date DEFAULT NULL, PRIMARY KEY (`runoob_id`) ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 1 row in set (0.00 sec) --------------------------------------------------------------- cat /metadata/slave_db/runoob_tbl.sql ATTACH TABLE _ UUID '14dbff59-930e-4aa8-9f20-ccfddaf78077' ( `runoob_id` UInt32, `runoob_` String, `runoob_author` String, `submission_date` Nullable(Date), `_sign` Int8 MATERIALIZED 1, `_version` UInt64 MATERIALIZED 1 ) ENGINE = ReplacingMergeTree(_version) PARTITION BY intDiv(runoob_id, 4294967) ORDER BY tuple(runoob_id) SETTINGS index_granularity = 8192 ``` 可以看到: 1、在DDL转化时默认增加了2个隐藏字段:_sign(-1删除, 1写入) 和 _version(数据版本) 2、默认将表引擎设置为 ReplacingMergeTree,以 _version 作为 column version 3、原DDL主键字段 runoob_id 作为ClickHouse排序键和分区键 此外还有许多DDL处理,比如增加列、索引等,相应代码在`Parsers/MySQL` 目录下。 - Delete/Update操作 Update: ```mysql # Mysql端: UPDATE runoob_tbl set runoob_author='Mike' where runoob_id=2; mysql> select * from runoob_tbl; +-----------+----------------+---------------+-----------------+ | runoob_id | runoob_title | runoob_author | submission_date | +-----------+----------------+---------------+-----------------+ | 1 | MySQL-learning | Bob | 2021-01-06 | | 2 | MySQL-learning | Mike | 2021-01-06 | +-----------+----------------+---------------+-----------------+ 2 rows in set (0.00 sec) ---------------------------------------------------------------- # ClickHouse端: DESKTOP:) select *, _sign, _version from runoob_tbl order by runoob_id; SELECT *, _sign, _version FROM runoob_tbl ORDER BY runoob_id ASC Query id: c5f4db0a-eff6-4b49-a429-b55230c26301 ┌─runoob_id─┬─runoob_title───┬─runoob_author─┬─submission_date─┬─_sign─┬─_version─┐ │ 1 │ MySQL-learning │ Bob │ 2021-01-06 │ 1 │ 2 │ │ 2 │ MySQL-learning │ Mike │ 2021-01-06 │ 1 │ 4 │ │ 2 │ MySQL-learning │ Tim │ 2021-01-06 │ 1 │ 3 │ └───────────┴────────────────┴───────────────┴─────────────────┴───────┴──────────┘ 3 rows in set. Elapsed: 0.003 sec. ``` 可以看到,ClickHouse数据也实时同步了更新操作。 Delete: ```mysql # Mysql端 mysql> DELETE from runoob_tbl where runoob_id=2; mysql> select * from runoob_tbl; +-----------+----------------+---------------+-----------------+ | runoob_id | runoob_title | runoob_author | submission_date | +-----------+----------------+---------------+-----------------+ | 1 | MySQL-learning | Bob | 2021-01-06 | +-----------+----------------+---------------+-----------------+ 1 row in set (0.00 sec) ---------------------------------------------------------------- # ClickHouse端 DESKTOP:) select *, _sign, _version from runoob_tbl order by runoob_id; SELECT *, _sign, _version FROM runoob_tbl ORDER BY runoob_id ASC Query id: e9cb0574-fcd5-4336-afa3-05f0eb035d97 ┌─runoob_id─┬─runoob_title───┬─runoob_author─┬─submission_date─┬─_sign─┬─_version─┐ │ 1 │ MySQL-learning │ Bob │ 2021-01-06 │ 1 │ 2 │ └───────────┴────────────────┴───────────────┴─────────────────┴───────┴──────────┘ ┌─runoob_id─┬─runoob_title───┬─runoob_author─┬─submission_date─┬─_sign─┬─_version─┐ │ 2 │ MySQL-learning │ Mike │ 2021-01-06 │ -1 │ 5 │ └───────────┴────────────────┴───────────────┴─────────────────┴───────┴──────────┘ ┌─runoob_id─┬─runoob_title───┬─runoob_author─┬─submission_date─┬─_sign─┬─_version─┐ │ 2 │ MySQL-learning │ Mike │ 2021-01-06 │ 1 │ 4 │ │ 2 │ MySQL-learning │ Tim │ 2021-01-06 │ 1 │ 3 │ └───────────┴────────────────┴───────────────┴─────────────────┴───────┴──────────┘ 4 rows in set. Elapsed: 0.002 sec. ``` 可以看到,删除id为2的行只是额外插入了`_sign == -1`的一行记录,并没有真正删掉。 - 日志回放 MySQL 主从间数据同步时Slave节点将 BinLog Event 转换成相应的SQL语句,Slave 模拟 Master 写入。类似地,传统第三方插件沿用了MySQL主从模式的BinLog消费方案,即将 Event 解析后转换成 ClickHouse 兼容的 SQL 语句,然后在 ClickHouse 上执行(回放),但整个执行链路较长,通常性能损耗较大。不同的是,MaterializeMySQL 引擎提供的内部数据解析以及回写方案隐去了三方插件的复杂链路。回放时将 BinLog Event 转换成底层 Block 结构,然后直接写入底层存储引擎,接近于物理复制。此方案可以类比于将 BinLog Event 直接回放到 InnoDB 的 Page 中。 ### **同步策略** - 位点同步 v20.9.1版本前是基于位点同步的,ClickHouse每消费完一批 BinLog Event,就会记录 Event 的位点信息到 `.metadata` 文件: ```mysql [FavonianKong@Wsl[20:42:37]slave_db] $ cat ./.metadata Version: 2 Binlog File: mysql-bin.000003 Binlog Position:355005999 Data Version: 5 ``` 这样当 ClickHouse 再次启动时,它会把 {‘mysql-bin.000003’, 355005999} 二元组通过协议告知 MySQL Server,MySQL 从这个位点开始发送数据: ``` s1> ClickHouse 发送 {‘mysql-bin.000003’, 355005999} 位点信息给 MySQL s2> MySQL 找到本地 mysql-bin.000003 文件并定位到 355005999 偏移位置,读取下一个 Event 发送给 ClickHouse s3> ClickHouse 接收 binlog event 并完成同步操作 s4> ClickHouse 更新 .metadata位点 ``` **存在问题:** 如果MySQL Server是一个集群,通过VIP对外服务,MaterializeMySQL创建 database 时 host 指向的是VIP,当集群主从发生切换后,`{Binlog File, Binlog Position}` 二元组不一定是准确的,因为BinLog可以做reset操作。 ``` s1> ClickHouse 发送 {'mysql-bin.000003’, 355005999} 给集群新主 MySQL s2> 新主 MySQL 发现本地没有 mysql-bin.000003 文件,因为它做过 reset master 操作,binlog 文件是 mysql-bin.000001 s3> 产生错误复制 ``` 为了解决这个问题,v20.9.1版本后上线了 GTID 同步模式,废弃了不安全的位点同步模式。 - GTID同步 GTID模式为每个 event 分配一个全局唯一ID和序号,直接告知 MySQL 这个 GTID 即可,于是`.metadata`变为: ```mysql [FavonianKong@Wsl[21:30:19]slave_db] Version: 2 Binlog File: mysql-bin.000003 Executed GTID: 0857c24e-4755-11eb-888c-00155dfbdec7:1-783 Binlog Position:355005999 Data Version: 5 ``` 其中 `0857c24e-4755-11eb-888c-00155dfbdec7` 是生成 Event的主机`UUID`,`1-783`是已经同步的event区间 于是流程变为: ``` s1> ClickHouse 发送 GTID:0857c24e-4755-11eb-888c-00155dfbdec7:1-783 给 MySQL s2> MySQL 根据 GTID 找到本地位点,读取下一个 Event 发送给 ClickHouse s3> ClickHouse 接收 BinLog Event 并完成同步操作 s4> ClickHouse 更新 .metadata GTID信息 ``` ### 源码分析 - 概述 在最新源码 (v20.13.1.1) 中,ClickHouse 官方对 DatabaseMaterializeMySQL 引擎的相关源码进行了重构,并适配了 GTID 同步模式。ClickHouse 整个项目的入口 `main` 函数在 `/ClickHouse/programs/main.cpp` 文件中,主程序会根据接收指令将任务分发到 `ClickHouse/programs` 目录下的子程序中处理。本次分析主要关注 Server 端 `MaterializeMySQL` 引擎的工作流程。 - 源码目录 与 MaterializeMySQL 相关的主要源码路径: ```c++ ClickHouse/src/databases/MySQL //MaterializeMySQL存储引擎实现 ClickHouse/src/Storages/ //表引擎实现 ClickHouse/src/core/MySQL* //复制相关代码 ClickHouse/src/Interpreters/ //Interpreters实现,SQL的rewrite也在这里处理 ClickHouse/src/Parsers/MySQL //解析部分实现,DDL解析等相关处理在这里 ``` - 服务端主要流程 ClickHouse 使用 POCO 网络库处理网络请求,Client连接的处理逻辑在 ClickHouse/src/Server/*Handler.cpp 的 hander方法里。以TCP为例,除去握手,初始化上下文以及异常处理等相关代码,主要逻辑可以抽象成: ```c++ // ClickHouse/src/Server/TCPHandler.cpp TCPHandler.runImpl() { ... while(true) { ... if (!receivePacket()) //line 184 continue /// Processing Query //line 260 state.io = executeQuery(state.query, *query_context, ...); ... } ``` - 数据同步预处理 Client发送的SQL在executeQuery函数处理,主要逻辑简化如下: ```c++ // ClickHouse/src/Interpreters/executeQuery.cpp static std::tuple executeQueryImpl(...) { ... // line 354,解析器可配置 ast = parseQuery(...); ... // line 503, 根据语法树生成interpreter auto interpreter = InterpreterFactory::get(ast, context, ...); ... // line 525, 执行器interpreter执行后返回结果 res = interpreter->execute(); ... } ``` 主要有三点: 1、解析SQL语句并生成语法树 AST 2、InterpreterFactory 工厂类根据 AST 生成执行器 3、interpreter->execute() 跟进第三点,看看 InterpreterCreateQuery 的 excute() 做了什么: ```c++ // ClickHouse/src/Interpreters/InterpreterCreateQuery.cpp BlockIO InterpreterCreateQuery::execute() { ... // CREATE | ATTACH DATABASE if (!create.database.empty() && create.table.empty()) // line 1133, 当使用MaterializeMySQL时,会走到这里建库 return createDatabase(create); } ``` 这里注释很明显,主要执行 CREATE 或 ATTACH DATABASE,继续跟进 createDatabase() 函数: ```c++ // ClickHouse/src/Interpreters/InterpreterCreateQuery.cpp BlockIO InterpreterCreateQuery::createDatabase(ASTCreateQuery & create) { ... // line 208, 这里会根据 ASTCreateQuery 参数,从 DatabaseFactory 工厂获取数据库对象 // 具体可以参考 DatabasePtr DatabaseFactory::getImpl() 函数 DatabasePtr database = DatabaseFactory::get(create, metadata_path, ...); ... // line 253, 多态调用,在使用MaterializeMySQL时 // 上方get函数返回的是 DatabaseMaterializeMySQL database->loadStoredObjects(context, ...); } ``` 到这里,相当于将任务分发给DatabaseMaterializeMySQL处理,接着跟踪 loadStoredObjects 函数: ```c++ //ClickHouse/src/Databases/MySQL/DatabaseMaterializeMySQL.cpp template void DatabaseMaterializeMySQL::loadStoredObjects(Context & context, ...) { Base::loadStoredObjects(context, has_force_restore_data_flag, force_attach); try { // line87, 这里启动了materialize的同步线程 materialize_thread.startSynchronization(); started_up = true; } catch (...) ... } ``` 跟进startSynchronization() 绑定的执行函数: ```c++ // ClickHouse/src/Databases/MySQL/MaterializeMySQLSyncThread.cpp void MaterializeMySQLSyncThread::synchronization() { ... // 全量同步在 repareSynchronized() 进行 if (std::optional metadata = prepareSynchronized()) { while (!isCancelled()) { UInt64 max_flush_time = settings->max_flush_data_time; BinlogEventPtr binlog_event = client.readOneBinlogEvent(...); { //增量同步侦听binlog_envent if (binlog_event) onEvent(buffers, binlog_event, *metadata); } } } ... } ``` - 全量同步 MaterializeMySQLSyncThread::prepareSynchronized 负责DDL和全量同步,主要流程简化如下: ```c++ // ClickHouse/src/Databases/MySQL/MaterializeMySQLSyncThread.cpp std::optional MaterializeMySQLSyncThread::prepareSynchronized() { while (!isCancelled()) { ... try { //构造函数内会获取MySQL的状态、MySQL端的建表语句, MaterializeMetadata metadata(connection, ...); // line345, DDL相关转换 metadata.transaction(position, [&]() { cleanOutdatedTables(database_name, global_context); dumpDataForTables(connection, metadata, global_context, ...); }); return metadata; } ... } } ``` ClickHouse作为MySQL从节点,在MaterializeMetadata构造函数中对MySQL端进行了一系列预处理: 1、将打开的表关闭,同时对表加上读锁并启动事务 2、TablesCreateQuery通过SHOW CREATE TABLE 语句获取MySQL端的建表语句 3、获取到建表语句后释放表锁 继续往下走,执行到 metadata.transaction() 函数,该调用传入了匿名函数作为参数,一直跟进该函数会发现最终会执行匿名函数,也就是cleanOutdatedTables以及dumpDataForTables函数,主要看一下 dumpDataForTables 函数: ```c++ // ClickHouse/src/Databases/MySQL/MaterializeMySQLSyncThread.cpp static inline void dumpDataForTables(...) { ... //line293, 这里执行建表语句 tryToExecuteQuery(..., query_context, database_name, comment); } ``` 继续跟踪 tryToExecuteQuery 函数,会调用到 executeQueryImpl() 函数,上文提到过这个函数,但这次我们的上下文信息变了,生成的执行器发生变化,此时会进行 DDL 转化以及 dump table 等操作: ```c++ // ClickHouse/src/Interpreters/executeQuery.cpp static std::tuple executeQueryImpl(...) { ... // line 354,解析器可配置 ast = parseQuery(...); ... // line 503,这里跟之前上下文信息不同,生成interpreter也不同 auto interpreter = InterpreterFactory::get(ast,context, ...); ... // line 525, 执行器interpreter执行后返回结果 res = interpreter->execute(); ... } ``` 此时 InterpreterFactory 返回 InterpreterExternalDDLQuery,跟进去看 execute 函数做了什么: ```c++ // ClickHouse/src/Interpreters/InterpreterExternalDDLQuery.cpp BlockIO InterpreterExternalDDLQuery::execute() { ... if (external_ddl_query.from->name == "MySQL") { #ifdef USE_MYSQL ... // line61, 当全量复制执行DDL时,会执行到这里 else if (...->as()) return MySQLInterpreter::InterpreterMySQLCreateQuery( external_ddl_query.external_ddl, cogetIdentifierName(arguments[0]), getIdentifierName(arguments[1])).execute(); #endif } ... return BlockIO(); } ``` 继续跟进去发现 getIdentifierName(arguments[1])).execute() 会rewrite DDL: ```c++ // ClickHouse/src/Interpreters/MySQL/InterpretersMySQLDDLQuery.cpp ASTs InterpreterCreateImpl::getRewrittenQueries(...) { ... // 检查是否存在primary_key, 没有直接报错 if (primary_keys.empty()) throw Exception("cannot be materialized, no primary keys.", ...); ... // 添加 _sign 和 _version 列. auto sign_column_name = getUniqueColumnName(columns_name_and_type, "_sign"); auto version_column_name = getUniqueColumnName(columns_name_and_type, "_version"); // 这里悄悄把建表引擎修改成了ReplacingMergeTree storage->set(storage->engine, makeASTFunction("ReplacingMergeTree", ...)); ... return ASTs{rewritten_query}; } ``` 完成DDL转换之后就会去执行新的DDL语句,完成建表操作,再回到 dumpDataForTables: ```c++ // ClickHouse/src/Databases/MySQL/MaterializeMySQLSyncThread.cpp static inline void dumpDataForTables(...) { ... //line293, 这里执行建表语句 tryToExecuteQuery(..., query_context, database_name, comment); ... // line29, 这里开始 dump 数据并存放到MySQLBlockInputStream MySQLBlockInputStream input(connection, ...) } ``` - 增量同步 还记得startSynchronization() 绑定的执行函数吗?全量同步分析都是在 prepareSynchronized()进行的,那增量更新呢? ```c++ // ClickHouse/src/Databases/MySQL/MaterializeMySQLSyncThread.cpp void MaterializeMySQLSyncThread::synchronization() { ... // 全量同步在 repareSynchronized() 进行 if (std::optional metadata = prepareSynchronized()) { while (!isCancelled()) { UInt64 max_flush_time = settings->max_flush_data_time; BinlogEventPtr binlog_event = client.readOneBinlogEvent(...); { //增量同步侦听binlog_envent if (binlog_event) onEvent(buffers, binlog_event, *metadata); } } } ... } ``` 可以看到,while 语句里有一个 binlog_event 的侦听函数,用来侦听 MySQL 端 BinLog 日志变化,一旦 MySQL 端执行相关操作,其 BinLog 日志会更新并触发 binlog_event,增量更新主要在这里进行。 ```c++ // ClickHouse/src/Databases/MySQL/MaterializeMySQLSyncThread.cpp void MaterializeMySQLSyncThread::onEvent(Buffers & buffers, const BinlogEventPtr & receive_event, MaterializeMetadata & metadata) { // 增量同步通过监听binlog event实现,目前支持四种event:MYSQL_WRITE_ROWS_EVENT、 // MYSQL_UPDATE_ROWS_EVENT、MYSQL_DELETE_ROWS_EVENT 和 MYSQL_QUERY_EVENT // 具体的流程可以查找对应的 onHandle 函数, 不在此详细分析 if (receive_event->type() == MYSQL_WRITE_ROWS_EVENT){...} else if (receive_event->type() == MYSQL_UPDATE_ROWS_EVENT){...} else if (receive_event->type() == MYSQL_DELETE_ROWS_EVENT){...} else if (receive_event->type() == MYSQL_QUERY_EVENT){...} else {/* MYSQL_UNHANDLED_EVENT*/} } ``` ### 小结 MaterializeMySQL 引擎是 ClickHouse 官方2020年主推的特性,由于该特性在生产环境中属于刚需且目前刚上线不久,整个模块处于高速迭代的状态,因此有许多待完善的功能。例如复制过程状态查看以及数据的一致性校验等。感兴趣的话可参考Github上的2021-Roadmap,里面会更新一些社区最近得计划。以上内容如有理解错误还请指正。 ### 引用 - ClickHouse社区文档 - ClickHouse社区源码 - MySQL实时复制与实现 - MaterializeMySQL引擎分析
-
云、AI、5G等技术驱动,数据库行业迎来新的需求,云数据库也在不断演进升级。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB进行了进阶与革新,以统一的架构,支持关系型与非关系型的数据库引擎。 近日,在第十一届中国数据库技术大会上,笔者有幸采访到了华为云数据库产品总监张昆,张昆向我们详细解读了GaussDB如何做到架构革新,做到支持全场景全业务,并从解决方案与案例的维度分享了华为云数据库的优秀实践。华为云数据库产品总监 张昆 华为云GaussDB打造全场景数据库服务 目前,华为云数据库产品覆盖开源和华为云GaussDB服务两大生态。开源生态服务主要在超越开源的前提下,为客户打造极致性价比的产品和服务;华为云GaussDB系列主要是面向金融政企客户打造的企业级商用数据库,满足客户对数据库高可靠、高性能的极致要求。 华为云数据库产品总监张昆介绍了数据库服务的系列新品: 华为云GaussDB适用于企业核心交易系统和海量事务型场景,支持集中式与分布式两种部署形态。华为云GaussDB(for MySQL)支持主备部署和分布式部署两种形式,提供优于原生MySQL7倍性能。 面向企业新型应用的云原生多模GaussDB NoSQL系列服务提供3倍读写性能,自动弹性伸缩,具备企业级可靠性。GaussDB NoSQL基于GaussDB的计算存储分离架构创新,对于性能、成本、HA、扩容性、备份恢复等多种指标都有质的飞跃。 华为云GaussDB(DWS)为各企业用户提供最佳性能、按需扩展、稳定可靠的全场景企业级数据仓库,满足客户超大规模数据的高性能查询分析诉求。值得一提的是,华为云GaussDB(DWS)数据仓库以单集群2048节点的超大规模,满分通过测试认证,是迄今为止信通院认证的最大规模分布式数据库集群,树立了业界新标杆。 在谈到云数据库安全问题上,张昆表示,华为云数据库可提供密态数据库与防篡改数据库等技术新品,帮助客户构建安全可信、法律合规的应用全密态数据库业务全景,防止数据篡改与作弊,实现多方认同。 据了解,目前,华为云数据库服务已在500+大客户中规模商用,遍布金融、政府、电信、能源、交通、物流、电商等行业。未来,华为云数据库将持续构建技术硬实力和优秀解决方案,使能行业数字化转型。 华为云GaussDB让数据库迁移变得简单 数据库迁移指的是从源库迁移到目标库。张昆把数据库迁移形象的比喻成从“旧家”搬到“新家”的过程,其中涉及到各种数据的搬迁,数量巨大,情况复杂,而且通常需要停机迁移,对业务影响极大,每个数据库迁移者都会经历客户如下亲切的问候。 迁移前:源库的运行状态如何,容量和复杂度如何,库表之间关系如何?如何选择合适的目标库及其规格,改造风险和工作量有多大?从源库迁移到目标库,有哪些对象不兼容,在目标库是否有替代方案? 迁移中:如何保证结构迁移和数据迁移时,不影响源库/目标库正常运行的业务?源端按业务模块迁移时,源库和目标库如何进行持续的增量数据同步?源库对象较多,如何保障源库对象顺利迁移到目标库? 迁移后:迁移完成时,如何保障迁移结果正确,包括结构的准确性与数据的准确性?迁移完成后,如何保障云上数据库的开发运维与性能的持续优化?……等等等等。 针对上述数据库迁移面临的众多问题,华为云推出了数据库迁移管理云化解决方案,帮助企业轻松上云,极简运维。那么,具体是如何帮助客户实现数据库迁移的呢?张昆从金融、消费者、泛互联网三大行业客户实践为我们带来了分享。 在金融行业,国有某大行核心业务已商用GaussDB,该银行把贵金属交易系统迁移上云,在这个业务场景下,通过数据库并行、渠道开关、应急回切、数据核对和监控等策略,采用灰度发布机制,按流量比例逐步切换,在保障生产稳定运行前提下验证整体迁移方案。 为客户带来了三大核心价值:(1)高可用。实现了同城单Region多AZ互联支持同城双活,金融级支持三层组网的管控高可用部署方案;(2)性能线性扩展。支持集群水平扩展,基本联机性能与0持平;(3)弹性部署。部署实例及应用要快速响应业务需求,数据库支持容器化部署。 在面向TO C的消费者领域,华为消费者业务为全球200多个国家和地区的6.7亿+用户、180万+开发者提供强大资源获取和弹性伸缩能力。张昆表示,“自己的狗粮自己吃”,因为只有自身实践过硬才能获得客户的信赖,目前,华为消费者业务数据库已全面切换上云,实现3AZ数据0丢失。 在泛互联网行业,张昆以游戏行业举例,开天创世在选择数据库过程中要求极高,快速部署和高性能低延时是其对数据库的基本要求。在游戏开服场景中,开天创世6小时内需要多次扩容,并且还要做到表级时间点恢复,支持游戏快速回档,扩容期间性能稳定,不影响游戏体验。 针对这个需求,客户采用了华为云多模GaussDB NoSQL系列服务,解决了玩家访问量突增的压力,实现了分钟级扩容和游戏快速回档。 写在最后,随着企业对云服务诉求的增加,越来越多的企业正在通过上“云”实现数字化升级。在Cloud 2.0时代,数据库是企业上云的一个重要竞争战场,未来,华为云数据库会以更开放的姿态,将积累多年的技术沉淀、运营经验分享出来,更好地满足各行业企业的多元化需求,为企业提供强有力的技术支持,让客户更专注于自身业务的创新与运营,加速企业数字变革。
-
123455
-
今天的话题要从一个朋友的咨询开始 所以准备写一篇短文谈谈我对“存算分离”架构的理解,不一定全面,欢迎在评论区探讨。 其实这个朋友是误解了“存算分离”这个概念。他认为普通MySQL云数据库用evs做存储,计算资源和存储资源是分开的,比如可以单独扩容计算资源或单独扩容存储资源,所以就是存算分离的架构,其实这么理解是片面的。要理解“存算分离”架构,还得追根溯源,从传统MySQL主备架构说起。 这张图熟悉MySQL的人应该都见过,我们知道,MySQL的master端有数据变更时,备机是通过读取和回放binlog,涉及到三个线程,一个运行在主节点(log dump thread),其余两个(I/O thread, SQL thread)运行在备节点,三个线程配合完成数据复制的工作。但是,不难发现,这个架构在某些场景会有明显的缺陷:主库写入压力大时。当主库的写入压力比较大的时候,主备复制的时延会变大,因为需要回放完所有binlog的事务才会完全达到数据同步。增加只读节点时。增加备机/只读节点的速度很慢,因为我们需要将数据全量的复制到从节点,如果主节点此时存量的数据已经很多,那么扩展一个备机节点速度就会很慢高。使用多个只读节点时。存储的成本线性增长,如果数据库磁盘空间比较大,那么相应的所有只读节点挂载的磁盘空间都需要和主节点一样大,成本将会随着只读库数量增加进行线性增加。 这些问题通过存算分离架构就能得到很好的解决,以华为云GaussDB(for MySQL)为例,作为华为自研的最新一代高性能企业级分布式数据库,基于华为最新一代DFV分布式存储,采用计算存储分离架构,最高支持128TB的海量存储,可实现超百万级QPS吞吐。 首先,GaussDB(for MySQL)采用计算与存储解耦的技术架构,让所有的节点都共享一个存储,也就是说,增加计算节点时,无需调整存储资源,真正做到计算与存储分离,并且可支持 15 个只读节点的扩展,主节点和只读节点之间是 Active-Active 的 Failover 方式,计算节点资源得到充分利用,由于使用共享存储,降低了用户使用成本。完美契合了企业级数据库系统对高可用性、性能和扩展性、云服务托管的需求。GaussDB(for MySQL)将MySQL存储层变为独立的存储节点,在GaussDB(for MySQL)中认为日志即数据,将日志彻底从MySQL计算节点中抽离出来,都由存储节点进行保存,与传统 RDS for MySQL 相比,不再需要刷 page,所有更新操作都记录日志,不再需要 double write,从而大大减少了网络通信。 小结一下,以“存算分离”架构来答复一下上面的3个问题: 1. 当主库的写入压力比较大的时候,由于不再有double write入,主节点和只读节点之间的复制时延基本得以消除。 2. 增加只读节点的速度非常快,因为不再需要将数据全量的复制到只读节点,无论多大数据量,只需 5 分钟左右即可完成增加只读节点。 3. 使用多个只读节点时,因为只有一份存储,所以存储的成本不会有变化,存储空间越大,只读节点越多,节省成本越明显。
-
在日常工作中,很多数据一旦录入,轻易不会修改,但却常常会被调用。在对数据库有少量写请求,但有大量读请求的应用场景下,单个实例可能无法抵抗读取压力,甚至对主业务产生影响。遇到这种问题该怎么办?别担心,云数据库 TaurusDB只读节点帮您完美解决这个问题,让您轻松应对各种应用场景。为了实现读取能力的弹性扩展,分担数据库压力,您可以在某个区域中创建一个或多个只读节点,利用只读节点满足大量的数据库读取需求,以此增加应用的吞吐量。云数据库 TaurusDB是华为自研的最新一代企业级高扩展海量存储分布式数据库,完全兼容MySQL。基于华为最新一代DFV存储,采用计算存储分离架构,128TB的海量存储,无需分库分表,数据0丢失,既拥有商业数据库的高可用和性能,又具备开源低成本效益。 创建只读节点:只读节点用于增强实例主节点的读能力,减轻主节点负载。一个实例中,最多支持15个只读节点。操作步骤:登录管理控制台。单击管理控制台左上角的,选择区域和项目。选择“数据库 > 云数据库 TaurusDB”。进入云数据库TaurusDB信息页面。在“实例管理”页面,选择指定的实例,单击操作列的“更多 > 创建只读”,进入“创建只读”页面。您也可在实例的“基本信息”页面,单击拓扑图中的,创建只读节点。在“创建只读”页面,选择“故障倒换优先级”和“购买数量”,包周期单击“立即购买”,按需计费单击“立即创建”。 只读节点升主节点TaurusDB是一个多节点的实例,其中一个节点是主节点(Master),其他节点为只读节点。除了因系统故障自动切换主备外,对于用于高可用演练,或者需指定某个节点为主节点的场景,您也可以手动切换主备,指定一个只读节点为新的主节点。手动切换:登录管理控制台。单击管理控制台左上角的,选择区域和项目。选择“数据库 > 云数据库 TaurusDB”。进入云数据库TaurusDB信息页面。在“实例管理”页面的实例列表中,选择对应实例,单击实例名称进入“基本信息”页面。在“基本信息”页面底部,选择目标只读节点,在“操作”列单击“只读升主”。 在弹出框中单击“是”下发请求。a) 切换时可能会出现30秒左右的闪断,请确保应用具备重连机制。b) 切换过程中节点运行状态为“只读升主中”,此过程大概需要几秒或几分钟。c) 切换完成后,节点运行状态变为“正常”,您可查看到原先的只读节点和主节点的角色已经互换。 自动切换:TaurusDB采用双活(Active-Active)的高可用实例架构,可读写的主节点和只读节点之间自动进行故障倒换(Failover),系统自动选取新的主节点。TaurusDB每个节点都有一个故障倒换优先级,决定了故障倒换时被选取为主节点的概率高低。故障倒换优先级的取值范围为1~16,数字越小,优先级越高,即故障倒换时,主节点会优先倒换到优先级高的只读节点上。当多个节点的优先级相同时,这些节点具有相同的概率被选取为主节点。TaurusDB按以下步骤自动选取主节点:系统找出当前可以被选取的所有只读节点。选择优先级最高的一个或多个只读节点。如果由于网络原因、复制状态异常等,第一个节点切换失败,则会尝试切换下一个,直至成功。 删除只读节点对于“按需计费”模式的只读节点,您可根据业务需要,在TaurusDB数据库“基本信息”页面手动删除来释放资源。只读节点删除后,不可恢复,请谨慎操作。操作步骤:登录管理控制台。单击管理控制台左上角的,选择区域和项目。选择“数据库 > 云数据库 TaurusDB”。进入云数据库TaurusDB信息页面。在“实例管理”页面的实例列表中,选择对应实例,单击实例名称进入“基本信息”页面。在“基本信息”页面底部,选择目标只读节点,在“操作”列单击“删除”。为保证高可用,系统会保留一个正常只读节点不可被单独删除,只有删除实例时,才会被删除。在弹出框中单击“是”下发请求,稍后刷新“实例管理”页面,查看删除结果。 赶紧戳这里,了解详情吧~~
-
https://support.huaweicloud.com/prtg-apache-kunpengbds/kunpenghbase_02_0001.html
-
-
1、引言在华为分布式数据库的工程实践过程中,我们实现了一个计算存储分离、 底层存储基于Raft协议进行复制的分布式数据库系统原型。下面是它的架构图。计算节点生成日志经过封装后通过网络下发到存储节点,在Raft层达成一致后日志被应用到状态机wal Engine,完成日志的回放和数据的存储管理。下面简单介绍一下Raft的原理、以及存储节点(Pinetree)如何应用 Raft实现复制的一些工程实践经验。2、Raft的原理2.1 Raft的基本原理 Raft 算法一切以领导者为准,实现一系列值的共识和各节点日志的一致。下面重点介绍一下Raft协议的Leader选举、log复制 和 成员变更。Raft的选举机制:协议为每个节点定义了三个状态:Leader、Candidate、Follower,将时间定义为Term,每个Term有一个ID。Term类似逻辑时钟,在每个Term都会有Leader被选举出来。Leader负责处理所有的写请求、发起日志复制、定时心跳,每个Term期间最多只能有一个Leader,可能会存在选举失败的场景,那么这个Term内是没有Leader。Follower 处于被动状态,负责处理Leader发过来的RPC请求,并且做出回应。Candidate 是用来选举一个新的Leader,当Follower超时,就会进入Candidate状态。 初始状态,所有的节点都处于Follower状态,节点超时后,递增current Term进入Candidate,该节点发送广播消息RequestVote RPC给其他Follower请求投票。当收到多数节点的投票后,该节点从Candidate进入Leader。Follower在收到投票请求后,会首先比较Term,然后再比较日志index,如果都满足则更新本地Current Term然后回应RequestVote RPC为其投票。每个Term期间,follower只能投一次票。Raft的日志同步机制:当Leader被选举出来后,就可以接受写请求。每个写请求即代表了用户需要复制的指令或Command。Raft协议会给写请求包装上Term和Index,由此组成了Raft的Log entry. Leader把Log entry append到日志中,然后给其它的节点发AppendEntries RPC请求。当Leader确定一个Log entry被大多数节点已经写入日志当中,就apply这条Log entry到状态机中然后返回结果给客户端。Raft成员变更机制: 成员变更就意味着集群节点数的增加或减少以及替换。Raft协议定义时考虑了成员变更的场景,从而避免由于集群变化引起的系统不可用。Raft是利用上面的Log Entry和一致性协议来实现该功能。成员的变更也是由Leader发起的,Leader会在本地生成一个新的Log entry,同时将Log entry推送到其他的Follower节点。Follower节点收到Log entry后更新本地日志,并且应用该log中的配置关系。多数节点应用后,Leader就会提交这条变更log entry。还要考虑新就配置的更替所带来的问题。更详细的不再赘述。2.2 Raft的开源实现Raft的实现有coreos的etcd/raft、kudu、consul、logcabin、cockroach等。Etcd 、LogCabin 、Consul 实现的是单个Raft环,无法做到弹性伸缩。而kudu和cockroach实现了多个raft环。kudu的consensus 模块实现了副本的数据复制一致性,kudu将数据分片称之为Tablet, 是kudu table的水平分表,TabletPeer就是在Raft环里面的一个节点. 一个Tablet相当于一个Raft环,一个Tablet对应一个Raft Consensus,这些对应Raft里面的一个环,Consensus Round相当于同步的消息,一个环之间会有多个Consensus Round做同步。而cockroach则是基于etcd/raft实现的多Raft环,它维护了多个Raft实例,被称之为multiraft。 因为Etcd的Raft是目前功能较全的Raft实现之一,最早应用于生产环境,并且做到了很好的模块化。其中Raft内核部分实现了Raft大部分协议,而对外则提供了storage和transport所用的interface,对于使用者可以单独实现灵活性较高,用户还可以自主实现 snapshot、wal ,Raft非常便于移植和应用,因此存储节点Pinetree采用了开源的Etcd中的Raft实现来构建我们的原型系统,也便于后期向Multiraft演进。。3、工程实践3.1 实现Raft的存储接口和网络传输Raft存储部分指的是raft- log的存储,是对日志条目进行持久化的存储,通过benchmark测试发现,raft-log引擎性能是影响整体ops的主要瓶颈,为了更灵活的支持底层存储引擎的快速替换,增加可插拔的存储引擎框架,我们对底层存储引擎进行解耦。Pinetree封装了第三方独立存储接口来适配etcd raft的log存储接口;通讯部分即Raft Transport、snapShot传输等,采用GRPC+Protobuf来实现,心跳、日志传输AppendEntries RPC、选举RequestVote RPC等应用场景将GRPC设置为简单式,snapShot设置为流式的形式。3.2 选举问题Raft可以实现自我选举。但是在实践中发现缺点也很明显,Raft自主选主可能存在如下的问题:1、不可控:可能随意选择一个满足Raft条件的节点2、网络闪断导致Leader变动3、节点忙导致的Leader变动4、破坏性的节点为了防止存储节点Leader在不同的AZ或者节点间进行切换,Pinetree采用的方案是由集群管理模块来指定 Leader。Pinetree中将electionTimeout设置为无穷大,关闭Follower可能触发的自动选举过程,一切选举过程由集群管理的建议选主模块来控制。3.3 读一致性模型在 Raft 集群中,一般会有 default、consistent、stale 三种一致性模型,如何实现读操作关乎一致性的实现。一般的做法是将一致性的选择权交给用户,让用户根据实际业务特点,按需选择,灵活使用。Consistent具有最高的读一致性,但是实现上要求所有的读请求都要走一遍Raft 内核并且将会与写操作串行,会给集群造成一定的压力。stale具有很好的性能优势,但是读操作可能会落到数据有延迟的节点上。在Pinetree的设计中,集群管理负责维护存储节点的信息,管理所有节点的Raft主副本的状态,一方面可以对读请求进行负载均衡,另一方面可以根据AZ亲和性、副本上的数据是否有最新的log 来路由读请求。这样在性能和一致性之间进行了最大的tradeoff。3.4 日志问题Raft以Leader为中心进行复制需要考虑几个问题:1、性能问题,如果leader为慢节点会导致长尾2、日志的同步必须是有序提交3、切换leader时有一段时间的不可用问题3我们通过集群管理来最大程度的防止Leader的切换。对于问题2,因为Pinetree的日志类似innodb的redo log ,采用LSN来编号的,所以应用到Pinetree存储层的的日志必须要保序,不能出现跳过日志段或日志空洞的情况。这就要求发给Raft的日志要做保序处理。计算层产生的wal log都对应一个LSN,LSN代表的是日志在文件中的偏移量,具有单调递增且不连续的特点。因此要求Wal log产生的顺序和apply到pinetree storage的顺序要保证一致。为了满足这一需求,我们在计算层和Raft层中间增加一个适配层,维护一个队列负责进行排序,同时为了应对计算层主备的切换,对消息增加Term以保证日志不会乱序。Raft指令还可能会被重复提交和执行,所以存储层要考虑幂等性的问题。因为Pinetree storage的日志用LSN进行编号,所以可以进行重复apply。3.5 如何解决假主问题计算节点需要获取某些元数据信息,每次都必须从Leader中读取数据防止出现备机延迟。在网络隔离的情况下,老的leader不会主动退出,会出现双主的情况,这个假主可能永远不知道自己其实已经不是真正的Raft主节点,导致真Leader和假Leader同时存在并提供读服务,这在无延迟系统是不允许的。如果每次读请求都走一遍Raft协议可以识别出假主,但是将会严重的影响系统的性能。Pinetree是通过租约(lease)的方式,让一个Pinetree主节点在提供服务之前,保守地检查自身在这一时刻是否拥有lease,再决定自身能不能提供读服务。因此,就算访问了一个Pinetree假主,假主也因为没有lease而不能提供服务。3.6 性能问题 涉及到性能Pinetree考虑和优化的地方:1 如果使用 Raft 算法 保证强一致性,那么读写操作都应该在领导者节点上进行。这样的话,读的性能相当于单机,不是很理想, 优化实现了基于leader+lease的方式来提供读服务即能保证一致性又不影响性能。2 优化raft参数 :in-flight的数目;transport queue的数量3 最大限度的异步化,例如:指令在raft达成一致完成持久化后传递给状态机存入消息队列立即返回,后续对消息进行异步并行解析。4 最大限度的进行Batch和Cache。例如:把一个事务内的写操作缓存到客户端,在事务提交时,再把所有的写打包成一个batch与事务commit请求一起发送给服务端
lijianwei100
发表于2020-08-31 14:53:01
2020-08-31 14:53:01
最后回复
lijianwei100
2020-08-31 14:53:01
3654 0 -
下面以华为云数据库RDS为例,来了解一下云数据库RDS是什么,云数据库RDS有什么用?云数据库RDS(ApsaraDB for RDS,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和全SSD盘高性能存储,支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎,默认部署主备架构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼!云数据库RDS的价格因市场走势而实时变动,要了解华为云数据库RDS的实时价格,请进入华为云数据库RDS详情页面(页面直达链接:9i0i.cn/huaweicloud)了解。为什么选择云数据库RDS:选择云数据库RDS,您可以快速搭建稳定可靠的数据库服务,相比自建数据库有如下优势:便宜易用,具有灵活计费、按需变配、即开即用等优点。高性能,包括参数优化、SQL优化建议等。高可用架构和多种容灾方案。高安全性,提供多种安全措施保障数据安全。在性价比、可用性、可靠性、易用性、性能等方面,云数据库RDS都有很大优势,价格相比ECS自建数据库,仅需约1/3,相比自购服务器搭建数据库,仅需约1/10。云数据库RDS都有哪些应用场景?云数据库RDS可以在数据上和华为云诸多云产品打通,实现多样化的能力扩展数据异地容灾场景:通过数据传输服务,用户可以将自建机房的数据库实时同步到公有云上任一地域的RDS实例里面。即使发生机房损毁的灾难,数据永远在华为云有一个备份。 读写分离场景:应用读取请求较高,或是需要应对短期内读取流量高峰,可在RDS for MySQL实例下挂载只读实例,每个只读实例拥有独立的链接地址,由应用端自行实现读取压力分配。多结构数据存储:在数据类型多样的应用中,可将高热存取数据存储于缓存产品,如云数据库Memcached版 、云数据库Redis版,将图片等非结构化资源存储于对象存储 OSS,而将链接等结构化数据存储于RDS,实现对业务数据高效存取,并相应降低成本投入。搜索引擎场景:针对应用数据量较大,且有较多复杂关键词搜索场景,可搭配使用开放搜索,对亿级别数据实现百毫秒内搜索。大数据计算:云数据库RDS搭配E-MapReduce,运行Hadoop、Spark分析RDS中数据,满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求。
-
当下,数字经济来临,新技术带来便利的同时,更多的企业面临着机遇和挑战。从社会趋势来讲,生产要素已由农业经济发展到工业经济再到数字经济,数据成为新生产要素,智能成为新生产力。 从Gartner趋势分析表明,企业面临着资源分散、数据不通、应用孤立等问题,这类烟囱式应用和数据孤岛已成为企业数字化转型的阻碍;企业数据逐步多元化,数字化业务井喷增长,驱动企业需要构建一个跨越多域数据、简单、一致的数字化运营生态系统。随着技术的发展,探索数据价值一直在持续,数据平台技术架构也逐步在进化。华为云针对企业上云与治理提出了一套适用于互联网、金融、游戏、产业云等行业的解决方案,数据采集到数据处理与汇聚,再到数据计算与分析,最后到应用与消费层,通过对数据的一系列操作(采集、处理、分析和应用),构建了全场景数据服务助力企业数字化转型,最终实现从数据到价值的闭环。 图1 数据技术平台整体技术架构 数据采集与处理对核心关键应用如ERP、CRM、PDM等产生的数据来讲,经过数据复制服务DRS采集后,迁移至云上数据库,华为云数据库具备轻松实现存储容量扩容、快速便捷的实例规格变更,内核深度优化,业务并发量1000+时性能依然保持稳定,扩容仅需几分钟。具有超高的数据可靠性等特点,保障客户业务稳定运行。对于邮件,文档,网页,监控、车辆等非结构化数据,此类面向分析型场景,将通过实时数据接入kafka等服务进行数据采集,可存入对象存储服务OBS,通过流查询,交互式查询等方式,对数据进行挖掘和批处理和批计算。同时以全栈大数据MapReduce服务为基础,提供一站式大数据平台解决方案,一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台,并且与华为云IOT物联网、ROMA平台、数据湖工厂及数据可视化等服务对接,轻松解决数据通道上云、大数据作业开发调度和数据呈现的困难,使用户从复杂的大数据平台构建和专业大数据调优和维护中解脱出来,更加专注行业应用,完成一份数据多业务场景使用的诉求,实现自动伸缩,按需使用和计算存储分离,更低成本更高性能。数据分析与应用面向操作型场景,数据库的管理可以由数据管理服务DAS实现,DAS是用来登录和操作数据库的Web服务,提供数据库运维开发功能以及 DevOPS服务。为方便用户使用和运维华为云RDS,提供数据和表结构的同步、在线编辑,SQL输入的智能提示等丰富的数据库开发功能。同时面向大企业提供基于权限最小化控制和审批流程机制,提供数据保护、变更审核、操作审计、研发自助化等数据库DevOPS平台,帮助企业实现大规模数据库下的标准化、规范化、高效率、超安全的管理手段。面向分析型场景中,用于计算与分析的数据仓库服务GaussDB(DWS),是实时、简单、安全可信的企业级融合数据仓库,可借助GaussDB(DWS) Express将查询分析扩展至数据湖。华为云数据上云方案,可实现贯穿数据全流程一站式开发运营平台,提供全域数据集成、标准数据规范架构研发、连接并萃取数据价值、统一数据资产管理、数据智能分析与可视化、数据开放服务,可帮助企业构建完整数据**解决方案。同时跨源分析选择数据湖探索DLI服务,数据免搬迁,是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务,无需大数据背景,会SQL就会大数据分析。通过一系列流转将数据转化为资产,企业将IT系统、数据及IT服务集中到统一的云管资源池中,将会提高提升整体资源利用率和工作效率,改善流程,降低运营成本。号外:828企业上云节,来企业数据上云和治理专场,数据上云难题一站式解决,不但有亿元上云补贴,还有新购满额送华为手机P40 Pro 5G,更多豪礼等你来拿~扫码立即抢购,还可免费获取超高价值的产品白皮书噢!
-
华为云GaussDB引领数据库新方向 新基建大潮下,政企智能升级加速进行,数据成为政企智能升级的重要生产要素。相应地,数据服务作为新基建的核心之一,也处在升级进化的加速周期之中。 8月12日,华为云TechWave数据库专题日活动中,华为云数据库业务总裁苏光牛、华东师范大学副校长周傲英教授及多位数据库专家畅谈华为云数据库创新升级、融合开放,为政企助力的经验和案例。此次,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎。 华为云GaussDB 全新出发 云、AI、5G等技术驱动,数据库行业迎来新的需求。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB以统一的架构,支持关系型与非关系型的数据库引擎,为客户提供了高效稳定的使用体验,并衍生出了包括关系型和非关系型数据库、数据库工具类服务等众多数据库产品。 在关系型的数据库领域,华为云GaussDB基于openGauss生态持续发展。而GaussDB(for MySQL)则100%兼容MySQL等开放生态,便于应用迁移和开发,保护客户投资。针对非关系型数据库领域,华为云推出GaussDB NoSQL多模融合技术,支持MongoDB、Cassandra、Redis、InfluxDB等主流NoSQL协议接口,具备多模数据管理能力。华为云数据库业务总裁苏光牛 华为云数据库业务总裁苏光牛表示:“客户可以通过华为云数据库在线迁移数据,任意选择业务的切换时间点,让上云、多云更加容易。华为将通过持续的技术创新和生态开放的理念,让华为云GaussDB成为企业智能升级的数据库首选。” 服务500+政企客户,助力千行百业 目前,华为云数据库产品已经服务了超过500家大型政企客户,遍布金融、政府、电信、能源、交通、物流、电商等行业。 针对政企客户大规模、高并发的应用场景,华为云GaussDB(for MySQL)产品定义围绕高可用、高可靠、高性能、高扩展和便于运维五大方向展开。华为云数据库产品总监张昆以华为消费者云业务为例:“GaussDB(for MySQL)支撑华为手机全国超过上亿客户同时访问的业务,凭借超强的技术沉淀和对业务的特别对应功能,保障世界级迁移云任务的安全与可靠。”由此可见,GaussDB(forMySQL)足以满足各种严酷的企业级场景。 非关系型数据库GaussDB NoSQL基于GaussDB的计算存储分离的架构创新,对于性能、成本、HA、扩容性、备份恢复等多种指标都有质的飞越。 在制造业上云的过程中,需要满足大规模高频词的数据录入和调取。以汽车制造商江淮为例,面对每秒百万级别的高并发真实车联网业务场景,在成本不变的基础上,GaussDB NoSQL可以实现三倍以上的性能提升,助推制造业云化转型。 而在互联网行业中,日常巨量访问成为刚需。国家测绘地理信息局建设的地理信息综合服务网站“天地图”为多种主流地图App和政企地图提供实时地图信息,使用了华为云基于新架构的GaussDB NoSQL产品成功上云后,备份性能20+倍提升,数据恢复7+倍提升,为每天查询地图、导航保驾护航。 同样,对于游戏、互联网服务、电商、运营商等数据库服务典型行业,华为云GaussDB也能够根据具体场景,给出符合实际需求的产品组合,提供安全的云上业务转型体验。 数据库管理服务定制优化 针对政府和企业在数据库产品应用中的需求,华为云数据库管理服务DAS有针对性地开发了标准版、云DBA、企业版三款产品。 华为云数据库管理服务DAS首席架构师郭寿敏介绍,标准版是面向开发人员设计的数据库管理服务产品,具有操作界面可视化、功能特性丰富的特点,能满足每一个开发者的数据库使用需求。而云DBA工具是专属的数据库运维平台,能够快速发现问题,并自动给出诊断及优化建议,帮助用户快速根除隐患。企业版数据库DevOps平台专注企业的数据信息安全保护,提升与DBA的协作效率,节约大规模数据库的管理成本,适合企业级用户使用。 总的来说,标准版具有快速、高效、简单、易上手的特点。而企业版在此基础上拥有更强大的安全性和稳定性,有很强的抗风险能力。正如郭寿敏所说,华为云数据管理服务DAS的升级和推出,开启了云上便捷数据库管理新篇章。 此外,华为在会上还介绍了GaussDB数据库的认证体系。华为认证架构师陈睿提到,发展鲲鹏计算产业,当前存在着缺少赋能和职业成长体系,开发人才稀缺的困境。GaussDB推出的面向数据库工程师的HCIA-GaussDB认证,以及面向关系型数据库的OLTP方向和OLAP方向认证,旨在帮助孵化生态开发者。 华为云GaussDB数据库的全新升级是数据库行业自身快速发展的又一个里程碑。在整个科技领域快速向前的加速周期中,华为云GaussDB再次指引了数据库行业的发展方向。在新基建大潮中,华为云乘风破浪,以全新的GaussDB数据库赋能千行百业智能升级。图/文转载自华为云公众号
-
云数据库 TaurusDB是华为自研的最新一代企业级高扩展海量存储分布式数据库,完全兼容MySQL。基于华为最新一代DFV存储,采用计算存储分离架构,128TB的海量存储,无需分库分表,数据0丢失,既拥有商业数据库的高可用和性能,又具备开源低成本效益。TaurusDB实例的连接方式有哪些?TaurusDB提供使用内网、公网和数据管理服务(Data Admin Service,简称DAS)的连接方式。TaurusDB连接方式连接方式IP地址使用场景说明DAS连接无需使用IP地址通过华为云数据管理服务(Data Admin Service,简称DAS)这款可视化的专业数据库管理工具,可获得执行SQL、高级数据库管理、智能化运维等功能,做到易用、安全、智能地管理数据库。TaurusDB默认开通DAS连接权限。l 推荐使用DAS连接内网连接内网IP地址系统默认提供内网IP地址。当应用部署在弹性云服务器上,且该弹性云服务器与TaurusDB实例处于同一区域,同一VPC时,建议单独使用内网IP连接弹性云服务器与TaurusDB数据库实例。l 推荐使用内网连接。公网连接弹性公网IP不能通过内网IP地址访问TaurusDB实例时,使用公网访问,建议单独绑定弹性公网IP连接弹性云服务器(或公网主机)与TaurusDB数据库实例。l 为了获得更快的传输速率和更高的安全性,建议您将应用迁移到与您的TaurusDB实例在同一子网,使用内网连接。如何连接TaurusDB实例?TaurusDB提供了MySQL客户端工具帮助您连接数据库实例。 前提条件l 在使用MySQL连接数据库之前,您需要确定应用所在的弹性云服务器与TaurusDB实例是否处在同一区域,同一VPC内。n 是:可以直接通过内网方式连接数据库实例。n 否:需要为实例绑定弹性公网IP,通过公网连接数据库实例。l 设置安全组规则,开通需访问数据库的IP地址和端口,详情请参考设置安全组规则。l 在Linux操作系统中,您需要在可访问TaurusDB数据库的设备上安装MySQL客户端。请参见如何安装MySQL客户端。l 如果选择SSL方式连接数据库,需要在云数据库RDS控制台实例“基本信息”页面,单击“数据库信息”模块“SSL”处的,下载根证书或捆绑包。 远程连接数据库步骤 1 登录应用所在的弹性云服务器。请参见《弹性云服务器快速入门》中“购买弹性云服务器”和“登录弹性云服务器”。步骤 2 将根证书导入弹性云服务器Linux操作系统。请参见将根证书导入Windows/Linux操作系统。步骤 3 连接TaurusDB数据库实例。以Linux系统为例,执行如下命令。mysql -h <hostName> -P -u <userName> -p --ssl-ca=<caName>参数说明<hostName>内网地址。在目标集群的“基本信息”页面,“网络信息”模块查看“写内网地址”信息。 数据库端口,默认3306。在目标实例的“基本信息”页面,“网络信息”模块的“数据库端口”。<userName>用户名,即TaurusDB数据库管理员帐号,默认为root。<caName>相应的SSL证书文件名,该文件需放在执行该命令的路径下。使用root用户SSL连接数据库实例,示例如下:mysql -h 172.16.0.31 -P 3306 -u root -p --ssl-ca=ca.pem出现如下提示时,输入数据库帐号对应的密码:Enter password: ----结束更多内容,猛戳>>>
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签