Promtheus是大量云原生应用的监控系统，在大规模云原生环境存在异常恢复较长、可扩展性受阻等问题，Cortex作为其分布式方案虽提高了可扩展性和稳定性，但在海量时间线和范围查询时仍面临成本高性能低的问题。OpenGemini兼容Promtheus读写API，充分发挥其存储底座和向量化计算引擎的优势，在多场景下表现优异。本次直播主要介绍OpenGemini的基本架构、性能提升的关键技术和效果。直播链接：cid:link_0Q：openGemini有针对高QPS查询做优化么？A:有，比如对tsbs测试工具的single-group-by-xx这类高QPS查询有做专门的优化Q：openGemini支持哪些语言的sdkA:cpp、go、java等，可以在官网上看一下Q：openGemini查询引擎未来有哪些优化技术？A:会对普罗查询增加更加丰富的计算下推场景Q：openGemini有查询优化器吗？支持复杂查询的优化A:有，支持Q：openGemini目前兼容哪些生态？A:influxDB生态和普罗生态Q：sidecar如果分布在不同地域，容易造成较高延迟，查询速度会较慢。怎么避免？A:这是thanos存在的问题，openGemini副本模式未来可以提供更加丰富的读写策略来帮助将读写集中到指定地域Q：openGemini在云原生可观测性领域的未来发展方向和计划是什么？A:完善生态，深入了解用户使用场景和需求Q：openGemini有时序分析能力吗？A:有，可以看下我们github上openGemini-castor仓Q：openGemini和其他时序数据库，比如apachedruid相比最大的特点和优点在哪部分？A:具有更高效的读写性能Q：openGemini也可以用来sql给alertmanager来告警吗A:可以搭配普罗作为存储和分析底座，通过普罗来采集数据和告警Q：openGemini在云原生环境下的分布式架构是如何设计的，它如何支持大规模集群部署？A:主要由ts-sql和ts-store组成，都可以水平扩展来支持大规模集群Q：数据写入可以不依赖Prom吗？直接使用prom的SDK写入可以吗？A:在目前支持的http api范围内使用可以Q：openGemini如何确保在多租户环境下的数据安全性和隔离性？A:不同用户使用不同DB，为每个用户授予DB的读写权限，可以实现物理隔离。如果租户太多的情况下，每用户一个DB不合适，最好是添加用户字段，查询时必须带有用户ID的条件，以此实现逻辑隔离Q：openGemini如何处理和优化写入热点问题，以保证数据库的稳定性和性能？A:通过指定分区键的hash分区方式打散数据，保证数据均匀分布Q：openGemini在处理海量时序数据时，如何保证数据的高压缩率和高性能？A:不同数据类型采用不同的压缩算法，列式压缩，保证整体的高压缩率Q：openGemini在存储分析一体化方面有哪些创新，这些创新如何帮助企业提升数据处理效率？A:提供列式存储、数据压缩、LSM等能力，解决海量数据持续写入性能问题；提供数据预聚合、降采样、流式聚合等解决数据分析效率问题Q：cortex支持逻辑多租，那么多租户在openGemini用什么来表示呢？A:普罗写入提供单独的API实现不同用户的数据存储在多个表中，也可以不同用户使用不同DB实现物理隔离Q：openGemini在时序数据库测试基准TSBS测试中，相对于业界influxdb、tdengine、iotdb读写性能表现如何？A:相比InfluxDB OSS v2.x版本，openGemini在如上12个典型场景的查询性能大幅领先，最大提升60倍Q：openGemini当前支持哪些查询语言？从可观测发展的角度，它的定位是什么？A:支持InfluxQL和PromQL，定位是可观测性数据的存储和分析底座Q：openGemini在云原生可观测性方面有哪些优势？A:集群化可扩展，高可用性，易部署，更好的写入和查询性能Q：openGemini相对于prom压缩率更高吗？有哪些关键技术？A:内置delta、ZigZag、Simple8b、Snappy等多种压缩算法，支持对不同数据类型采用不同压缩算法的列式压缩，可以达到比普罗更高的压缩率Q：openGemini查询引擎相对于PromQL引擎有哪些优势？A:增加多种计算下推规则、根据空闲资源并发执行多个计算任务、向量化执行等Q：openGemini如何支持大规模集群部署？A:计算和存储组件均可以水平扩展Q：openGemini如何实现与云原生环境的兼容性？A:openGemini已支持K8s、KubeEdge容器化部署Q：如何优化时序数据库的存储和查询，以提高数据的处理效率？A:可以通过explain analyze打印查询时延分布确定优化方向，对于并发执行的一些场景可以用golang pprof工具抓取cpu消耗分布的火焰图Q：openGemini如何促进不同行业的数字化转型？A:通过存储和分析海量可观测性数据来促进电力、能源、车联网、物联网等多行业对监控指标、系统日志、调用链等深度使用Q：openGemini在性能方面相比其他时序数据库有何提升？A:相比InfluxDB OSS v2.x版本，openGemini在如上12个典型场景的查询性能大幅领先，最大提升60倍Q：openGemini在数据压缩方面有哪些特点？A:内置delta、ZigZag、Simple8b、Snappy等多种压缩算法，支持对不同数据类型采用不同压缩算法的列式压缩，可以达到比普罗更高的压缩率Q：OpenGemini在数据安全方面采取了哪些措施？如何保障数据在传输和存储过程中的保密性、完整性和可用性？A:openGemini支持数据传输加密和用户密码鉴权，支持用户弱密码校验和审计日志。此外，openGemini集群的各组件之间通信可配置HTTPS双向认证（Mutual TLS），确保每一个链接都是可信的Q：openGemini高基数引擎有什么作用？A:改变现有时序引擎的数据排序方式与索引方式，去掉时间线的影响，更适用于高基数场景Q：openGemini的高性能体现在哪里？A:写入和查询时延、QPS等性能指标表现更好，数据压缩率高Q：有要求go必须是多少版本以上的吗？A:1.22Q：openGemini与其它时序数据库相比有哪些优势？A:集群化可扩展，高可用性，易部署，更好的写入和查询性能Q：openGemini能监控哪些方面数据？A:指标数据，日志数据Q：cortex支持逻辑多租，那么多租户在openGemini用什么来表示?A:普罗写入提供单独的API实现不同用户的数据存储在多个表中，也可以不同用户使用不同DB实现物理隔离Q：在相对有限的时间线数量下，openGemini如何提供极致的写入与查询性能？A:在这种情况下，可以使用时序引擎，通过时间线聚簇、时间排序、倒排索引，可以同时提供面向点查、聚合查询的极致性能Q：openGemini在InfluxDB上做了哪些改进？A:可扩展性、高可用、高性能存储和查询引擎等Q：openGemini是否支持数据迁移功能？A:提供InfluxDB像openGemini的数据迁移工具Q：OpenGemini在处理高基数数据时，其列式存储+排序+聚簇索引的方式具体能在多大程度上提升读写性能？与其他主流时序数据库相比，优势有多大？A:单核写入性能相对于ClickHouse有3倍提升，查询性能短期时间范围查询、条件+时间范围查询与ClickHouse时延差距10倍Q：普罗支持哪些数据的导入，能否实现云端数据的直接同步对接吗A:主要是指标数据，可以直接对接采集并存储云端监控数据Q：openGemini能提供哪些组件运维能力？A:提供ts-monitor可上报ts-meta、ts-sql、ts-store的监控指标Q：openGemini使用哪种语法解析器？如何优化语法树？A:使用golang yacc生成的自定义的语法规则，兼容influxql，主要通过基于规则变化的优化方式Q：openGemini目前支持哪些操作系统？A:支持主流Linux 系统（含openEuler）、Windows 和MacOSQ：openGemini高基数引擎功能有什么作用？A:针对高基数场景的列存引擎，引入新的数据布局与索引解决索引膨胀问题Q：openGemini在异常检测和预测方面有哪些优势？A:可检测13种常见的异常场景，具有检测速度快、准确性高、流批一体的优点，让数据就近处理，提高数据分析效率Q：OpenGemini社区的发展状况如何？社区的活跃度、开发者的参与度以及贡献者的数量等方面的情况怎样？A:吸引了包括天翼云、沃趣、国能数智、移远通信、华为云IoT等在内的很多企业开发者的关注并加入社区贡献Q：时序引擎是否可以和列式引擎混用？A:按照表粒度使用不同的存储引擎，可以在表级以上混用，不能在表级及其以下混用Q：openGemini日志检索功能有什么作用？相比其它数据库有什么优势？A:通过文本关键字在openGemini中检索包含关键字的所有日志数据，支持模糊匹配、正则匹配和精确匹配三种，具有更高的索引效率Q：openGemini多级降采样功能有什么作用？A:对历史数据明细的特征提取，并原地替换历史数据明细Q：openGemini流式聚合功能能解决哪些问题？A:解决传统降采样方法从磁盘读取大量历史数据进行计算的IO放大问题Q：openGemini时序数据库如何与其他系统集成和协同工作？A:通过统一的接口层协议Q：openGemini支持哪些开发语言和框架？openGemini是否支持多租户架构？A:支持c++、golang、java等多种SDK，支持多租户架构Q：在高基数场景下，使用openGemini列存引擎需要注意哪些问题？A:需要修改flight相关的写入配置，创建表需要使用高基数表的创建方式并带上存储引擎类型等Q：openGemini异常检测和预测功能有什么作用？A:帮助检查数据突升突降，持续上升/下降等多种异常场景，帮助根据历史时序数据获取未来预测值Q：针对OpenGemini部署和运维方面应注意哪些方面A:按照官方给的配置文件确定ip地址进行部署Q：如何选择合适的机器配置来部署openGemini列存引擎？A:根据因为u实际的工作负载和性能要求选择Q：如何监控和调优openGemini列存引擎的性能？A:可以通过ts-monitor上报的openGemini监控数据分析系统资源使用情况、explain analyze分析单条查询时延分布、golang pprof工具统计性能数据Q：有哪些应用场景？A:能源、电力、车联网、物联网、云原生监控运维等想要了解 openGemini时序数据库 更多相关知识，欢迎观看DTSE Tech Talk 系列技术直播

用友政务GRP-U8B版软件，点资产管理模块的卡片登记簿，一定刷新按钮就提示“不能连接到数据库，请检查或与管理员联系”。

中奖结果公示感谢各位小伙伴参与本次活动，欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下（部分视频号抽奖用户无账号名）：账号名 奖项名称 奖品名称 备注nukinsan优质提问华为云开发者定制长袖圆领卫衣A18D07BA7E8E481DB625DD9346352097持久观看有奖华为云开发者定制礼盒黑灰产用户，不符合活动要求口令抽奖华为云开发者定制帆布袋口令抽奖华为云开发者定制帆布袋口令抽奖华为云开发者定制帆布袋视频号抽奖HDC定制渔夫帽视频号抽奖华为云开发者定制鼠标垫视频号抽奖华为云开发者定制鼠标垫视频号抽奖华为云开发者定制云宝盲盒视频号抽奖华为云开发者定制云宝盲盒

数据库上云有多轻松？华为云技术专家带你玩转云数据库API，智能数据底座手到擒来。 本期直播内容聚焦在华为云数据库开发者平台能力展开，重点围绕GaussDB与GaussDB(for MySQL)服务，深入浅出产品核心能力，解读开发者指南，实践一站式可视化开发者平台，助力开发者快速上手数据库服务API。直播链接：cid:link_0Q：GaussDB是如何实现故障转移和高可用的？能否详细介绍一下其故障恢复机制？A:云数据库GaussDB服务是国内首个双集群强一致方案，核心业务高可用。 双集群强一致：基于存算分离，GaussDB+鲲鹏+NOF网络+Dorado存储，全栈组合调优，集群级故障完全隔离，双AZ双活，保障RPO=0 应用无损透明倒换：故障切换快速连接、SQL操作断点继续，实现数据库HA切换时连接不断、事务自动回放，业务无感知 数据可靠：数据持久性高达99.9999999999%，保证数据安全可靠，保护业务免受故障影响 详细请参考官网：cid:link_1Q：对于没有丰富数据库开发经验的开发者来说，华为云数据库 API 的学习曲线是怎样的？有哪些资源和工具可以帮助他们快速掌握？A:开放着官网丰富的API资源和开发者资料，可以满足开发者快速学习。 参考开发者官网：https://developer.huaweicloud.com/Q：华为云数据库服务API支持哪些类型的数据库？如MySQL、PostgreSQL、MongoDB等。A:华为云官网上的已提供服务的数据库均已提供丰富的api能力。Q：华为云数据库API支持哪些编程语言，并且如何进行接口调用？A:API是基于http对外提供接口请求，任何语言都可以支持。可参考GaussDB官网如何调用API章节：https://support.huaweicloud.com/productdesc-gaussdb/gaussdb_01_057.html Q：GaussDB在处理大规模数据时的性能优化方法有哪些？A:参考官网SQL调优指南：https://support.huaweicloud.com/distributed-devg-v8-gaussdb/gaussdb-12-0246.htmlQ：华为云数据库服务API如何与云上其他服务（如云存储、云缓存）集成？A:数据库服务API由开发者进行编排和集成，可以和其他云服务集成配套。Q：在GaussDB中如何实现细粒度的访问控制和权限管理？A:云数据库GaussDB服务支持角色和策略权限管理，角色以服务为粒度。策略以API接口为粒度进行权限拆分，授权更加精细，可以精确到某个操作、资源和条件，能够满足企业对权限最小化的安全管控要求。 详细请参考官网：https://support.huaweicloud.com/api-gaussdb/gaussdb_api_190.htmlQ：GaussDB(for MySQL)支持并行查询的话，和MySQL的innodb的引擎最大的差异在哪里？A:并行查询是GaussDB(for MySQL)服务自研特性，将查询任务进行切分并分发到多个CPU核上进行计算，充分利用CPU的多核计算资源来缩短查询时间。并行查询的性能提升倍数理论上与CPU的核数正相关。 详细请参考官网：https://support.huaweicloud.com/kerneldesc-gaussdbformysql/gaussdbformysql_20_0005.htmlQ：在开发过程中，如何利用华为云数据库进行有效的性能测试和压力测试？A:可以使用业务通用的sysbench或者benchmark基准测试工具。Q：GaussDB数据库服务 API 可以支持哪些编程语言？A:数据库服务API是通用的Restful接口，允许不同软件系统之间进行交互，支持任何语言。数据库服务API为开发者提供了对应的SDK工具，支持主流的7种语言的能力。Q：如何通过华为云数据库服务API实现数据库实例的自动扩展？A:数据库服务API支持相关场景自动扩展，如：云数据库GaussDB(for MySQL)支持自动扩缩容（Autoscaling），按需实例支持根据cpu使用率自动扩大或者缩小规格，也可以支持增加或者减少只读节点，包周期实例支持根据cpu使用率自动扩大或者缩小规格。 详细请参考官网：https://www.huaweicloud.com/product/gaussdbformysql/features.html 云数据库GaussDB支持自动扩容实例磁盘，详细请参考官网：https://support.huaweicloud.com/usermanual-gaussdb/gaussdb_01_471.htmlQ：业务量提升后，GaussDB是如何扩展的A:这个需要看具体的场景，是需要扩规格还是需要扩分片。Q：华为云数据库服务API的调用费用是如何计算的？A:数据库服务按照开通资源用量收费，API调用不涉及费用。Q：GaussDB支不支持使用SQL命令修改全局参数？A:用户界面不支持。Q：发生故障以后，数据库服务的自动恢复机制是怎样的，备份恢复的操作流程是什么样的A:数据库服务提供强大的高可用能力，如部署时多副本部署，单个副本异常不影响服务正常使用等，即使数据库实例完全不可用，我们提供了丰富的恢复能力如基于时间点恢复等能力。 参考官网：https://www.huaweicloud.com/product/gaussdbformysql/features.htmlQ：如何获取华为云数据库服务API的访问权限？A:数据库服务API支持如下两种认证鉴权，可以选择其中一种进行认证鉴权。推荐使用AK/SK认证，其安全性比Token认证要高。 Token认证：通过Token认证通用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 详细请参考官网：https://support.huaweicloud.com/api-gaussdbformysql/gaussdbformysql_03_0001.htmlQ：GaussDB哪些监控工具可以检查数据库的健康状况？A:GaussDB云服务采集了丰富的指标并上报到了云监控服务。Q：多台弹性云服务器云主机是否可以使用同一个GaussDB数据库A:可以的。Q：华为云数据库如何支持SQL和NoSQL的混合使用？A:可以了解下HTAP数据库场景。Q：如何将现有的MySQL数据库迁移到GaussDB(for MySQL)，是否有自动迁移工具？A:华为云数据复制服务（DRS）可以很方便的完成实例迁移，支持多种主流数据源，实现数据安全、稳定、实时、高速传输，提供极致交互体验。 详细请参考官网：https://www.huaweicloud.com/product/drs.htmlQ：如何使用华为云数据库服务API进行数据传输？A:数据库服务API针对数据库的管理场景提供接口服务，并不具备数据传输能力。Q：GaussDB是否兼容现有的MySQL应用？A:GaussDB的M兼容性，兼容MySQL协议。Q：华为云数据库服务API支持哪些编程语言？A:数据库服务API是通用的Restful接口，允许不同软件系统之间进行交互，支持任何语言。数据库服务API为开发者提供了对应的SDK工具，支持主流的7种语言的能力。Q：GaussDB支持自动扩展吗？如何配置？A:云数据库GaussDB服务API支持相关场景自动扩展，详细请参考官网：https://support.huaweicloud.com/usermanual-gaussdb/gaussdb_01_471.htmlQ：使用云数据库相比传统数据库，在成本上有哪些优势？A:云数据库服务相比传统的数据库，云数据库即用即买，随时退订。Q：GaussDB(for MySQL)垂直集成能力的具体实现方式是什么，它如何提升云环境下的扩展性和性能？A:包周期实例可以通过容量变更功能实现磁盘扩容可以通过规格变更到更高的CPU和内容提升性能可以通过添加只读节点的方式实现扩展性Q：在使用GaussDB时，有哪些最佳实践可以提升数据库性能？A:云数据库GaussDB服务性能调优过程需要综合考虑多方面因素，具体详情请参考GaussDB官网性能调优章节https://support.huaweicloud.com/distributed-devg-v2-gaussdb/gaussdb_v5r2c10_0221.htmlQ：华为云如何保证数据的安全性？A:华为云数据库服务采用多重防护安全方案，如：身份认证、访问控制、数据保护、监控以及恢复等，是业务数据存储和使用更加放心。Q：如何将现有的数据库迁移到华为云数据库？A:华为云数据复制服务（DRS）可以很方便的完成实例迁移，支持多种主流数据源，实现数据安全、稳定、实时、高速传输，提供极致交互体验。 详细请参考官网：https://www.huaweicloud.com/product/drs.htmlQ：华为云的GaussDB有哪些独特的优势？A:云数据库GaussDB服务主要有四个优势。1、高安全GaussDB拥有TOP级的商业数据库安全特性，如下所示，能够满足政企和金融级客户的核心安全诉求。数据动态脱敏，行级访问控制，密态计算。2、健全的工具与服务化能力GaussDB已经拥有华为云，商用服务化部署能力，同时支持DAS、DRS等生态工具。有效保障用户开发、运维、优化、监控、迁移等日常工作需要。3、全栈自研GaussDB基于鲲鹏生态，是当前国内唯一能够做到全栈自主可控的国产品牌。同时GaussDB能够基于硬件优势在底层不断进行优化，提升产品综合性能。4、开源生态GaussDB已经支持开源社区，并提供主备版版本下载。Q：GaussDB(for MySQL)支持的最大存储容量是多少，与GaussDB相比如何实现这一目标？A:云数据库GaussDB(for MySQL)服务基于华为最新一代DFV 存储，采用计算存储分离架构，支持1主15只读的高扩展性、128T的海量存储。Q：华为云数据库服务API有哪些限制？A:每一个API使用的场景约束们在API文档上有详细的说明。Q：使用华为云数据库服务API时，如何确保数据的安全性和稳定性？A:华为云api提供了两种件鉴权方式，分别为token和ak，sk的方式。在版本迭代过程中api会做到100%向前兼容。Q：GaussDB的密态计算功能是如何实现的，与其他数据库相比有何优势？A:云数据库GaussDB服务支持全密态能力，密文数据检索计算。1、数据在存储、传输、查询整个生命周期过程中均以密文形态存在。2、密钥掌握在用户自己手上，数据库管理员无法获取，加解密过程仅在客户侧完成。3、语法自动解析，应用无感知，将语法解析内置到驱动中，不需要修改原有的SQL语句、数据类型等。4、通过软硬结合可以将部分算法不进行加解密过程传递，减少硬件IO。5、通过数学算法，直接对密文进行查询，极大减少加解密时的性能损耗。详细请参考官网：cid:link_1Q：华为云数据库服务API有哪些应用场景？A:能力和控制台齐平，控制台能做的能力，api可以代替。Q：如何解决GaussDB(for MySQL)中长事务导致的锁超时问题？A:云数据库GaussDB(for MySQL)服务通过非阻塞DDL对该问题进行了相关特性的优化，详细请参考官网： https://support.huaweicloud.com/kerneldesc-gaussdbformysql/gaussdbformysql_20_0015.htmlQ：默认是一主多备的话，数据都是多副本的对吧A:是的。GaussDB(for MySQL)跨3AZ高可用部署，集群内数据3副本。Q：有没有关于数据库监控的优化A:参考官网：https://support.huaweicloud.com/usermanual-gaussdb/gaussdb_01_238.htmlQ：有类似于oracle的“完全恢复”功能吗A:数据库服务支持PITR恢复，可以恢复到具体时间点。 参考官网：https://support.huaweicloud.com/usermanual-gaussdb/gaussdb_01_646.htmlQ：在性能方面，GaussDB 和 GaussDB (for MySQL) 有哪些突出表现？与传统数据库相比有何优势？还有这两个的区别和核心能力呢？A:采用计算与存储分离，日志即数据架构，性能提升至开源MySQL的7倍。详情请看文档:https://support.huaweicloud.com/productdesc-gaussdbformysql/introduction.htmlQ：GaussDB for mysql，如果要把mysql的实例迁移过来，有专属软件吗A:通过华为云DRS(数据复制服务)可以很方便的完成实例迁移。Q：能否通过API获取GaussDB的实时负载，以及同时多少个连接正在查询修改。以及当前服务器资源使用率A:GaussDB提供了丰富的指标堆在在华为云监控服务上，可调用云监控服务进行查询。Q：GaussDB的API是否支持完整的CRUD操作，以及是否能够通过API实现数据库的自动化运维？A:数据库服务API接口支持数据库管理操作，不支持数据类CRUD操作。Q：认证有考试报名费用吗？A:需要的想要了解更多数据库相关知识，欢迎观看DTSE Tech Talk 系列技术直播

深度数据包检测 (DPI) 技术是一种能够深入分析和控制网络流量的技术，其检测粒度达到应用层，可以识别和控制各种应用协议，如HTTP、FTP、DNS等。DPI技术广泛应用于网络安全、网络优化、业务运营等领域，能够帮助企业提高网络性能、保障网络安全、提升用户体验。 DPI技术的工作原理是对网络流量进行深入的分析和控制。当网络流量经过DPI设备时，设备会对流量进行深度分析，识别出流量的应用协议，然后根据预设的策略对流量进行控制，如允许、限制或阻断等。  例如，在网络安全方面，通过对网络流量进行深度分析，DPI可以实时检测和防范各种网络攻击，如DDoS攻击、网络钓鱼等。在网络优化方面，DPI可以识别和控制各种应用层协议，有效优化网络资源，提高网络性能。   DPI技术的应用对于企业和个人都有着重要的意义。对于企业来说，DPI技术可以帮助他们提高网络性能、保障网络安全、提升用户体验，从而提高企业的运营效率和竞争力。对于个人来说，DPI技术可以保护他们的网络安全，避免网络攻击和网络钓鱼等安全威胁，提高他们的网络使用体验。  DPI技术还可以用于构建用户画像。在当今这个信息爆炸的时代，品牌了解自己的用户变得越来越重要。用户画像中包含了用户的年龄、性别、地域、社交关系、兴趣偏好、触媒习惯、行为特征、消费习惯等信息，可以帮助品牌深入了解目标用户群体，洞察用户真正的动机和行为。这对于品牌来说，具有重要的营销和产品设计意义。  

MySQL数据库写操作介绍DBMS（Database Management System）简称数据库，在当前互联网、金融等行业中获得了广泛的应用。数据库事务（Database Transaction）是单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全地不执行。事务处理可以确保除非事务性单元内的所有操作都成功完成，否则不会永久更新面向数据的资源。为保证上述事务的一致性和原子性，防止事务提交到持久化存储时出现不完整的情况，如因为突然断电、数据库或者操作系统挂死等意外情况导致部分数据库写入，部分未写入的情况，很多主流数据库采用了Doublewrite机制。NVMe SSD原子写特性实现原理由前述可知，数据库为保证数据持久化到存储中不发生部分数据更新而导致的不一致问题，保障数据库的原子性，采用了Doublewrite机制，造成对存储的两次写操作。针对这个问题，华为ES3000 V5 NVMe SSD提供原子写特性，保障写入ES3000 V5 NVMe SSD的IO操作的原子性，即一个IO要么完整的写入，要么整个写失败，不会出现一个IO中部分数据写入，部分未写入的情况，实现原理如图2所示。这样数据库可不采用Doublewrite机制，也能保证数据完整落盘，减少一次数据写入操作，从而提升性能。本文将详细介绍数据库解决方案MySQL数据库场景下，使能华为新一代NVMe PCIe固态硬盘ES3000 V5的原子写特性的操作指导。硬件要求硬件要求如表1所示。表1 硬件要求项目说明服务器TaiShan 200服务器（型号2280）CPU华为鲲鹏920处理器硬盘要求OS盘：900G SAS HDD/ RAID 1 (仅做推荐，至少需要两块盘)MySQL数据盘：华为ES3000 V5 NVMe SSD（固件版本最低要求 2151）操作系统要求表2 操作系统要求项目版本CentOS7.6 for ARM安装ES3000 V5 SSD驱动和NVMe卡管理工具。安装ES3000 V5 SSD驱动的具体操作请参见ES3000 V5 NVMe PCIe SSD 用户指南-安装驱动。安装hioadm NVMe卡管理工具的具体操作请参见ES3000 V5 NVMe PCIe SSD 用户指南-安装工具包。说明如果只使用ES3000 V5 NVMe PCIe SSD，不使用其他厂家的SSD，可以使用操作系统自带的NVMe驱动（不需要安装华为NVMe驱动）。驱动安装完成后，查询指定的SSD设备的固件版本，确认固件版本为ES3000 V5 2151及之后的固件版本。命令格式为：hioadm updatefw -d <device>其中device为待查询的SSD设备名称，例如“nvme0n1”。使用实例：hioadm updatefw -d nvme0n1升级NVMe固件版本。打开技术支持网站，并搜索ES3000 V5点击“软件”标签，并且选择规划的固件版本包选择固件升级包，并下载。上传到服务器“/home”目录，并解压。unzip ES3000_FW_V5_3248_UpdatePkg.zip在“/home”目录下执行命令，升级NVMe固件版本。命令格式为：hioadm updatefw -d devicename -f fwimagefile [-s slot] [-a activeflag]本文以如下命令为例，在“/home”目录下进行执行操作：cd /home hioadm updatefw -d nvme0n1 -f ES3000V5_FW_3248.bin -s 1 -a 1输入Y，确定，回车。查看升级后的固件版本，确认已经升级成功。hioadm updatefw -d nvme0n1查询NVMe SSD原子写的使能状态。命令格式为：hioadm atomicwrite -d <device>其中device为指定的SSD设备名称，例如“nvme0n1”。使用实例：hioadm atomicwrite -d nvme0n1回显信息显示如下，表示原子状态为关闭状态。atomic write status: Disabled.使能NVMe SSD原子写特性。命令格式为：hioadm atomicwrite -d <device> -f <value>其中：device为指定的SSD设备名称，例如“nvme0n1”。value表示原子写开关使能。0代表关闭原子写；1代表开启原子写。使用实例：hioadm atomicwrite -d nvme0n1 -f 1回显信息显示如下，表示开启原子写成功。Enabling atomic write succeeded.在Linux发行版操作系统中，ext4文件系统支持MySQL 16KB page size的原子写入要求，通过BigAlloc选项可以更大粒度组织文件逻辑地址映射。您可以使用BigAlloc选项的mkfs.ext4命令来格式化NVMe SSD。执行如下命令格式化NVMe SSD。命令格式为mkfs.ext4 -O bigalloc -C 16384 <device>，其中device为指定的SSD设备名称，例如“/dev/nvme0n1”。mkfs.ext4 -O bigalloc -C 16384 /dev/nvme0n1回显信息显示如下，表明已完成格式化NVMe SSD。修改[mysqld]参数后，需要重启数据库使参数生效。打开数据库配置文件。在本例中，配置文件路径为“/etc/my.cnf”。vim /etc/my.cnf按“i”进入编辑模式，找到以下参数并进行修改。如果没有以下参数，则将该参数添加到文件中。[mysqld] innodb_flush_method=O_DIRECT innodb_doublewrite=0按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。重启数据库使参数生效。service mysql restart说明启动数据库具体命令以《MySQL 安装指南》中不同安装方式下的相应启动方式为准。验证原子写特性配置是否成功。执行以下命令查询原子写状态。hioadm atomicwrite -d nvme0n1回显信息显示如下，表示原子写状态已开启。数据库内确认“doublewrite”和“flush_method”参数是否已修改成功。show variables like '%flush_method%'; show variables like '%doublewrite%';

如题，GaussDB数据库是否有类似于oracle的高效的分页查询语句，实现大表（亿级量行存表)无论有无查询条件均能快速返回任意页的数据？现遇到一个场景，需要从gauss数据库抽一张超级大量数据至其他数据库上，采用分页查询的方式查询表数据并行写表，采用 limit ... offset 或 类似于oracle的rownum 分页查询效率都不佳。

尊敬的客户：很荣幸在此通知您，数据仓库专业级开发者认证（HCCDE - GaussDB(DWS)）预计将于2024年9月20日正式对外发布。为帮助您更好的了解HCCDE - GaussDB(DWS)认证相关内容，现进行预发布通知，请您关注。1 什么是HCCDE – GaussDB(DWS)认证？    数据仓库专业级开发者认证（HCCDE - GaussDB(DWS)）是华为云重磅推出的首个专业级开发者认证，也是华为云首个完整、明确定义数据仓库人才所需知识及技能的专业级认证。    HCCDE – GaussDB(DWS)认证作为华为云数据仓库领域最高等级的技能认证，由华为云学堂和华为云数据仓库GaussDB(DWS)产品部多位顶级专家精心设计、开发而成，保证了认证内容的权威性和可靠性。该认证主要面向数据仓库、数据库领域的应用架构师、系统架构师、资深工程师等对数据仓库有学习认证需求的相关岗位人员。获得HCCDE – GaussDB(DWS)认证证书能够展示自己在数据仓库领域的专业知识和技能，提升职场竞争力。HCCDE – GaussDB(DWS)认证对于数据仓库领域的专业人士来说，也是一个提升自己技能和展示专业能力的绝佳机会。通过该认证，您将获得华为云官方的能力认可，证明您在数据仓库及大数据方向具备了以下能力：全面掌握数据仓库领域相关的知识，深入理解GaussDB(DWS)的核心架构原理和关键技术原理。具备根据业务场景需要，利用GaussDB(DWS)进行架构设计和业务设计的能力。具备分析GaussDB(DWS)疑难性能问题、进行深度SQL优化、深度性能调优的能力。掌握导入导出方法，可以根据业务需要灵活选择不同数据源的最佳数据访问方案。具备根据业务安全要求进行安全设计的能力。具备根据业务实际需求设计合理的高可用方案，以及根据业务需要和业务高可用要求制定合理的备份和容灾策略的能力。2 为什么选择HCCDE – GaussDB(DWS)？华为云数据仓库GaussDB(DWS)，历经13年的技术磨砺，已成为国产数据仓库中的佼佼者，作为中国唯一获得数仓类CC安全认证的产品，在国有大行和股份制银行中的部署比例达到60.1%，是中国金融数仓市场本地部署第一名。GaussDB(DWS)在金融、泛政府、电信、能源、交通、医疗、物流、电商等领域，帮助1700+大客户实现规模商用。数字化时代，各行业对使用数据仓库的需求日益增长，华为云数据仓库GaussDB(DWS)前景广阔，对于相关人才的需求也极为旺盛。3 HCCDE – GaussDB(DWS)认证内容介绍HCCDE – GaussDB(DWS)认证课程将涵盖以下关键知识领域：GaussDB(DWS)核心架构理念：理解GaussDB(DWS)的整体架构和设计原则，包括分布式架构、数据模型、查询处理等方面的技术内容。GaussDB(DWS)对象设计理念：理解如何合理利用GaussDB(DWS)设计和使用对象，以及如何根据不同的业务场景进行有效的业务对象设计。GaussDB(DWS)性能管理：对GaussDB(DWS)进行性能监控和管理，包括如何定位和解决性能问题，以及如何进行性能优化。GaussDB(DWS)数据访问：基于GaussDB(DWS)进行数据的导入、加工、导出和查询，以及如何使用相关的工具和技术。GaussDB(DWS)安全管理及集群安全配置：理解 GaussDB(DWS)的安全机制和策略，包括如何进行安全管理和集群安全配置。GaussDB(DWS)资源管控：在GaussDB(DWS)中进行资源管理和控制，以及如何根据业务需求进行资源分配和调度。GaussDB(DWS)高可靠及高可用原理与方案设计：掌握GaussDB(DWS)的高可靠性和高可用性的设计原则和方法，包括如何设计和应用相关的解决方案。GaussDB(DWS)监控运维原理与方案设计：在GaussDB(DWS)中进行监控和运维，以及如何设计和实施相关的监控和运维方案。4 如何更好地准备认证？为了准备HCCDE – GaussDB(DWS)认证学习与考试，我们建议你具备以下几点条件：首先，你需要拥有多年的数据仓库/数据库领域的工作经验，或者对数据仓库/数据库有较为清晰的认识。这将帮助你更好的理解考试内容，并在实际应用中运用所学知识。其次，你需要拥有HCCDP – GaussDB(DWS)认证证书，或者具备与HCCDP – GaussDB(DWS)同等的能力。这意味着你需要熟悉数据仓库、数据库的基本原理和概念，熟练掌握基本的对象设计方法，熟练掌握SQL写法和规范，以及了解GaussDB(DWS)常用系统表、系统视图及常用的问题处理方法。在开始认证学习之前，我们建议你通过阅读产品文档和参与开发者社区来增进对GaussDB(DWS)的认知。这将帮助你更好地了解GaussDB(DWS)的功能和特性，为认证考试做好准备。产品文档链接：cid:link_1开发者学习平台链接：cid:link_05 考试和认证流程介绍6 结语随着大数据时代的来临，数据成为企业的核心资产。数据仓库技术因此变得至关重要，掌握相关技能对职业发展具有重要的意义。华为云开发者认证推出的HCCDE–GaussDB(DWS)专业级认证，提升个人能力并帮助企业优化数据利用，增强竞争力。加入HCCDE–GaussDB(DWS)专业级认证，共同迎接数据驱动的未来。

中奖结果公示感谢各位小伙伴参与本次活动，欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下（部分视频号抽奖用户无账号名）：账号名 奖项名称 奖品名称 harmonypass优质提问HDC定制双肩包hw57269863优质提问HDC定制双肩包视频号抽奖开发者定制折叠雨伞视频号抽奖开发者定制短袖Polo衫

数据库论坛2024年8月热门问题F&A请问GaussDB的主备版就是集中式吗cid:link_1集中式数据库集中式数据库通常由单个服务器或一组紧密耦合的服务器组成，所有的数据存储和处理都在一个中心位置进行。数据存储在一个或几个大容量的存储设备上，由一个中央处理器进行管理和控制。分布式数据库分布式数据库由多个分散在不同地理位置的数据库节点组成，这些节点通过网络连接在一起。数据分布在多个节点上，可以根据数据的特点和访问模式进行灵活的划分和存储。Gaussdb分布式 集群状态为degraded，其中2个节点显示为deletecid:link_2查看集群状态使用 GaussDB 的管理工具或命令行界面查看集群的整体状态和节点状态。例如，可以使用以下命令查看集群状态： SELECT * FROM pg_stat_replication;这个命令可以显示复制状态信息，包括节点的连接状态、同步进度等。检查日志文件查看 GaussDB 的日志文件，以获取有关节点故障、错误消息和其他问题的详细信息。日志文件通常位于数据库安装目录下的 log 子目录中。重新启动节点如果节点出现故障，可以尝试重新启动节点。使用适当的命令或工具来重新启动节点，例如： gs_ctl restart -D /path/to/database/data/directory其中 /path/to/database/data/directory 是数据库数据目录。检查数据复制使用 GaussDB 的复制工具或命令检查数据复制状态。例如，可以使用以下命令检查数据复制进度： SELECT * FROM pg_stat_replication;这个命令可以显示复制状态信息，包括节点的连接状态、同步进度等。gs_log日志找不到 statement SQL的相关信息cid:link_0数据库日志不记录在哪个库执行语句

[openGauss] 高级分析函数支持可获得性本特性自openGauss 1.1.0版本开始引入。特性简介无。客户价值我们提供窗口函数来进行数据高级分析处理。窗口函数将一个表中的数据进行预先分组，每一行属于一个特定的组，然后在这个组上进行一系列的关联分析计算。这样可以挖掘出每一个元组在这个集合里的一些属性和与其他元组的关联信息。特性描述简单举例说明窗口分析功能：分析某一部门内每个人的薪水和部门平均薪水的对比。SELECT depname, empno, salary, avg(salary) OVER (PARTITION BY depname) FROM empsalary; depname | empno | salary | avg -----------+-------+--------+----------------------- develop | 11 | 5200 | 5020.0000000000000000 develop | 7 | 4200 | 5020.0000000000000000 develop | 9 | 4500 | 5020.0000000000000000 develop | 8 | 6000 | 5020.0000000000000000 develop | 10 | 5200 | 5020.0000000000000000 personnel | 5 | 3500 | 3700.0000000000000000 personnel | 2 | 3900 | 3700.0000000000000000 sales | 3 | 4800 | 4866.6666666666666667 sales | 1 | 5000 | 4866.6666666666666667 sales | 4 | 4800 | 4866.6666666666666667 (10 rows)可以看到，通过这个avg(salary) OVER (PARTITION BY depname)分析函数，每一个人的薪水和与部门的平均薪水很容易计算出来。目前，系统支持row_number()、rank()、dense_rank()、percent_rank()、cume_dist()、ntile()、lag()、lead()、first_value()、last_value()、nth_value()分析函数。具体的函数用法和语句请参见《SQL参考》中“ 内置函数 > 窗口函数”章节。特性增强无。特性约束无。依赖关系无。详情查看：cid:link_1详情查看：cid:link_0

[openGauss] 分布式数据库能力可获得性本特性自openGauss 2.1.0版本开始引入。特性简介基于分布式中间件shardingsphere使openGauss具备分布式数据库能力。使用32个鲲鹏920(128核)节点组网(1*shardingsphere-proxy ,11*shardingsphere-jdbc,20*openGauss)时，完美sharding性能>2100万tpmc。客户价值通过中间件构建逻辑上无资源限制的分布式数据库。特性描述通过shardingsphere中间件的分库分表能力，使多个openGauss数据库可以在逻辑上组成一个更大的数据库，同时具备分布式事务和弹性伸缩的能力，使用方式与openGauss数据库并无不同。特性增强支持事务内语句读写分离能力。支持聚集算子计算能力，实现数据库跨分片表关联查询能力。特性约束无。依赖关系shardingsphere中间件。详情查看：cid:link_1详情查看：cid:link_0

[openGauss] 分布式分析能力可获得性本特性自openGauss 3.1.0版本开始引入。特性简介基于openLookeng实现分布式分析能力，与shardingsphere配合openGauss组成HTAP数据库。客户价值通过openLookeng快速实现海量数据分析。特性描述openLookeng复用shardingsphere中间件的分库分表能力，使openLookeng可以获取海量数据进行分析运算。特性增强无。特性约束无。依赖关系openLookeng中间件、shardingsphere中间件。详情查看：cid:link_1详情查看：cid:link_0

[openGauss] 访问控制模型可获得性本特性自openGauss 1.1.0版本开始引入。特性简介管理用户访问权限，为用户分配完成任务所需要的最小权限。客户价值客户依据自身需求创建对应的数据库用户并赋予相应的权限给操作人员，将数据库使用风险降到最低。特性描述数据库提供了基于角色的访问控制模型和基于三权分立的访问控制模型。在基于角色的访问控制模型下，数据库用户可分为系统管理员用户、监控管理员用户、运维管理员用户、安全策略管理员用户以及普通用户。系统管理员创建角色或者用户组，并为角色分配对应的权限；监控管理员查看dbe_perf模式下的监控视图或函数；运维管理员使用Roach工具执行数据库备份恢复操作；安全策略管理员创建资源标签、脱敏策略、统一审计策略。用户通过绑定不同的角色获得角色所拥有的对应的操作权限。在基于三权分立的访问控制模型下，数据库用户可分为系统管理员、安全管理员、审计管理员、监控管理员用户、运维管理员用户、安全策略管理员用户以及普通用户。安全管理员负责创建用户，系统管理员负责为用户赋权，审计管理员负责审计所有用户的行为。默认情况下，使用基于角色的访问控制模型。客户可通过设置GUC参数enableSeparationOfDuty为on来切换。特性增强无。特性约束系统管理员的具体权限受GUC参数enableSeparationOfDuty控制。三权分立开关和关闭切换时需要重启数据库，且无法对新模型下不合理的用户权限进行自主识别，需要DBA识别并修正。依赖关系无。详情查看：cid:link_1详情查看：cid:link_0

[openGauss] 发布订阅可获得性本特性自openGauss 3.0.0版本开始引入。特性简介发布订阅基于逻辑复制实现，其中有一个或者更多订阅者订阅一个发布者节点上的一个或者更多发布。订阅者从它们所订阅的发布拉取数据。实现集群间的数据实时同步。客户价值发布订阅的典型使用场景是：在一个数据库或者一个数据库的子集中发生更改时，把增量的改变发送给订阅者。在更改到达订阅者时引发触发器。把多个数据库联合到单一数据库中（例如用于分析目的）。特性描述发布者上的更改会被实时发送给订阅者。订阅者以与发布者相同的顺序应用那些数据，这样在一个订阅中能够保证发布的事务一致性。这种数据复制的方法有时候也被称为事务性复制。订阅者数据库的行为与任何其他openGauss实例相同，并且可以被用作其他数据库的发布者，只需要定义它自己的发布。当订阅者被应用当作只读时，单一的订阅中不会有冲突。在另一方面，如果应用或者对相同表集合的订阅者执行了其他的写动作，冲突可能会发生。特性增强3.1.0版本对该特性做了以下增强。支持gs_probackup备份发布端的逻辑复制槽，使得发布端使用gs_probackup备份恢复后复制槽不丢失，保证发布订阅的连接正常。支持发布订阅同步基础数据。当在创建发布订阅关系之前，发布端的表中已存在数据，这部分基础数据在创建订阅之后会同步到订阅端。支持以二进制格式发送数据。发布端和订阅端之间传输数据可以使用二进制的格式进行传输，而不是只能使用文本格式进行传输。支持发布端主备切换不断开。发布端发生主备切换后，订阅端能够自动连接到新的发布端主机，而无需手动修改订阅端的连接信息。5.1.0版本对该特性做了以下增强。支持发布订阅冲突自主解决。当订阅端同步数据时遇到主键或唯一键冲突时，数据库通过参数配置进行报错、保留本地或者应用远端。特性约束发布订阅基于逻辑复制实现，继承所有逻辑复制的限制，同时发布订阅还有下列额外的限制或者缺失的功能。数据库模式和DDL命令不会被复制。初始模式可以手工使用gs_dump --schema-only进行拷贝。后续的模式改变需要手工保持同步。序列数据不被复制。后台由序列支撑的serial或者标识列中的数据当然将被作为表的一部分复制，但是序列本身在订阅者上仍将显示开始值。如果订阅者被用作一个只读数据库，那么这通常不会是什么问题。不过，如果订阅者数据库预期有某种转换或者容错，那么序列需要被更新到最后的值，要么通过从发布者拷贝当前数据的防范（也许使用gs_dump），要么从表本身决定一个足够高的值。只有表支持复制，包括分区表。试图复制其他类型的关系，例如视图、物化视图或外部表，将会导致错误。同一数据库内的多个订阅不应当订阅内容重复的发布（指发布相同的表），否则会产生数据重复或者主键冲突。如果被发布的表中包含不支持btree/hash索引的数据类型（如地理类型等），那么该表需要有主键，才能成功的复制UPDATE/DELETE操作到订阅端。否则复制会失败，同时订阅端会出现“FATAL: could not identify an equality operator for type xx”的日志。依赖关系发布订阅依赖逻辑复制功能。详情查看：cid:link_1详情查看：cid:link_0