• [其他] 【变更】GaussDB(DWS)线下环境变更前checklist
    请在变更前完成checklist检查,详情见附件
  • [其他] GaussDB(DWS) Schema授权后报错current user does not have privilege
    问题现象创建用户时,会自动创建一个同名的schema,例如使用下面语句创建一个new_user1用户,会自动创建出一个名为new_user1的schema。create user new_user1 password 'Password1234';下面再创建一个用户new_user2:create user new_user2 password 'Password1234';用户new_user1将schema上的创建权限授权给new_user2:test=# grant create on schema new_user1 to new_user2;GRANT使用new_user2用户,在new_user1的schema下创建表时报错:test=> create table new_user1.t1(id int);ERROR:  current user does not have privilege to role new_user1问题影响将schema的创建权限授给其他用户,但用户无法在schema下创建表和其他对象。解决方法方法1:修改schema的用户为其他用户test=# ALTER SCHEMA new_user1 OWNER TO tester;ALTER SCHEMA修改后使用new_user2可以创建表:test=> create table new_user1.t1(id int);NOTICE:  The 'DISTRIBUTE BY' clause is not specified. Using 'id' as the distribution column by default.HINT:  Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column.CREATE TABLE方法2: 修改schema的名字和用户名不同test=# ALTER SCHEMA new_user1 RENAME TO new_user3;ALTER SCHEMA修改后使用new_user2可以创建表:test=> create table new_user3.t2(id int);NOTICE:  The 'DISTRIBUTE BY' clause is not specified. Using 'id' as the distribution column by default.HINT:  Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column.CREATE TABLE问题原因DWS对和用户名同名的Schema有这个限制。
  • [运维管理] GaussDB 8.0.0.1版本 巡检工具806,互信中提到的sshTool.sh文件从哪里获取?
    【操作步骤&问题现象】GaussDB 8.0.0.1版本 巡检工具806,互信中提到的sshTool.sh文件从哪里获取?
  • [知识分享] 盘点华为云GaussDB(for Redis)六大秒级能力
    >摘要:盘点高斯Redis的秒级能力,包括扩容、备份、删除、启动等。 本文分享自华为云社区《华为云GaussDB(for Redis)揭秘第20期:六大秒级能力盘点》,作者: 高斯Redis官方博客。 # 引言 大家经常用时间类指标来评估数据库能力,诸如RTO/RPO、扩容耗时、变更操作对业务影响的时长等等,在高可用需求日益迫切的当下,这些都是评价数据库能力的重要参考。在KV数据库领域,华为云GaussDB(for Redis)基于存算分离的基础架构,在很多关键评估维度都具有“秒级”能力,今天便带大家了解一下。 # GaussDB(for Redis)秒级能力盘点 ## 秒启动 社区版Redis在宕机恢复的场景下,需要依赖AOF或RDB文件将数据全量加载到内存中,随着数据量增加,这个耗时经常需要数分钟甚至更久。 GaussDB(for Redis)节点拉起时无需加载全量数据,即可快速提供服务,启动时间受数据量影响极小,**大数据规模下亦可以达到秒级启动**,体验丝滑。 ## 秒删除 社区版Redis在删除/过期数据,尤其是大key的情况下会导致访问严重阻塞。 而GaussDB(for Redis)从根本上解决了大key删除/过期的操作隐患,在底层事先采用了“标记删除,异步回收”的逻辑,对任何数据执行删除/过期,都是立刻执行成功且0阻塞,因此完全不影响业务访问。在实测删除/过期一个大hash key(包含1000w个元素)时,GaussDB(for Redis)仅耗时毫秒。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639071668891773.png) 图:GaussDB(for Redis)大key秒删 ## 秒备份 社区版Redis打快照时需要将全量数据dump到磁盘上,效率受到磁盘IO性能影响,耗时久。而且有着“fork问题”,造成性能抖动,导致容量利用率只有50%。 GaussDB(for Redis)备份基于底层文件系统的快照技术,记录某一时间点的数据状态,无需进行耗时的数据拷贝操作,真正做到秒级打快照。客户的数据快照文件自动上传到华为云OBS桶内,后续可用来一键恢复到新实例,相当便捷。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639088751433379.png) 图:GaussDB(for Redis)时间点快照一键恢复 ## 秒扩容 社区版Redis计算、存储强耦合。比如64G规格装满了,当需要升128G规格时,升级过程不仅耗时久,严重影响业务;而且价格翻倍,存在大量算力成本浪费。 GaussDB(for Redis)提供以下3种灵活变更的“扩容”方式: - **1)数据快装满了?一键扩容量,秒级完成,不影响业务** GaussDB(for Redis)底层存储资源按配额形式提供使用,数据快写满场景,只需一键点击扩容,秒级获得更多容量。比如64G扩容到128G,秒级完成,不影响业务。同时无需为不必要的算力买单,扩容价格涨幅小,成本有极大优势。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639130986819876.png) 图:GaussDB(for Redis)存储扩容 - **2)流量突发高峰?一键加节点,业务只受到秒级影响** GaussDB(for Redis)扩算力的最便捷方式即增加节点,秒级即可完成负载重新均衡,业务短暂受影响。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639152163701279.png) 图:GaussDB(for Redis)算力扩容-添加节点 - **3)周期性做活动?节点规格按需伸缩,避免算力浪费** 在一些周期性的活动抢券场景,客户往往需要按周期进行规格升降,承载计划内的流量高峰,同时避免平时的浪费。GaussDB(for Redis)支持提升节点规格,比如16U升32U,客户可灵活按需扩容。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/1/1656639171808506421.png) 图:GaussDB(for Redis)算力扩容-节点规格变更 ## 故障秒恢复 GaussDB(for Redis)内部有全局的HA管控能力,计算节点故障秒级探测,发现故障后同样采用秒级接管的方式处理,秒级恢复业务侧正常访问。 ## 双活秒级RPO GaussDB(for Redis)支持region内/跨region容灾,即搭建稳定主从实例,提供企业级的高可用。通过高性能数据同步模块实现高性能主从实例同步,在高压力写入的业务压力下测试,有着RPO=10s的超高可靠性表现。 # 总结 经过上面的简单盘点可以看出,GaussDB(for Redis)在启动、大key删除、扩容变更等多种应用场景下均具有秒级能力,最小化业务影响,给用户提供企业级安全、稳定、可靠的使用体验。
  • [业务动态] 关于《GaussDB入门级开发者认证-Java》等3个开发者认证正式上线通知
    尊敬的客户:您好!为帮助您深入了解华为云产品,探索新的技术场景,我们非常高兴地与您分享一个好消息:为了更好地服务千万开发者,华为云推出开发者认证,真正让开发者在云上作业,懂开发会开发,与开发者共成长。由华为资深研发团队精心打磨,潜心研发的《GaussDB入门级开发者认证-Java》、《华为云云原生工作级开发者认证-基础设施》、《数据仓库工作级开发者认证》于2022年6月30日正式上线!届时请进入华为云开发者学堂-开发者认证查看产品详情,体验使用,我们非常期待您的宝贵建议。以下为该开发者认证详情,您可提前了解:产品名称: 《GaussDB入门级开发者认证-Java》适合人群: 高校学生、开发工程师等;培训方案: 基础技能+综合实践,培训华为云云数据库服务能力及技能;技术能力: 掌握数据库原理、数据库SQL语言、基于高斯数据库的Java编程实操及云上开发实践能力;认证价值: 通过理论结合实践,使软件开发相关从业者具备数据库基础的理论知识和实操能力。产品名称: 《华为云云原生工作级开发者认证-基础设施》适合人群: 开发工程师、运维工程师、架构师等;培训方案: 云原生关键基础设施能力及华为云相关服务的增强特性;技术能力: 熟练掌握应用容器化改造、服务网格、多集群等云原生核心基础设施理论及云上实践能力 ;认证价值: 通过理论结合实践,使云原生相关从业者深入理解关键理论提升工作场景下的实践能力。产品名称: 《数据仓库工作级开发者认证》适合人群: 数仓工程师、架构师、数仓平台开发和管理人员、对数仓技术感兴趣的爱好者;培训方案: 通过对GaussDB(DWS)的深入解析完成对数据仓库的开发运维及数据分析实践;技术能力: 掌握GaussDB(DWS)的数据库设计、SQL开发与优化、应用开发、安全设计、集群及运维管理能力;认证价值: 通过理论结合实践,使GaussDB(DWS)从业者具备数据库开发运维和数据分析能力。届时我们还将开展相关开发者认证上新活动,详情请关注华为云开发者学堂论坛-热门活动 相关通知。发布日期:2022年6月30日
  • [环境搭建] 安装gaussdb出现Failed to umount cgroup问题
    【功能模块】   安装gaussdb出现问题【操作步骤&问题现象】    正常使用命令install.sh -f /opt/FusionInsight_Manager/software/install_oms/10.77.0.79.ini 安装gaussdb,在安装到第三步的时候,出现Failed to umount cgroup问题     安装软件版本:GaussDB_8.1.1.2_RHEL.zip    解压后manage:FusionInsight_Manager_8.0.2.3_RHEL.tar.gz     操作系统版本:Red Hat Enterprise Linux Server release 7.5 (Maipo)【截图信息】【日志信息】(可选,上传日志内容或者附件)日志信息如附件/var/log/Bigdata/nodeagent/scriptlog/install.log日志如scriptlog_insall.txt
  • [集群管理] 一键配置OS core工具
    【 问题现象】现网出现core问题,使用数据库自带的bbox core dump时可能出现dump时间过长被CM杀掉无法core出来的问题,此时我们需要配置OS core保证 core可以稳定dump出来。【 处理方法】该工具目的是快速配置OS core避免手动操作较长的步骤。该工具为单节点配置gaussdb os core工具,如需配置整个集群的core需在每个配置的需配置的节点执行。使用方法:1.上传文件(所有配置节点都要执行)使用root用户登录需要配置的节点,并上传config_sys_core.py文件。config_sys_core.py文件见文档结尾附件,下载后重命名为config_sys_core.py。dos2unix config_sys_core.py2.配置OS core(所有配置节点都要执行)云环境执行 python config_sys_core.py Ruby线下环境执行 python config_sys_core.py omm3.关闭bbox core(一个节点执行)云环境进入沙箱执行,线下环境omm用户source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile后执行gs_guc reload -Z coordinator -Z datanode -N all -I all -c "enable_bbox_dump=off"3.重启集群(一个节点执行)cm_ctl stopcm_ctl start4.检查是否生效(所有节点执行)切到omm或Ruby用户下,kill -11 从备进程号,检查从备数据目录下是否有core文件产生。检查配置是否生效工具 https://bbs.huaweicloud.com/forum/thread-0255111293440812002-1-1.html补充说明1.集群配置在所有节点配置后再重启集群;单节点配置可以不用重启集群,重启节点所有gaussdb实例即可如只配置1节点的core可以cm_ctl stop -n 1 停止1节点实例;cm_ctl start -n 1启动生效2.部分线下环境配置后还存在core不完整的情况,可以检查/etc/security/limits.d/omm-ncore.conf文件是否有额外配置如需要将10240改为unlimited,重新执行配置过程
  • [迁移系列] CDM迁移阿里云ADB到华为云DWS
    1. 阿里云ADB导入数据到DWS前提配置点(1) CDM绑定的公网IP的带宽不能太低,建议为按需购买的300M/S;(2) 阿里云ADB端的一个查询的连接时长默认为30min,若导数时长长于此值,会报错(Query exceeded maximum time limit of 1800000.00ms)进行设置:SET adb_config QUERY_TIMEOUT=XXXX;(阿里云这个全局生效)(3) DWS目标端为列存表时,delta不要开启;DWS目标端最好提前建好表,是分区表的话注意分区范围1.1 创建阿里云连接1.2 创建DWS连接1.3 作业配置1.4 CDM配置管理
  • [问题求助] 【DWS】想把所有存储过程的定义导出来,有什么办法?
    【功能模块】DWS 版本8.1.1.5【操作步骤&问题现象】想把所有存储过程的定义导出来,形成备份文件,有什么办法?
  • [技术干货] GaussDB(for MySQL)荣获“云原生技术创新领航者-云原生技术创新案例”大奖
    近日,由中国信息通信研究院主办的“原生聚力,云数赋能”第四届云原生产业大会顺利召开。在这场云原生领域盛会中,华为云GaussDB(for MySQL)云原生数据库凭优越的技术创新实力和实践经验,荣获“云原生技术创新领航者-云原生技术创新案例”大奖。华为云数据库副部长庄乾锋代表GaussDB亮相大会,就大会对GaussDB的认可表示感谢。庄乾锋表示,当前,数据库行业迎来云原生2.0时代,企业对云数据库提出了更高性能、安全可靠、极致扩展等诸多诉求。华为云GaussDB通过整合多年数据库领域经验和客户诉求,构筑云原生数据库全栈能力,构建以应用为中心的新型数据库云服务,积极引领云原生数据库发展新方向。聚焦技术创新 深入云原生领域持续发力作为华为自研的新一代企业级高性能云原生分布式数据库,GaussDB(for MySQL)基于DFV分布式存储,采用存算分离架构,拥有128TB的海量存储空间,可实现超百万级QPS 吞吐,既拥有商业数据库的性能和可靠性,又具备开源数据库的灵活性,在云原生业务场景有非常明显的核心优势。华为独特优势:垂直集成 与传统的线下数据库不同,云数据库有垂直集成云栈中所有层的能力,在云上,存储和数据库的集成能发挥更大的作用。华为作为在云栈各层领先的提供商,在云领域中有着独特的地位,有能力成为行业的领导者。通过并行查询(PQ)提高性能提高性能的一个通用方法是并行,并行可以在多层上实现,GaussDB(for MySQL)允许使用多个线程并行执行单个查询;另一个允许更高并行力度的层是存储层,因为存储系统可能有数百个节点和数千个核心,GaussDB(for MySQL)使用的这种云规模的分布式存储是提高查询性能的一个关键基础,结合并行查询,实现查询性能的极大提高。算子下推(NDP)加速查询效率 GaussDB(for MySQL)通过算子下推(NDP)技术,把算子卸载到数据所在的存储节点上,利用当地可用的计算资源执行,无需将数据读到计算节点中。这样实现了在大规模查询场景中将90%的逻辑计算在分布式存储层完成,大幅度降低了网络I/O 延迟,充分释放了云计算算力,在TPC-H测试中,相比社区版本,其性能最高提升了34倍。秒级伸缩,应用0感知 GaussDB(for MySQL)支持Serverless,根据数据容量自动伸缩,存储自动打散负载压力,无需分库分表。HTAP 只读分析 用户既能得到MySQL完备的事务保障,又能享受到GaussDB(for MySQL) HTAP只读分析的极致分析性能。华为云GaussDB(for MySQL)不仅通过分布式全并行架构和多节点写入提供极致的吞吐量性能,轻松应对海量高并发数据处理,提升高可用能力;还具备跨AZ部署、跨region容灾、单点故障0中断等多个特性,满足金融级别的高可靠性;且仅需要商用数据库1/10的成本就可以提供企业级的服务能力。极致性价比、AI 自治、HTAP、多主、Serverless将是GaussDB(for MySQL) 数据库未来的重点发展方向。 大浪淘沙 做千行百业上云优选 当前, GaussDB(for MySQL)数据库面向企业云原生赛道,已在音视频、互联网电商、游戏、保险、汽车制造、物流、交通出行等多个行业场景和标杆大客户得到广泛应用,包括助力永安保险重构核心业务系统,帮助互联网电商如梦饷集团、单创、未来一手等缔造电商新时代,赋能中国一汽红旗和一汽大众数字化转型等等。在中国一汽红旗ERP系统微服务改造、业务上云过程中,GaussDB(for MySQL)提供了在云上和本地部署体验一致的云数据库服务,改造后的ERP系统数据库整体性能大幅提升,流量洪峰下业务运行又快又稳。梦饷集团通过GaussDB(for MySQL)进行电商平台的数字化升级,将业务搬迁上云后,运维效率提升了约30%,核心业务数据库访问平均耗时由1.5s降至1s;此外,梦饷集团每秒成交的订单数再创历史新高,成为了利用数字基础设施助力业务快速增长的标杆。 持续深耕 共促产业生态繁荣 华为云GaussDB已连续两年入选Gartner云数据库管理系统魔力象限特定领域者,在IDC《2020年下半年中国关系型数据库软件市场数据跟踪报告》中,GaussDB拥有中国关系型数据库本地部署市场国产数据库份额NO.1、公有云市场数据库份额增速第一的优异成绩。 此次奖项的获得是对GaussDB技术创新实力的高度认可,同时也是新征程和新起点。未来,华为云GaussDB将持续聚焦云原生数据库技术的探索,打造更多业界领先的数据库技术与产品,助力企业加速上云,共促产业生态繁荣!
  • [知识分享] 如何利用数仓创建时序表
    >摘要:怎么快速上手,创建适合自己业务的时序表,怎样使用才能真正发挥时序表的优势。 本文分享自华为云社区《[GaussDB(DWS)带你走近IoT时代-时序表建表最佳实践](https://bbs.huaweicloud.com/blogs/359142?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=ei&utm_content=content)》,作者:AndyCao。 # 创建第一张时序表 我们首先来介绍一下如何创建一张时序表 **语法格式** ``` CREATE TABLE [ IF NOT EXISTS ] table_name ({ column_name data_type [ kv_type ] | LIKE source_table [like_option [...] ] } } [, ... ]) [ WITH ( {storage_parameter = value} [, ... ] ) ] [ TABLESPACE tablespace_name ] [ DISTRIBUTE BY HASH ( column_name [,...])] [ TO { GROUP groupname | NODE ( nodename [, ... ] ) } ] [ table_partitioning_clauses ] [ PARTITION BY { {RANGE (partition_key) ( partition_less_than_item [, ... ] )} } [ { ENABLE | DISABLE } ROW MOVEMENT ] ]; ``` 其中like选项like_option为:{ INCLUDING | EXCLUDING } { DEFAULTS | CONSTRAINTS | INDEXES | STORAGE | COMMENTS | PARTITION | RELOPTIONS | DISTRIBUTION | ALL } 时序表的建表语法,在很大程度上继承了行存和列存的语法,降低了用户的学习成本,能够更容易理解和使用。我们上篇博客中介绍到,将时序表的列分为三种kv_type类型(tag、field、time),那么如何将对应的列指定为合适的类型,帮助我们更好的提高导入、查询等场景的性能,让业务场景运行的更加高效呢? 我们继续以发电机组的场景作为示例,创建一张存储发电机组采样数据的时序表: ``` CREATE TABLE IF NOT EXISTS GENERATOR( dynamo text TSTag, manufacturer text TSTag, model text TSTag, location text TSTag, ID bigint TSTag, voltage numeric TSField, power bigint TSTag, frequency numeric TSField, angle numeric TSField, time timestamptz TSTime) with (orientation=TIMESERIES, period='7 days', ttl='1 month') distribute by hash(model); ``` 我们可以看到,上述建表语句中: - 对于不随时间的变化而变化,描述发电机的属性信息的列(发电机信息、生产厂商、型号、位置、ID)被设置为tag列,在建表时需要将对应的列后面指定为TSTag; - 对于采样数据的维度(电压、功率、频率、电流相角)这些对应的采样数值随时间的变化而变,我们将这些维度设置为field列,建表语句数据类型后面指定为TSField; - 最后一列我们指定为时间列time,存储field列数据对应的时间信息,建表时将指定为TSTime。 在写建表语句时,对于tag列的顺序,我们可以适当优化一下,将唯一性(distinct值)较高的列尽量写在前面,这样对于时序场景的性能有一些提升。如果用户没有手动优化,GaussDB(DWS) IoT数仓也可以自适应的帮助用户提高时序场景的性能,这后面我们会专门文章介绍这一**黑科技**。 另外,创建时序表时一定要指定表级参数orientation属性设置为timeseries。时序表不需要手动指定DISTRIBUTE BY和PARTITION BY, 默认按照所有tag列分布,且分区健默认为tstim指定的时间列。 对于create table like语法,该语法需要自动从源表中继承列名和对应的kv_type类型。因此如果源表是非时序表,新表是时序表,对应的列的kv_type类型无法确定,则无法创建成功。 # 时序表列类型 上面对时序表的三种kv_type属性进行了简单的说明:(维度属性(TSTag),指标属性(TSField),时间属性(TSTime),那么每个列他们支持的类型(类似建表语句中的text、int、numeric等)分别都是什么呢?是否可以不设置kv_type类型? 首先时序表必须指定一个时间属性(TSTime),且只能指定一个,且TSTime类型的列不能被删除。至少存在一个TSTag和TSField列,否则建表报错。 TSTag列支持类型:text, char, bool, int, big int。 TSTime列支持类型:timestamp with time zone, timestamp without time zone。在兼容Oracle语法的数据库中,也支持date类型。涉及到时区相关操作时,请选择带时区的时间类型。 TSField列支持的数据类型同列存表保持一致 # 自动设置分区边界 时序表具备数据生命周期管理的能力。每天数以亿计的数据不间断涌入,对于很久之前的数据,其价值较低不经常访问,可以定期将无用的老数据删除。并且由于最新的数据不断进来,需要定期给表增加新的分区,避免新数据无法存储。因此时序表需要具备定时增加分区和定时删除分区的能力。 时序表以TSTIME列为分区键,创建具有自动分区管理功能的分区表,帮助我们大大减少运维操作的工作。在上面的建表语句中,在表级参数项中可以看到,时序表指定了自动分区管理两个参数period和ttl。 - period:设置自动创建分区的间隔时间,默认值为1 day, 取值范围:1 hour ~ 100 years。默认会为时序表创建自增分区任务。自增分区任务动态为我们创建分区,保证当前时刻有足够充裕的分区用于导入数据。 - ttl:设置自动淘汰分区的时间,取值范围:1 hour ~ 100 years。默认不创建淘汰分区任务,需要用户自己在建表手动指定,或者建表后通过ALTER TABLE语法设置。淘汰分区的策略是通过计算 nowtime - 分区boundary > ttl,满足该条件的分区将被drop掉。帮助用户定时清理过期的旧数据。 上面举得例子中,时序表建表语句没有指定分区,那么分区的起始时间是怎么样的。为了方便用户的使用,我们的分区边界的设置分为了一下几种情况 - period设置为“小时” , 分区起始边界值为下个小时整点,分区的间隔为period的值 - period设置为“天” , 分区起始边界值为第二天零点,分区的间隔为period的值 - period设置为“月” , 分区起始边界值为下个月零点,分区的间隔为period的值 - period设置为“年” , 分区起始边界值为明年零点,分区的间隔为period的值 ``` tsdb=# CREATE TABLE IF NOT EXISTS GENERATOR( tsdb(# dynamo text TSTag, tsdb(# manufacturer text TSTag, tsdb(# model text TSTag, tsdb(# location text TSTag, tsdb(# ID bigint TSTag, tsdb(# voltage numeric TSField, tsdb(# power bigint TSTag, tsdb(# frequency numeric TSField, tsdb(# angle numeric TSField, tsdb(# time timestamptz TSTime) with (orientation=TIMESERIES, period='1 hour', ttl='1 month') distribute by hash(model); CREATE TABLE tsdb=# select now(); now ------------------------------- 2022-05-25 15:28:38.520757+08 (1 row) tsdb=# select relname, boundaries from pg_partition where parentid=(select oid from pg_class where relname='generator') order by boundaries ; relname | boundaries ----------------+---------------------------- default_part_1 | {"2022-05-25 16:00:00+08"} default_part_2 | {"2022-05-25 17:00:00+08"} p1653505200 | {"2022-05-26 03:00:00+08"} p1653541200 | {"2022-05-26 13:00:00+08"} p1653577200 | {"2022-05-26 23:00:00+08"} ...... ``` 这样的使用方式,能够使得用户能够便捷快速的创建时序表。当然我们也支持在建表时用户手动指定分区边界的起始值。关于自动分区管理功能更详细的描述,可以参考《GaussDB(DWS) 分区自动管理介绍》。 ``` tsdb=# select now(); now ------------------------------- 2022-05-31 20:36:09.700096+08 (1 row) tsdb=# CREATE TABLE IF NOT EXISTS GENERATOR( tsdb(# dynamo text TSTag, tsdb(# manufacturer text TSTag, tsdb(# model text TSTag, tsdb(# location text TSTag, tsdb(# ID bigint TSTag, tsdb(# voltage numeric TSField, tsdb(# power bigint TSTag, tsdb(# frequency numeric TSField, tsdb(# angle numeric TSField, tsdb(# time timestamptz TSTime) with (orientation=TIMESERIES, period='1 day') distribute by hash(model) tsdb-# partition by range(time) tsdb-# ( tsdb(# PARTITION P1 VALUES LESS THAN('2022-05-30 16:32:45'), tsdb(# PARTITION P2 VALUES LESS THAN('2022-05-31 16:56:12') tsdb(# ); WARNING: partition boundary is less than current time. CREATE TABLE tsdb=# select relname, boundaries from pg_partition where parentid=(select oid from pg_class where relname='generator') order by boundaries ; relname | boundaries -------------+---------------------------- p1 | {"2022-05-30 16:32:45+08"} p2 | {"2022-05-31 16:56:12+08"} p1654073772 | {"2022-06-01 16:56:12+08"} p1654160172 | {"2022-06-02 16:56:12+08"} ...... ``` 至此,我们已经建成了自己的第一张时序表,接下来我们会针对时序表的DDL各种操作进行详细的实践,帮助大家学好、用好时序数据库,更好的为用户的业务服务。
  • [其他] GaussDB(DWS)网络监控部署
    【处理方法】1、检查网卡多队列是否配置:1)gs_check -i CheckMultiQueue(查看所有节点,需要输入root密码)2)for IRQ in `cat /proc/interrupts | grep -i eth1 | cut -d: -f1`;do cat /proc/irq/$IRQ/smp_affinity;done查询每列数字不一致则已配置,否则为配置2、重传监控while true;do date;netstat -anop|grep "on ("|grep ESTABLISHED|grep -v "/0/0"|sort -rnk3|head;echo;sleep 3;done3、gsar bond0 14、监控流量 sar -n DEV 15、网络队列 netstat -npt | grep gauss| sort -rnk 3| head -n 50网络问题定位参考:cid:link_0cid:link_16、查看bond组织方式:cat /etc/sysconfig/network-scripts/ifcfg-bond0cat /etc/sysconfig/ifcfg-bond07、message是否存在以下日志nf_conntrack: table full, dropping packetnf_conntrack_max控制(2048000)
  • [环境搭建] GaussDB 200 6.5.1 配置规划工具 04.xlsm---求模板
    【功能模块】GaussDB 200 6.5.1 配置规划工具 04.xlsm【操作步骤&问题现象】1、GaussDB 200 6.5.1 配置规划工具 04.xlsm这个模板 哪位大佬可以发给我一下,谢谢!
  • [萌新手册] GaussDB(DWS) 补丁、升级及扩容流程培训
    GaussDB(DWS) 补丁、升级及扩容流程培训
  • [技术干货] 华为云发布《云原生2.0架构白皮书》,GaussDB技术再升级
    近期,在华为伙伴暨开发者大会2022,华为云CTO张宇昕发布了《云原生2.0架构白皮书》,包括云原生数据库在内,介绍了云原生2.0的关键特征、架构模式,以及优秀实践,为企业数字化升级注入了云原生2.0新动力。华为云数据库首席架构师冯柯也在会上分享了云原生数据库HTAP重大特性商用,通过极致混合负载能力和及时精准的数据分析,助力企业商业决策。云原生数据库技术再创新早在去年,华为云便发布了《云原生2.0白皮书》,阐述了云原生2.0定义、价值及参考架构,解读了“资源高效、应用敏捷、业务智能、安全可信”四大价值以及预测未来发展趋势。而今年的《云原生2.0架构白皮书》,围绕架构升级,重点诠释了云原生2.0技术特征与架构设计模式,以云原生技术力量推动企业数字化转型升级。 云原生数据库作为白皮书的重要内容之一,在架构创新和技术特性方面均有重大突破。华为云云原生数据库GaussDB基于存算分离,并利用云原生数据库云存储 DFV 基于存储算子语义下推能力,支撑事务处理算子的并行下推;同时存储层支持日志回放能力,数据库写节点只需要把日志写到存储层,存储层就可以将日志回放为数据页面,并在多副本上提供一致性版本,大大节省了计算层和存储层的高速网络带宽。优化后的云原生GaussDB架构可以很好地解决热点数据问题,以及数据丢失、故障恢复等难题,面对客户高负载和各种复杂场景,表现更从容。 Serverless也是云原生数据库的关键特征之一。华为云云原生数据库GaussDB结合Serverless,只需创建数据库节点,指定所需的数据库容量范围,然后数据库处于工作状态期间按照每秒使用的数据库容量进行付费,同时利用华为云数据库的应用无损透明倒换技术 (ALT),规格变更可以实现应用基本无感知,让开发者专注于应用开发,无需关注资源。 此外,华为云数据库首席架构师冯柯还在会上介绍了云原生数据库GaussDB的另一重大特性——HTAP。云原生HTAP深度融合OLTP和OLAP两者优势,统一入口,自动分流,并且在行存和列存引擎上建立全局一致性事务视图,达到数据实时一致,支撑更多混合负载的场景。这种方式可以支持大量并发的更新,而且数据同步时延达到秒级或毫秒级,有效避免了传统解决方案中数据抽取、转换和装载等繁琐步骤,极大提升了数据处理的时效性,为企业提供实时精准的决策支持。目前该特性已正式商用。 云原生数据库优秀实践 云原生数据库GaussDB不仅在技术上硕果累累,还广泛应用于电商、制造业、交通、泛互联网等领域,历经关键行业的锤炼,并取得重大实践成果。 在电商行业,为了满足梦饷集团的发展需求,华为云云原生数据库GaussDB(for MySQL)助力梦饷集团打造高性能的云原生电商平台,通过平滑扩容和快速弹性升降能力,可从容应对突发业务流量,大促过后也可以及时回落,快速降低成本。而且运维效率提升约 30%,每秒成交的订单数再创历史新高,成为了利用数字基础设施助力业务快速增长的标杆。 在汽车行业,华为云云原生数据库GaussDB(for MySQL)成功助力中国一汽红旗ERP系统微服务改造升级,ERP 系统整体性能大幅提升,流量洪峰下业务运行又快又稳;提供了开放的 MySQL 生态,各业务协同更灵活。使用成本方面,每台数据库由原来最低600+万/年降低至100+万/年;生产效率方面,由原来几天才能出货 bom 单到最快 20 分钟内即可计算出一个生产计划的 bom 单;微服务的拆分提升了系统稳定性,提高了业务交付速度,系统扩展性更强。 云原生数据库未来趋势 云原生技术浪潮汹涌澎湃,一日千里,云原生2.0之后,我们如何踏浪前行、乘风破浪? 未来的技术世界我们无法掌控,但从现状出发,我们或许可以窥见端倪。随着跨Region技术的增强,高资源利用率的驱动,以及Serverless的普遍诉求,去 Region 化、智能弹性、Serverless数据库将是未来发展方向。 但在此之前,云原生数据库还有一段路要走,比如Serverless数据库未来需要具备智能弹性的能力,能够根据用户的历史负载计算出用户画像,依赖秒级监控能力,快速判断用户未来的负载趋势,提前为用户弹性伸缩好资源,避免用户负载冲击到资源规格上限,减少系统资源浪费。 虽有一定挑战,但也极具动力,华为云云原生数据库GaussDB将凝聚技术力量,锐意创新,助力更多企业业务智能化升级,深化数据服务能力,推进千行百业数字化转型。