• [热门活动] 【数仓专题直播有奖提问】DTSE Tech Talk 技术直播 NO.43:看直播提问题赢华为云定制U型按摩枕、华为云定制POLO衫等好礼!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:请各位获奖的伙伴在9月19日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~直播简介【直播主题】备份恢复全掌握,数仓数据更安全【直播时间】2023年9月13日 19:00-20:30【直播专家】李文鑫  华为云EI DTSE技术布道师【直播简介】大数据时代,数据的备份恢复是一项不可忽视的系统工作。相对于集群级备份恢复海量的文件操作,物理细粒度备份恢复能够从更小的粒度、以更少的数据文件操作,对数据库对象进行备份与恢复。GaussDB(DWS) Roach工具提供了丰富的物理细粒度备份恢复功能,帮助您更加精确高效地备份恢复指定数据,为您的数据安全保驾护航。直播链接:cid:link_1活动介绍【互动方式】直播前您可以在本帖留下您疑惑的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流。我们会在全部活动结束后对参与互动的用户进行评选。【活动时间】即日起—2023年9月14日【奖励说明】评奖规则:活动1:直播期间在直播间提出与直播内容相关的问题,对专家评选为优质问题的开发者进行奖励。奖品:华为云定制U型按摩枕活动2:在本帖提出与直播内容相关的问题,由专家在所有互动贴中选出最优问题贴的开发者进行奖励。奖品:华为云定制POLO衫更多直播活动直播互动有礼:官网直播间发口令“华为云 DTSE”抽华为云定制棒球帽、填写问卷抽华为云定制保温杯等好礼分享问卷有礼 :邀请5位朋友以上完成问卷即可获得华为云定制钢笔礼盒。老观众专属福利:连续报名并观看DTT直播3期以上抽送华为云DTT定制T恤。【注意事项】1、所有参与活动的问题,如发现为复用他人内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年9月7日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [技术干货] 2023.08数据库论坛高热技术文章推荐合集
    2023.08数据库论坛高热【操作指导合集】推荐数据库内存调优cid:link_0数据库内存调优是优化数据库性能的重要步骤之一。通过合理配置数据库服务器的内存参数,可以提高数据库的响应速度、降低磁盘 I/O 操作,从而提升整体系统性能。GaussDB技术解读系列:高安全之密态等值cid:link_1GaussDB是国内首个通过国际CC EAL4+认证的数据库,也是国内首批通过信通院全密态数据库评测、国内首家通过信通院防篡改数据库评测的数据库产品。当注入的 Bean 存在冲突时,到底有多少种解决方案?cid:link_2当我们从 Spring 容器中“拉”取一个 Bean 回来的时候,可以按照名字去拉取,也可以按照类型去拉取,按照 BeanName 拉取的话,一般来说只要 BeanName 书写没有问题,都是没问题的。但是如果是按照类型去拉取,则可能会因为 Bean 存在多个实例从而导致失败。GaussDB技术解读系列之HTAP方向的探索与发展cid:link_3随着CPU算力、内存容量、磁盘IO效率发生变化,一些老的软件体系结构随着新硬件、新算法的发展都在发生改变。所以在2010年左右,业内开始考虑把TP和AP同时融合到同一个数据库里,通过这种方式提升数据库处理数据的能力。3种常见的数据库迁移工具对比cid:link_4要把数据从 PostgreSQL 迁移到 TiDB 中。由于时间紧任务重,来不及调研高效的方式,直接使用了 Navicat 内置的功能,把数据从 PostgreSQL 迁移到了 TiDB。项目结束后,我深入调研了几个同步迁移工具,本期就跟大家一起看看,几个迁移同步工具的实现步骤和各自的优缺点,以便在后续项目中能够选择最佳的工具,高效完成。GaussDB技术解读系列:高级压缩之OLTP表压缩cid:link_5高级压缩是面向业务全场景的数据库压缩解决方案,适用的场景主要分两类。第一类是存储类,主要为业务提供容量控制,减少业务扩容的概率和成本;第二类是传输类,主要是面向跨Region、跨AZ的业务场景如何去匹配业务的网络带宽的现实条件,为业务提供更稳定的SLA保证。这里面又有很多细分的场景,TP、AP都有。GaussDB技术解读系列之应用无损透明(ALT)cid:link_6GaussDB作为一款企业级分布式数据库,提供了“同城跨AZ双活、两地三中心、双集群强一致”等极致的高可用容灾能力。当某个数据库节点由于故障无法对外提供服务时,为了继续保证数据库服务的可用性,JDBC驱动会将业务后续的数据库连接请求发送到其它可用节点上。但故障发生后,已经与故障节点建立会话的连接无法自动切换到可用节点上,导致使用这些连接的业务单元发生报错。如果业务单元缺少连接重试或业务一致性校验,可能会引起应用中断,甚至业务数据不一致的问题,造成用户严重的业务损失。GaussDB技术解读系列之SQL Audit,面向应用开发的SQL审核工具cid:link_7SQL Audit对当前大部分SQL使用场景进行了支持,而且还在持续扩大SQL能获取的范围,力求能够全面地将客户使用的所有SQL全部审核到
  • [技术干货] 数据库内存调优
    引言 数据库内存调优是优化数据库性能的重要步骤之一。通过合理配置数据库服务器的内存参数,可以提高数据库的响应速度、降低磁盘 I/O 操作,从而提升整体系统性能。本文将介绍数据库内存调优的基本原则、常用的内存参数以及调优策略。基本原则 在进行数据库内存调优之前,我们需要了解以下几个基本原则:2.1. 内存总量 首先,确定数据库服务器可用的总内存量。这包括物理内存和交换空间(swap)的大小。合理分配内存资源可以避免过度消耗系统资源,导致其他应用程序性能下降。2.2. 内存分配比例 将内存分配给不同的数据库组件是内存调优的关键。通常,我们将大部分内存分配给数据库缓冲区(Buffer Cache),用于存储数据块的副本,以减少磁盘 I/O 操作。其他组件如排序区、连接区等也需要适量的内存。2.3. 监控和调整 内存调优是一个动态过程。我们应该监控数据库服务器的内存使用情况,并根据实际情况进行调整。使用系统工具和数据库性能监控工具可以帮助我们实时监控内存使用情况,并及时采取措施。常用内存参数 以下是常用的数据库内存参数,可以根据实际情况进行配置和调整:3.1. shared_buffers 该参数决定了数据库缓冲区的大小。较大的缓冲区可以提高读取数据块的速度,减少磁盘 I/O 操作。通常,建议将该参数设置为系统可用内存的 25% - 40%。3.2. work_mem 该参数决定了每个查询所使用的内存量。较大的 work_mem 可以提高排序和连接操作的性能,但会占用更多的内存资源。建议根据系统的并发查询数和查询复杂度来调整该参数。3.3. maintenance_work_mem 该参数决定了执行维护操作(如索引创建、VACUUM 等)所使用的内存量。较大的 maintenance_work_mem 可以加快维护操作的速度,但也会占用更多的内存资源。建议根据系统的维护需求和可用内存来调整该参数。3.4. effective_cache_size 该参数指定了系统中所有缓存的预估大小。数据库优化器使用该参数来估计查询的成本,从而选择最优的执行计划。建议将该参数设置为系统可用内存的 50% - 75%。调优策略 下面是一些常用的数据库内存调优策略:4.1. 监控内存使用情况 使用系统工具如top、free等监控内存使用情况。同时,使用数据库性能监控工具如pg_stat_activity、pg_stat_bgwriter等监控数据库内存使用情况。4.2. 调整 shared_buffers 根据系统的可用内存和数据库的读取操作频率,适当调整 shared_buffers 的大小。增大 shared_buffers 可以减少磁盘 I/O 操作,提高读取性能。4.3. 调整 work_mem 和 maintenance_work_mem 根据系统的并发查询数、查询复杂度和维护操作的需求,调整 work_mem 和 maintenance_work_mem 的大小。合理配置这两个参数可以提高查询和维护操作的性能。4.4. 监控并调整其他内存参数 除了上述参数,还应该监控和调整其他内存参数,如max_connections、effective_cache_size等,以满足系统的需求。结论 数据库内存调优是提升数据库性能的关键步骤。通过合理配置和调整内存参数,可以减少磁盘 I/O 操作,提高查询和维护操作的性能。在调优过程中,我们需要根据系统的实际情况进行监控和调整,并遵循基本原则。通过持续的优化和调整,可以实现更好的数据库性能和响应速度。
  • [技术干货] 数据库8月问题及解决方案汇总【FAQ】
    数据库8月常见问题汇总1. GaussDB T1.2.1-TRUNCATE TABLE没有释放磁盘空间cid:link_0 问题描述:使用TRUNCATE TABLE xxx; 和 DROP TABLE xxx; 清理USERS表空间下的表后,表空间文件大小没有任何变化,请问怎么操作能减少磁盘空间占用呢? 解决方案:使用 TRUNCATE TABLE 和 DROP TABLE 命令可以删除表中的数据或删除整个表。但是,这些操作只会删除表中的数据和表的定义,而不会立即释放表空间占用的磁盘空间。这是因为 GaussDB 数据库采用了延迟回收的机制,即删除的数据和表所占用的空间会在稍后的时间内被自动回收。 如果希望立即减少磁盘空间占用,可以执行以下操作:执行 ALTER TABLE xxx MOVE;:这将重建表并释放未使用的空间。执行此操作后,表空间文件的大小可能会减小。ALTER TABLE xxx MOVE;执行 ALTER TABLESPACE xxx COALESCE;:这将合并表空间中的碎片空间,从而减少文件的大小。ALTER TABLESPACE xxx COALESCE;这些操作将触发 GaussDB 数据库的空间回收机制,以减少表空间文件的大小。请注意,这些操作可能会导致一些性能开销,并且对于大型表可能需要较长的时间来完成。 另外,如果希望彻底减少表空间文件的大小,可以考虑使用 ALTER DATABASE 命令来缩小表空间文件。但是,在执行此操作之前,请确保你已经备份了数据库,并且了解该操作的风险和限制。以下是一个示例命令:ALTER DATABASE DATAFILE '/path/to/tablespace_file.dbf' RESIZE 10M;上述命令将表空间文件的大小调整为 10MB。需要将 /path/to/tablespace_file.dbf 替换为实际的表空间文件路径。2. The core dump path is an invalid directorycid:link_1 问题描述:The core dump path is an invalid directory。openeulder 22.03.SP1+opengauss 5.0.0, x86, 1主1备,启动的时候有这个错,哪位大佬知道怎么处理吗? 解决方案:如果GaussDB在启动时报错 "The core dump path is an invalid directory"(核心转储路径为无效目录),这意味着指定的用于存储核心转储文件的目录不存在或无法访问。 解决此问题的步骤如下:找到GaussDB的配置文件。具体位置取决于您的安装方式和操作系统。通常,配置文件位于GaussDB的安装目录下的/data/gauss/db/etc/目录中,文件名为 gaussdb.cfg。使用文本编辑器打开gaussdb.cfg文件。在文件中搜索 "core_dump_path" 配置项。该行应该类似于 core_dump_path = '/path/to/core/dump/directory'。验证指定的目录是否存在。如果目录不存在,可以使用命令行创建该目录。例如,运行以下命令创建名为 /path/to/core/dump/directory 的目录:mkdir -p /path/to/core/dump/directory检查目录的权限。确保运行GaussDB的用户对该目录具有读写权限。您可以使用 chmod 命令设置权限。例如:chmod 755 /path/to/core/dump/directory根据需要调整权限。 保存对 gaussdb.cfg 文件的更改并关闭文本编辑器。 重新启动GaussDB服务以使更改生效。 这些步骤应该能够解决启动时的核心转储路径无效的问题,使GaussDB能够正确地进行核心转储。3. 创建分区表时,分区键需要是generated always的生成列,执行报错,请问oracle可以,到gaussDB的话,该如何处理?cid:link_2 问题描述:create table gen5( c1 int, c2 int, c3 int generated always as (c1 + c2) stored ) partition by list(c3)( partition js values('3200'), partition sd values('3700') );解决方案:在Oracle数据库中,可以使用“GENERATED ALWAYS”选项创建一个生成列,它是根据其他列的值自动生成的。但是,在GaussDB数据库中,暂时不支持“GENERATED ALWAYS”选项来创建自动生成的列。因此,在迁移分区表时,您需要修改DDL语句,以符合GaussDB的语法和特性。 在GaussDB中,您可以使用触发器(Trigger)来实现类似的功能。触发器是一种数据库对象,可以在插入、更新或删除数据时触发预定义的操作。您可以创建一个触发器,在插入或更新数据时,通过计算生成列的值并将其写入分区键列。 以下是一个示例DDL语句,用于在GaussDB中创建一个带有生成列的分区表和触发器:CREATE TABLE your_table ( column1 INT, column2 VARCHAR(50), partition_key INT, generated_column INT ) PARTITION BY RANGE (partition_key); CREATE OR REPLACE FUNCTION calculate_generated_column() RETURNS TRIGGER AS $$ BEGIN NEW.generated_column := <calculate_generated_value>; -- 自定义计算生成列的值逻辑 RETURN NEW; END; $$ LANGUAGE plpgsql; CREATE TRIGGER trigger_name BEFORE INSERT OR UPDATE ON your_table FOR EACH ROW EXECUTE FUNCTION calculate_generated_column();请注意,上述代码中的需要根据您的具体需求自定义生成列的值计算逻辑。您可以根据具体情况修改表名、列名以及触发器名称。4. Huawei Cloud EulerOS 2.0 等保2.0三级版 64位 怎么安装mongodb5cid:link_3 问题描述:请问:Huawei Cloud EulerOS 2.0 等保2.0三级版 64位 怎么安装mongodb5啊?弄了半天整不明白啊。用了linux 的安装方法也不行 解决方案:教程参考:cid:link_51.使用 yum 命令安装 MongoDB 5 的安装源。在终端输入以下命令:sudo tee /etc/yum.repos.d/mongodb-org-5.0.repo <<EOF [mongodb-org-5.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/7/mongodb-org/5.0/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongodb.org/static/pgp/server-5.0.asc EOF 2.安装 MongoDB 5。在终端输入以下命令:sudo yum install -y mongodb-org 3.启动 MongoDB 服务。在终端输入以下命令:sudo systemctl start mongod 4.开机自启 MongoDB 服务。在终端输入以下命令:sudo systemctl enable mongod 这样,MongoDB 5 就可以在 EulerOS 2.0 等保2.0三级版上成功安装并启动了。你可以通过访问 MongoDB 所在服务器的 IP 地址和端口号来测试 MongoDB 是否运行正常。5. Mac 下pgadmin 连接RDS for PostgreSQL报错cid:link_4 问题描述:报错信息如下:none of the server's SASL authentication mechanisms are supported 解决方案:如果您使用的是开源的JDBC驱动程序,应确保数据库参数password_encryption_type取值设置为1,如果参数值不为1,可能会出现连接失败,典型的报错信息比如:“none of the server's SASL authentication mechanisms are supported”,参见以下操作: 1.将参数修改为1,修改方法参见修改数据库参数。 2.新建一个数据库用户用于连接,或者重置准备使用的数据库用户的密码。 如果您使用的是管理员账号,参见重置密码。 如果是普通用户,可以先通过其他客户端工具(例如Data Studio)连接数据库后,使用ALTER USER语句来修改密码。 3. 再尝试连接数据库。
  • [热门活动] 数据库执行delete误删除数据是该跑路还是修复
    当数据库执行 DELETE 命令误删除了数据时,跑路并不是解决问题的正确方式。 正确的做法有:数据库备份:如果你有数据库的备份,可以从备份中还原误删除的数据。备份是最可靠的数据恢复方法。你可以使用数据库的备份工具或恢复脚本来还原到误删除数据之前的状态。请注意,还原备份会将数据库恢复到备份时的状态,可能会丢失备份之后的更改。事务回滚:如果误删除操作在一个事务中,你可以尝试回滚该事务来恢复数据。使用数据库的事务管理工具或命令,将事务回滚到误删除操作之前的状态。这将撤消误删除操作及其之后的所有更改。日志文件恢复:某些数据库系统支持日志文件恢复功能。通过分析数据库的事务日志文件,可以找到误删除操作的记录,并使用日志文件进行恢复。这需要一定的数据库管理和恢复技术知识。数据恢复工具:一些数据库系统提供专门的数据恢复工具,可以用于恢复误删除的数据。这些工具通常需要专业的数据库管理员或数据恢复专家来操作。你可以咨询数据库供应商或专业的数据库服务提供商,以获取更多关于数据恢复工具的信息。无论使用哪种方法,重要的是在尝试修复或恢复数据之前,确保对数据库进行适当的备份。这样可以在修复过程中出现问题时,保证有可靠的备份可供恢复。大家有哪些数据库误操作的故事呢,欢迎分享
  • [其他] 数据库板块2023.8月集合
    导出pg_default_acl表的alter default privileges语句,参考方式https://bbs.huaweicloud.com/forum/thread-0256128221187419057-1-1.html3种常见的数据库迁移工具对比https://bbs.huaweicloud.com/forum/thread-0299127975160572049-1-1.htmlspringboot 调用外部接口的21种方式https://bbs.huaweicloud.com/forum/thread-0251128048991837124-1-1.htmlRocketMQ介绍和使用https://bbs.huaweicloud.com/forum/thread-0275128740052393443-1-1.html当注入的 Bean 存在冲突时,到底有多少种解决方案?https://bbs.huaweicloud.com/forum/thread-0265128311103062025-1-1.htmlSpring 中 Bean 的作用域有哪些?https://bbs.huaweicloud.com/forum/thread-0265128311047473024-1-1.htmlguava的使用方法和示例代码https://bbs.huaweicloud.com/forum/thread-0272128251127618007-1-1.htmlnginx配置ssl和反向代理的配置代码https://bbs.huaweicloud.com/forum/thread-0242128246286033003-1-1.htmlJava中CompletableFuture的场景https://bbs.huaweicloud.com/forum/thread-0242128064000506127-1-1.htmlJAVA幂等性实现https://bbs.huaweicloud.com/forum/thread-0263128771115134343-1-1.htmlspring boot中使用redis计数器https://bbs.huaweicloud.com/forum/thread-0297128844392188496-1-1.htmlspring boot中@Cacheable的使用场景和示例代码https://bbs.huaweicloud.com/forum/thread-0297128827782316482-1-1.html
  • [其他] 3种常见的数据库迁移工具对比
    之前在项目中,收到一个紧急需求,要把数据从 PostgreSQL 迁移到 TiDB 中。由于时间紧任务重,来不及调研高效的方式,直接使用了 Navicat 内置的功能,把数据从 PostgreSQL 迁移到了 TiDB。项目结束后,我深入调研了几个同步迁移工具,本期就跟大家一起看看,几个迁移同步工具的实现步骤和各自的优缺点,以便在后续项目中能够选择最佳的工具,高效完成。一、Navicat Navicat Premium 是一套多连接数据库开发工具,让你在单一应用程序中同时连接多种类型的数据库:MySQL、MariaDB、MongoDB、SQL Server、SQLite、Oracle 和 PostgreSQL,可一次快速方便地访问所有数据库。我们先来一起看看它的迁移能力 ⬇Step 1: 增加数据源与目标库Step 2: 打开数据传输工具填写好相关信息:工具->传输工具Step 3: 选择全部表Step 4: 同步结果4步操作就实现了数据库同步迁移。二、DataX DataX 是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。我们可以把Datax的同步功能当作迁移功能使用,看看效果如何 ⬇Step 1: 环境准备 LinuxJDK(1.8以上,推荐1.8)Python(2或3都可以)Apache Maven 3.x (Compile DataX)我们这里只简单介绍工具包安装:yum install -y java-1.8.0-openjdkpython2 自带了,这里不做安装。用工具包安装,不需要部署 Apache MavenStep 2: Datax部署 1、直接下载DataX工具包下载地址:https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202210/datax.tar.gz;2、上传到Linux中3、解压tar -zxvf datax.tar.gz; 4、验证环境是否正常python ./datax/bin/datax.py ./datax/job/job.json 5、验证结果Step 3: 编写Job 1、查看配置模板python ./datax/bin/datax.py -r postgresqlreader -w mysqlwriter 2、编写配置模板{ "job": { "content": [ { "reader": { "name": "postgresqlreader", "parameter": { "connection": [ { "jdbcUrl": ["jdbc:postgresql://10.3.70.132:30118/dc-master-data-management-pg_migrate_test"], "table": ["crm_lead"] } ], "password": "test", "username": "test", "column": [""] } }, "writer": { "name": "mysqlwriter", "parameter": { "connection": [ { "jdbcUrl": "jdbc:mysql://10.3.65.137:4000/test?characterEncoding=utf8&useSSL=false&useServerPrepStmts=true&prepStmtCacheSqlLimit=1000&useConfigs=maxPerformance&rewriteBatchedStatements=true&defaultfetchsize=-2147483648", "table": ["crm_lead"] } ], "username": "root", "password": "tidb", "writeMode": "insert", "column": [""] } } } ], "setting": { "speed": { "channel": "1" } } } } Step 4: 启动Datax1、启动Dataxpython ./datax/bin/datax.py ./datax/pg2tidb.json 2、完成结果三、TurboDX TurboDX for MySQL 专门针对兼容MySQL路线的数据库作为目标库的实时同步工具软件,支持Oracle(RAC)、SQLServer、MySQL、PostgreSQL、DB2、Informix等,全量+增量实时同步到MySQL/TiDB/Oceanbase/TDSQL/GlodenDB/SequoiaDB/GreatDB/HotDB等。Step 1: TurboDX 安装部署 1、准备⼀台Windows环境的机器2、下载数据迁移⼯具(TurboDX for MySQL),并成功安装3、启动打开Windows 服务控制面板(可直接使用Windows 自带的搜索功能,输入 “服务” 即可快速进入),找到TurboDXDB、TurboDX Server、TurboDXWEB 三项服务,并按顺序依次启动。Step 2: TurboDX 使用 1、访问 TurboDX本机访问:cid:link_1进入TurboDX 控制中心,默认登录用户密码为 admin/admin2、配置数据源 PostgreSQL3、配置需要迁移的库4、配置目标数据库TiDB5、配置迁移任务在右侧选项菜单中,找到任务管理,选择子菜单,复制同步,点击左上角新建按钮,配置集群信息,注意全量与增量选项都要勾选,然后保存。6、完善任务配置选中任务,并点击打开。7、迁移目标库表结构选择迁移库表,调整对应字段,点击确定。8、启动迁移任务点击运行点击确定9、解决报错解决方法:执行 SQL 并重启 postgresql。ALTER SYSTEM SET wal_level = 'logical';四、总结 Navicat -优点:方便快捷,操作简单,对于经常使用 Navicat 的小伙伴来说,更加熟悉,简单的数据迁移没有问题。-缺点:一方面是收费,另外迁移表结构的时候,有时候会报错,应该是字段类型对应关系没做好。DataX -优点:对数据同步友好-缺点:对数据迁移不够友好。Datax主要是做数据同步的,在数据迁移方面有诸多不方便的地方,比如Datax是用多个task来实现数据同步的,每个task需要手动编写 json ,并指定表名与同步的字段名。如果数据迁移的表与字段太多,task的配置就是非常耗时的一件事情,这对于数据迁移来说实在太麻烦。而且使用Datax之前,下游数据库的表结构要自己创建,工作量一下就大了。所以数据量少的时候,可以用Datax来做数据迁移,但是有大量数据的情况下,不建议使用 Datax。TurboDX -优点:部署简单;操作简单易懂;能全库全表迁移,也能自由过滤指定表迁移;迁移不需要人为干预,功能齐全;表结构迁移与数据迁移是分开的两个功能,可以单独操作。-缺点:社区版需要使用Windows,Linux版本需要联系官方索要。
  • [热门活动] 【数据仓库专题直播有奖提问】DTSE Tech Talk 技术直播 NO.41:看直播提问题赢华为云定制U型按摩枕、华为云定制POLO衫等好礼!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:请各位获奖的伙伴在9月2日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~直播简介【直播主题】数仓专家手把手教您资源管控与运维实战【直播时间】2023年8月29日 16:30-18:00【直播专家】吕鹏博 华为云EI DTSE技术布道师【直播简介】GaussDB(DWS)的CPU、内存、磁盘IO等资源管控对保证数据库性能稳定至关重要,本次直播将通过实战案例,介绍如何定位和优化资源使用情况,包括:CPU 使用率分析、内存参数优化、排队问题定位等。通过本次直播,您将学会如何科学合理地分配和管理数据库的核心资源,从而确保数据库性能的稳定。这将是一场非常实用的GaussDB(DWS)资源管控优化指南,帮助您更好地管理数据库资源,提升数据库性能。直播报名:cid:link_1活动介绍【互动方式】直播前您可以在本帖留下您疑惑的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流。我们会在全部活动结束后对参与互动的用户进行评选。【活动时间】即日起—2023年8月30日【奖励说明】评奖规则:活动1:直播期间在直播间提出与直播内容相关的问题,对专家评选为优质问题的开发者进行奖励。奖品:华为云定制U型按摩枕活动2:在本帖提出与直播内容相关的问题,由专家在所有互动贴中选出最优问题贴的开发者进行奖励。奖品:华为云定制POLO衫更多直播活动直播互动有礼:官网直播间发口令“华为云 DTSE”华为云定制鼠标垫、填写问卷抽华为云定制长袖卫衣等好礼分享问卷有礼 :邀请5位朋友以上完成问卷即可获得华为云定制雨伞。老观众专属福利:连续报名并观看DTT直播3期以上抽送华为云DTT定制T恤。【注意事项】1、所有参与活动的问题,如发现为复用他人内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年8月31日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [公告] 【获奖公示】8.2号直播 / DTSE Tech Talk丨NO.38:数仓实时入库利器!HStore表原理与应用实践详解
     中奖结果公示感谢各位小伙伴参与本次活动,本次活动论坛提问获得者:其他奖项获得者:​本期问卷抽奖无符合中奖条件人员。 
  • [问题求助] 数据库实例被锁怎么处理?
    数据库实例被锁怎么处理?
  • [技术干货] 为什么有时候要分库分表
    分库分表是一种数据库架构设计和优化策略,旨在解决大规模应用中数据存储和访问的性能和扩展性问题。主要原因包括:数据量大:随着应用的发展,数据量可能会迅速增加,导致单一数据库难以处理大量数据,分库可以将数据分散到多个数据库中,提高整体性能。扩展性:随着用户量和数据量的增长,单一数据库可能成为瓶颈,而分库分表可以通过横向扩展,将负载分摊到多个数据库和表上,提高系统的承载能力。并发访问:单一数据库可能面临高并发读写需求,分库分表可以将数据分散到多个数据库和表中,减少并发访问瓶颈,提高并发处理能力。地域性:对于全球性的应用,分库可以根据地域将数据存储在不同的数据库中,降低访问延迟,提高用户体验。数据隔离:对于不同类型的数据,有时需要进行数据隔离,将其存储在不同的数据库或表中,从而提高数据安全性和可维护性。备份和恢复:分库分表可以使备份和恢复操作更加灵活和高效。例如,对于只读数据库,可以只备份主库,而对于频繁变更的表,可以采取更频繁的备份策略。需要指出的是,分库分表并不是适用于所有场景的通用解决方案,它涉及到架构设计、数据拆分、数据同步等复杂问题,增加了系统的复杂性和维护难度。在考虑分库分表之前,需要进行仔细的规划和测试,确保能够解决实际问题,并且带来性能和扩展性的提升。
  • [公告] 【获奖公示】7.19号直播 / DTSE Tech Talk丨NO.36:openGemini时序数据库应用场景与技术实践分享
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动论坛提问获得者:其他奖项获得者: 账号名 奖项名称 奖品名称hw081993541 优质提问 HDC开发者定制长袖圆领卫衣hw81541353 优质提问、老观众专属 HDC开发者定制长袖圆领卫衣、DTT定制T恤xj120141121 论坛提问奖  开发者定制飞盘/ 官网抽奖 华为云云宝公仔hw81541353 官网抽奖 华为云云宝公仔qingqingjiayuan6 官网抽奖 华为云云宝公仔/ 官网抽奖 开发者定制鼠标垫A2AD6A3934EA4306A2AED33E46DEAA1D 官网抽奖 开发者定制鼠标垫hid_1vkjxagz_j6y-i5 微信抽奖 开发者定制鼠标垫hid_7c_vqxwcev4ad95 微信抽奖 开发者定制鼠标垫hwid_5lawhnf9mh3u2b8 微信抽奖 开发者定制鼠标垫hw081155224 微信抽奖 开发者定制鼠标垫xmdd160408 微信抽奖 开发者定制鼠标垫hid_fqvb70bxioxny6h 问卷分享 开发者定制棒球帽Daniel_Jiao 问卷抽奖 开发者定制鼠标垫yizhangl 问卷抽奖 开发者定制鼠标垫
  • [热门活动] 【数据库专题直播有奖提问】DTSE Tech Talk 技术直播 NO.38:看直播提问题赢华为云定制长袖卫衣、华为云定制Polo衫等好礼!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:请各位获奖的伙伴在8月6日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~直播简介【直播主题】数仓实时入库利器!HStore表原理与应用实践详解【直播时间】2023年8月2日 16:30-18:00【直播专家】马俊松  华为云EI DTSE技术布道师【直播简介】面对实时入库和实时查询要求越来越高的趋势,已有的列存储无法支持并发更新入库,行存查询性能无法做到实时返回且空间压缩表现不佳。GaussDB(DWS)基于列存储格式设计和实现了全新的HStore表,同时提供高效的并发插入、更新入库,以及高性能实时查询。直播链接:cid:link_2活动介绍【互动方式】直播前您可以在本帖留下您疑惑的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流。我们会在全部活动结束后对参与互动的用户进行评选。【活动时间】即日起—2023年8月3日【奖励说明】评奖规则:活动1:直播期间在直播间提出与直播内容相关的问题,对专家评选为优质问题的开发者进行奖励。奖品:华为云定制卫衣活动2:在本帖提出与直播内容相关的问题,由专家在所有互动贴中选出最优问题贴的开发者进行奖励。奖品:华为云定制Polo衫更多直播活动直播互动有礼:官网直播间发口令“华为云 DTSE”抽华为云定制棒球帽、填写问卷抽华为云定制飞盘等好礼;直播过程中提问,评选优质问题送华为云定制长袖卫衣。分享问卷有礼 :邀请5位朋友以上完成问卷即可获得华为云定制帆布袋。戳我填问卷》》老观众专属福利:连续报名并观看DTT直播3期以上抽送华为云DTT定制T恤。【注意事项】1、所有参与活动的问题,如发现为复用他人内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年8月4日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
  • [其他] 数据库板块2023.7月集合
    explain结果每个字段的含义说明https://bbs.huaweicloud.com/forum/thread-0212125114651587001-1-1.htmlmysql使用乐观锁示例https://bbs.huaweicloud.com/forum/thread-0212125200676611005-1-1.htmlmysql使用悲观锁示例https://bbs.huaweicloud.com/forum/thread-0205125201186136006-1-1.html查询表时候报:查看表数据时出错。https://bbs.huaweicloud.com/forum/thread-0275124625774236003-1-1.html数据库集群部署完毕后,应该调整哪些参数?https://bbs.huaweicloud.com/forum/thread-0228123756173382004-1-1.htmlgaussdb(DWS)更新整表后表占用空间翻倍如何解决https://bbs.huaweicloud.com/forum/thread-0206123929068130003-1-1.htmlMysql写热点分散优化https://bbs.huaweicloud.com/forum/thread-0212125802476751036-1-1.htmlMySQL:分库分表与分区的区别和思考https://bbs.huaweicloud.com/forum/thread-0227125728343611018-1-1.htmlMySQL索引优化20招https://bbs.huaweicloud.com/forum/thread-0212125728273875028-1-1.htmlGaussDB技术解读系列之高级压缩https://bbs.huaweicloud.com/forum/thread-0249125114778677001-1-1.htmlGaussDB(for Redis)企业级特性揭秘之多租户管理https://bbs.huaweicloud.com/forum/thread-0222125638395491011-1-1.htmlMyBatis的xml传参方式https://bbs.huaweicloud.com/forum/thread-0212125743779350032-1-1.htmlJava中单例模式的实现方式https://bbs.huaweicloud.com/forum/thread-0212125729247074029-1-1.html 引入RabbitMQ后,你如何保证全链路数据100%不丢失?https://bbs.huaweicloud.com/forum/thread-0249125644459392020-1-1.html浅析内存屏障以及在java中的应用https://bbs.huaweicloud.com/forum/thread-0227125555524364010-1-1.html什么是JAVA动态代理?两种常用的动态代理方式https://bbs.huaweicloud.com/forum/thread-0227125565964720011-1-1.htmlExplain详解https://bbs.huaweicloud.com/forum/thread-0212125975692823053-1-1.htmlvacuum full提示 WARNING: TopSQL lfq is full, failed to save queryid: xxxhttps://bbs.huaweicloud.com/forum/thread-0227125996961619001-1-1.html
  • [热门活动] 【数据库专题直播有奖提问】DTSE Tech Talk 技术直播 NO.36:看直播提问题赢华为云定制飞盘、华为云定制长袖卫衣等好礼!
    中奖结果公示感谢各位小伙伴参与本次活动,本次活动获奖名单如下:请各位获奖的伙伴在7月25日之前点击此处填写收货地址,如逾期未填写视为弃奖。再次感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~直播简介【直播主题】揭秘openGemini时序数据库应用场景与技术实践【直播时间】2023年7月19日 16:30-18:00【直播专家】向宇 华为云开源DTSE技术布道师;openGemini社区发起人【直播简介】本期直播由向宇详细讲解华为云开源的openGemini高性能、分布式时序数据库,将围绕场景、案例、架构、功能、性能、开发、成本等方面,帮助开发者更容易、更清晰的了解openGemini是什么,要解决什么问题,提供哪些能力,差异化竞争力是什么,性能如何,如何使用(安装部署、应用开发等)以及如何运维等一系列问题。直播链接:cid:link_2活动介绍【互动方式】直播前您可以在本帖留下您疑惑的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流。我们会在全部活动结束后对参与互动的用户进行评选。【活动时间】即日起—2023年7月20日【奖励说明】评奖规则:活动1:直播期间在直播间提出与直播内容相关的问题,对专家评选为优质问题的开发者进行奖励。奖品:华为云定制长袖卫衣活动2:在本帖提出与直播内容相关的问题,由专家在所有互动贴中选出最优问题贴的开发者进行奖励。奖品:华为云定制飞盘更多直播活动直播互动有礼:官网直播间发口令“华为云 DTSE”抽华为云云宝公仔、填写问卷抽华为云定制鼠标垫等好礼;直播过程中提问,评选优质问题送华为云定制长袖卫衣。分享问卷有礼 :邀请5位朋友以上完成问卷即可获得华为云定制棒球帽。戳我填问卷》》老观众专属福利:连续报名并观看DTT直播3期以上抽送华为云DTT定制T恤。【注意事项】1、所有参与活动的问题,如发现为复用他人内容,则取消获奖资格。2、为保证您顺利领取活动奖品,请您在活动公示奖项后2个工作日内私信提前填写奖品收货信息,如您没有填写,视为自动放弃奖励。3、活动奖项公示时间截止2023年7月21日,如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出,请您耐心等待。4、活动期间同类子活动每个ID(同一姓名/电话/收货地址)只能获奖一次,若重复则中奖资格顺延至下一位合格开发者,仅一次顺延。5、如活动奖品出现没有库存的情况,华为云工作人员将会替换等价值的奖品,获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。
总条数:514 到第
上滑加载中