主备数据同步是那种机制？     1）为什么要选择半同步     2）备库挂掉了会影响我主库业务业务提交吗？有无影响怎么分析 

问题背景：有个数据量亿级的表，需要变更主键类型从int到bigint，经调查online ddl不支持INPLACE算法，只能copy，但借用pt-online-schema-change工具是可以实现并发修改的，但这个工具之前没在生产环境用过，担心变更会引起问题。现在想问下，华为云数据库MySql本身有其它成熟的解决方法达成上述目的么？

RDS和云上自建数据库怎么选择？

python加入字典的代码怎么打啊

    本帖整理汇总了HCS数据库产品服务各个引擎标准交付部署、升级变更方案、最佳实践、故障问题应急排查套路、以及常见非标操作鉴定标准及评审流程，后续会持续更新，以便使用。交付变更标准方案--HCS标准云底座说明：安装、升级、补丁、扩容标准方案文档请到华为support网站获取，不在本社区论坛发布；请严格按照support网站提供的标准方案操作。1.数据库服务安装交付部署checklisthttp://3ms.huawei.com/hi/group/3288655/wiki_7173493.html2.数据库服务升级前checklist+升级指导http://3ms.huawei.com/hi/group/3288655/wiki_6654416.html3.HCS数据库服务升级变更方案评审接口矩阵cid:link_14.非标方案评审流程：cid:link_2

↵rds（mysql）白名单添加了宿主机ecs的ip，docker容器内项目连接服务器超时，初步怀疑是rds白名单未添加docker容器ip，但docker每次重启ip会更改，请问如何配置可以使项目访问到rds

未来5年将是国产数据库的主战场。数据库作为竞争最激烈的国产软件赛道，在技术服务、人才发展等方面有着巨量需求。华为云数据库测评热身，快速了解自身数据库水平，闯关So-easy！还有HUAWEI WATCH GT2、无线耳机、华为手环4等万元奖品拿！活动时间：2022年11月8~12月31活动对象：开发者、高校师生、对数据库感兴趣的0基础用户 活动内容：  参与方式：         点击参与   GOGOGO!!!     测评规则：测评内容：了解数据库的基础理论如关系、表、事务等，SQL基础知识；测评共 (20) 道题，总分100分，通过测评分数80分；需在（60分钟）内交卷，过程中无法暂停，请提前安排好时间；如未及时交卷，则本次考试作废推荐使用Chrome浏览器，或Firefox浏览器本测试2小时内只允许答题一次有问题可添加小助手微信18209232786激励规则：1.“邀请好友”激励：“邀请用户”奖励有效邀请人数奖品奖品数量X≥5圆领T恤/（加湿器、手机支架、字母笔、U盘、文件夹），任选二，随机发200X≥10荣耀体脂称2/折叠烧水壶50X≥15茶壶套装/HUAWEI mini蓝牙音箱 _绮境森林70X≥30华为手环4/保温杯/HUAWEI背包70X≥50HUAWEI FreeLace无线耳机活力版曜石黑+华为10000mA移动电源20X≥100HUAWEI WATCH GT2 运动款32MB+ 4GB曜石黑5有效邀请指，邀请来的用户需要完成活动报名，并通过自测题2.完成 “华为云数据库自测题”奖励：“华为云数据库自测题”奖励奖品奖品数量HUAWEI FreeLace无线耳机10华为手环4/hilink保温杯20罗技鼠标5032 U盘80加湿器100手机支架100字母笔100文件夹100中奖率是通过自测题人数的20%，实际奖品发放数量将按照奖品数量上限的比率提供。抽奖形式：活动结束后，将参与数据导入第三方开源抽奖平台进行抽奖，抽奖过程全程透明公开。抽奖结束后将在此贴公布结果&收集收货信息。活动其他事宜通知○所有活动奖品将在活动结束后20个工作日内完成发放；○活动奖品颜色随机，且部分奖品数量有限发完即止，如对应奖品无库存会更换等价奖品；○活动奖品需要进行华为云账号实名认证后领取；○为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为），利用资源从事违法违规行为的用户收回抽奖及奖励资格。○本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。○本次活动回帖内容需满足华为云论坛发帖规范：cid:link_1

刚刚认识云，做硬件开发的。客户需求将设备传感器信息通过4G流量模块发送到弹性服务器。做了上传和下发指令，在网页可以显示相关设备参数了，在数据库里怎么看见呢（服务器应该怎么处理）

​RDS for MySQL实例支持绑定多个安全组（为了更好的网络性能，建议不超过5个）。此时，实例的访问规则遵循几个安全组规则的并集。什么是安全组？安全组是一个逻辑上的分组，为同一个VPC内具有相同安全保护需求，并相互信任的ECS和云数据库RDS实例提供访问策略。用户可以在安全组中定义各种访问规则，当实例加入该安全组后，即受到这些访问规则的保护。您也可以根据需要创建自定义的安全组，或使用默认安全组。系统会为每个用户默认创建一个默认安全组，默认安全组的规则是在出方向上的数据报文全部放行，入方向访问受限，安全组内的ECS无需添加规则即可互相访问。如何绑定多个安全组？购买实例时绑定多安全组：在“实例管理”页面，单击“购买数据库实例”。在“安全组”下拉框，选择多个安全组。购买后绑定多安全组：在“实例管理”页面，选择对应的主实例或只读实例，单击实例名称。在 “安全组”处，单击“管理”，选择多个安全组。配置安全组规则示例为了保障数据库的安全性和稳定性，在使用云数据库RDS实例之前，您需要设置安全组，开通需访问数据库的IP地址和端口。场景1：RDS与ECS在相同安全组，直接连接。场景2：RDS与ECS在不同安全组，需分别添加RDS安全组入方向规则，ECS安全组出方向规则（出方向规则可以全部放通），放通来自另一个安全组内的ECS的访问。入方向规则添加示例：方向协议/应用端口源地址入方向TCP3306单个IP地址、IP地址段或安全组。例如：192.168.20.6/53绑定多个安全组，实例的访问规则遵循几个安全组规则的并集。可以绑定配置了该入方向规则的安全组，即可放通RDS连接。

云数据库时代，数据库软件越来越成熟和智能，作为数据库管理员的DBA将面临哪些机遇和挑战？又应该具备什么能力，才能应对未来的不确定性？10月10日19:00，三位数据库大咖带你走进《云数据库时代，DBA将走向何方?》主题直播，与您共同探讨DBA的未来转型及出路。报名直播将送499元代金券，还有移动电源、公牛插座等更多好礼等你来！点击：观看直播

测试mysql数据库的时候，需要对网卡队列进行绑核，以48core*2的机型来说，一般前面4个core绑定网卡，后面的44个core分配给mysql实例启动，两个cpu分别对应两个数据库实例启动。正常情况下，网卡的core使用率上80%，数据库的core使用率上98%，用htop命令实时监控

测试mysql数据库的时候，需要对网卡队列进行绑核，以48core*2的机型来说，一般前面4个core绑定网卡，后面的44个core分配给mysql实例启动，两个cpu分别对应两个数据库实例启动。正常情况下，网卡的core使用率上80%，数据库的core使用率上98%，用htop命令实时监控

写在前面 前面我们都是学习MySQL的操作,很少涉及到理论,有些sql语法前面我都没有谈,主要是工作中不常用,一般就是增删查改.要是实际工作中遇到了可以自己稍微查一下,都是很简单的.今天我们谈一下MySQL中被面试官常问的两个部分,都是理论知识,需要我们有自己的理解.  索引 我们先来解释一下什么是索引,这是我们的重点,它是属于MySQL数据库原理层面的知识,如果我们要是自己实现一个数据库,这里我们就要学习的很精通,要是我们岗位只是普通的程序猿,那么了解一下就可以了,至于如何用就不是我们现在这个层次考虑的了.  索引(index),就像是我们书的目录,我们根据目录可以快速的找到我们要看的章节,MySQL也是如此,索引在一定程度上可以加快我们查找数据的速率. 为何出现索引 我们到工作的时候就会发现,你修改数据的次数是远远低于查找数据的次数的,比如我们现在写的博客,一般而言,我写完之后,就很少更改它了,除非是有朋友指出这里存在巨大的错误,我一般都是再重温博客的时候看到有哪里不合适或者错误才会修改,一般都是用来复习和观看的. 同理MySQL也是如此.我们查看是很频繁的.这里就会出现一个问题,对于数据比较少的,我们查早还是很不错的,但是对于公司的服务器而言,这个数据可以实千万级的,那么这个时候我们还是按照老方法查找数据,那么一个命令就要等较长的时间.这时候我们就出现索引,至于索引的原理是什么,这里我们不讨论,知道到这里就可以了.  索引的缺点 前面我们只谈了索引可以提高效率,那么是索引难道就不存在缺点吗?我们想一下,书的目录是不是存在缺点,是的,最直观的一点就是废纸,同理索引是费空间.这就是索引最大的缺点. 随着我们数据量的增大,索引消耗的空间也会越来越大,这还是不是最关键的,对于书来说,我们每一次修改书的内容,那么目录随之也要进行校准,确保可以指定的位置是是准确的,同理MySQL也是如此.不过看起来索引有很大缺点,但是和优点相比较很微小的,瑕不掩瑜.我们在公司里面推荐用索引.  索引的使用 注意,这里的使用只是一点皮毛,甚至连皮毛都算不上,我们不学习使用索引.这里还要和大家谈一个东西,索引的创建最好在创表的时候就出现,要是你在数据比较的多的表来创建索引,那么有极大概率这个数据库会崩,所以要创就在开始的时候创建.  我们先来创建一个数据库,用来查看一下索引. create table student ( id int primary key, name varchar(50), score decimal(3,1));这里我们就可以查看这个数据表的索引了. -- 格式 show index from 表民;show index from student;这里我们就会疑惑了,我们好象是没有添加索引的那么这里为何会出现一个索引,准确来说,我们一个字段被主键或者唯一来约束,这一列就看做一个索引.我们的id就是一个索引.也就是说我们使用主键约束的时候还加快的查早的速率. 同理这里我们也可以给某一列添加索引. -- create index 索引名字 on 表名(列名);create index name_index on student(name);  同理这里我们也可以删除索引,这里只做简单的演示.注意这里容易把数据库给搞挂. drop index name_index on student;索引背后的数据结构 这里才是我们索引的重点,也是面试官比较喜欢问的.这里我们要好好的解释下.我们之前学了一点简单的数据结构,有顺序表,链表,二叉搜索树,哈希表等等,那么我们在想索引的底层是什么?  这里我们首先先排除三个,至于后面的二叉搜索树,可以不可以,这就是我们要讨论的了.  我们感觉二叉搜索树还是挺不错的,不过这里有个问题,我们好象查找数据的时候每一次都要比较,那么如果数据多了,树就高了,对于数据库每一次都意味着文件IO．这里还是不要太行．那么索引的底层究竟是什么？这里我们就要谈一个新的数据结构B+树．不过在谈这个树前,我们先来谈一下B树．注意,我们谈的数据库是MySQL,我这里只知道MySQL的索引是B+树,至于其他的是什么这里就不太清楚了.  B/B-树 我们先来解释一下这个名称,B树又叫B-树,记者B-树可不是念B建树,它是B树的另一个名称,从来没有什么B减树.这里算是解决一下我们的疑惑.  B树是一个N叉树,这个N叉比较特殊.对于树的每一个节点存在若干个数据把这个节点分为若干个区域.我们这里直接看树的的结构.  一个节点里面存在N个数据,把这个节点分为N+1个区域,每一个区域有指向一个新的节点,这就是B树.   这里我们简单的说一下B树的查找规则,这个和二叉搜索树是一样的,我们先来从根节点出发,根据比较来确定一个一个区域,这里逐渐寻找我们的数据.这里我们就疑惑了,这也是比较,而且比较的次数好象没有变少,那么这里就出现问题了,B树为何会提高索引的效率.这里由于我们还没有分享过文件IO,我先来说下,B树是不是高度变短了,这就就意味着以节点为基础比较变得少了,而磁盘IO也是根据节点的次数来计算的,所以这里提高效率了. B+树 B+树是在B树的基础上再次衍生出来的,基于索引而言,B+树是更加优秀的.我们现来看一下B+树的结构. B+树中每一个父节点的值会作为子节点的最大或者最小值,叶子节节点中会体现出来,而且对于叶子节点而言,我们使用指针把它给串联出来.   这里我们就要下一个结论了,B+树可以说是完美的给MySQL索引设计的,我们看一下它的优点. 树变短了,总体的IO次数变少了 所有的查询终究会落在叶子节点上,查询速度稳定 叶子节点通过链表链接出来后,很适合范围查找 所有的载荷都是放在叶子节点上的,非叶子节点只保存key值. 这里我先来解释一下最后一条,说人话就是我们把所有的数目只保留在在叶子节节点.这样我们的非叶子节点占据的空间很少,甚至可以在在内存中跑,这样也能大大减少磁盘IO,提高速率.  事务 上面总算是把索引谈的差不多了,这里还要接触这个知识点.事物还是一个比较好理解的知识点.我们先来看一下什么是事物.  事物,可以理解成打包,就是把几个工作一起做了,也就是要做都做,要不做都不做.  我们举一个例子,假设我要和自己的女朋哟去约会,首先第一点我要去ATM机中取钱，取完钱之后,我发现我女朋友鸽了我,这时候就是是一个很悲伤的故事.但是如果我们把这两个步骤打包成一个事物,也就是不会存在第一个步骤执行完了第二个步骤不会执行的情况. 原子性 那么我们就有问题了,事物是通过什么来保证的,这就要涉及到原子性了,这个算是线程里面的内容.我先来解释,在过去,人们认为原子是物质的最小单位,这里就用这个来命名了,没有其他的含义.我们再来举一个例子.假设存在一张账户表.   现在我们要做的就是A要给B转500元,就会执行下面的操作.假设第二步的时候出现了问题,也就是A的钱被扣了,但是B没有收到钱,至于造成这样的原因有很多种,比如服务器不小心断电了,数据库崩了等等.显然我们的原子性就是为何避免这种情况的发生.   如何保证事务 事务的保证就是下面的两条规则  要么都执行 要么都不执行 现在我们就疑惑了,我们该如何保证事务,要知道我们执行的结果成不成功是需要执行过之后才发现的,你这个规则好象把路给堵死了,这里的要不都不执行是需要带引号的,所谓的要不都不执行,是我们确实执行,如果成功了,万事大吉,错误了就把他给恢复回去,这种模式叫做回滚.至于如何恢复才是我们重点讨论的.还按照上面的例子来讨论,假设我们执行了第一个步骤,也就是A减去500,执行第二步出现了问题,导致无法执行,我们好象没有给B加上500.   这个时候数据库就会进行回滚,上一个步骤我们给A减去500,回滚的时候给A加上500,让它变回原来的样子.那么请问数据库是如何知道要给A加上500这个正确的操作的,这就又涉及到另外一个东西了.数据库会拿出一个小本本,把过去一段时间的操作记录下来,这就是我们传说中的日志.  事务的使用 我们好象还是没有谈过事务的使用,这里简单看一下就行了,也不是面试官主要的考点.  开启事务：start transaction; 2） 执行多条SQL语句 回滚或提交：rollback/commit 说明：rollback即是全部失败，commit即是全部成功. start transaction;-- 阿里巴巴账户减少2000update accout set mnotallow=money-2000 where name = '阿里巴巴';-- 四十大盗账户增加2000update accout set mnotallow=money+2000 where name = '四十大盗';commit; 事务的特性 面试官最喜欢问的问题就是事务的几个特性,这里我先总结下,后面还有好好谈谈.  原子性 一致性 持久性 隔离行 原子性前面我们已经分析过了,这里我先来谈一下一致性,事务一旦执行,执行的结果必须是合理合法的,也就是说余额不能出现为负数的情况.持久性也就是数据一旦正确存入,就会保存到硬盘中,被持久化存储起了.  隔离性 事务的隔离性在是在并发执行时体现的,并发是我们现在计算机常用的方法.  并发 这里我先来解释一下什么是并发执行.在我们使用计算机的时候,你会发现很多程序都在跑,不过CPU的个数远远要小于程序的个数,这个时候就会出现不够用的问题,并发在一定的程度上解决了这个问题,就是一般一个程序只占据CPU一段时间,然后换下一个.  脏读 这个是我们要重点谈的,可以说是它太重要的.我们先来假设一个场景,我的老师正在那里写代码,准备给我们布置作业,我偷偷的看了一眼,看到一个student类,那时候我就明白了,我们的作业和student类有关.我回去准备相关的知识了,到是在我走后,老师把题目给改了,这就是脏读问题.  不可以重复读 我吃了脏读的亏,这个时候我就比较小心了,我等到老师把代码写完,然后把他给上传到GitHub上,我在GitHub上读代码.这个模式算是老师写的时候我不能读,等到老师写完我读的代码就正确了.但是这里又出现了问题,我们没说毒的时候不能写啊,我在读第二遍的时候,老师把代码给改了.这个时候就是不可以重复的问题.   幻读 我们这个时候和老师在约定一下,我们读的时候你也不能写,这个在一定程度上解决了一不可重复读问题,但是这个真的很完美吗?这个时候老师的等的很无聊,既让我们不能修改原来的代码,那么我这里写另外一个代码总可以了吧.   这个时候又会出现另外一个问题,我们每一次刷新GitHub,有的代码一会有,一会没有,感觉是幻觉一样,这个就是幻读,算是一种特殊的不可重复读问题,要解决这个问题要彻底串行化执行.也就是老师写好了之后,可以直接去摸鱼了,我在这里观看就可以了. 来源：51CTO博客

#开发者故事，有奖征集书写代码与修改BUG是开发者大多数的日常：有时探索良久却毫无进展，抓耳挠腮不得其因；有时眉头紧锁间忽地灵光一现，柳暗花明又一村；个中滋味，最有体会。数据库邀你，分享你的故事。让这份分享成为一盏明灯，照亮更多的人。一、 活动时间投稿期：2022/9/1-2022/12/30投稿形式：视频、文章（不用担心你的文笔和表达能力，投稿后我们会协助你优化的哟）二、奖励规则奖项数量征集形式奖励投稿奖励（综合分值60分以上的给与奖励）不限故事稿件&开发者故事视频第1名：价值269元HUAWEI FreeLace无线耳机活力版曜石黑第2~3名：价值199元华为手环4 (曜石黑)第4~6名，价值129元HUAWEI mini蓝牙音箱 _绮境森林第7~10名，价值79元罗技鼠标第11名以后，华为云数据库书籍（3选1）/GaussDB T恤 数据库书籍（3选1：华为数据之道、数据库原理及应用、openGauss数据库核心技术）三、活动要求投稿作者需真实使用或体验过华为云数据库的产品/服务/工具/课程等资源，内容上要与华为云数据库相关，可以是技术分享、实践、案例等，也可以是与数据库相关的故事。故事要求1000字以上，保证真实、原创，拒绝杜撰剽窃；如果未使用过华为云数据库产品，也想参与活动，请点击开发者免费试用专区进行产品体验，如果需要提供相关课程或者学习资料，请添加添加“华为云数据库小助手”微信：18209232786，进行咨询。四、 参与流程思路梳理：参考附件【开发者故事提纲】列出的一些问题，可以帮助你构建故事的框架，进而完成故事的撰写。撰写故事：请根据步骤1中填写的提纲，完善你的“开发者故事”，要求1000字以上，保证真实、原创，拒绝杜撰剽窃。完成投稿：将故事发送给小助手，合格后可获得投稿奖励， 投稿过程中有任何疑问欢迎随时来撩！邀请好友：邀请好友完成投稿，好友投稿给小助手时，说明或者备注邀请人的华为云用户名，即邀请成功，邀请人可获得邀请奖励。审核通过：在投稿后10个工作日内完成审核，审核通过的合格作品可在华为云博客发布。专家评选：年底，我们将对所有合格投稿进行评选，在华为云开发者年终盛典典礼上进行表彰，同时进行奖品奖励。注意事项请遵守华为云社区常规活动规则： cid:link_0

21世纪什么最贵人才如何有效管理人才需要一款灵活高效的HR效率软件 “2号人事部”是深圳市点米二号科技有限公司出品的中国第一款即租即用的HR效率软件，为10000家客户、1500万人提供员工管理、招聘管理、考勤打卡、薪酬计算、社保管理等服务，为HR解放工作，促进企业管理效率提升。流量洪峰集中，数据读写迎挑战作为一款由百万HR共创的一体化人力资源数字化平台，2号人事部因为流量洪峰集中，数据体量庞大，在数据峰值读写和规模级数据核算方面面临巨大挑战：数据峰值读写：常见的考勤打卡业务场景，因考勤打卡时段集中，高峰期峰值高达每秒10万+，并发访问压力大，即使通过一系列异构和高性能NoSQL来缓解洪峰对基础数据库的冲击，但依然挑战巨大。规模级数据核算：常见的月底考勤核算、薪酬核算的业务场景，因很大一部分企业会在月底和月初发起整个企业的数据核算，而核算会拉起整个月和整个公司的各大模块的记录数据，进而产生上百万行数据的读写压力。全新底座，高效管理基于上述痛点，“2号人事部”对于数据库的需求十分明确，一是具备稳定可靠的数据库服务能力，二是提供简单高效的数据库运维功能。而华为云数据库提供的高可用、存算分离、高性能、弹性高扩展、简易可持续性运维等特点，十分贴合其需求。 华为云通过RDS for MySQL的一写多读特性，让主实例只承担写流量，降低主库压力，承载考勤打卡、月底核算等业务海量读写流量。同时使用云原生数据库GaussDB(for Redis)作为前置缓存，应对考勤峰值的流量高峰。GaussDB(for Redis)凭借存算分离的云原生架构，实现分钟级计算节点扩容和秒级存储扩容；实现了亚毫秒级时延稳定无抖，轻松应对考勤并发高峰；还提供了三副本容灾方案，可从底层保证数据的一致性，从源头避免脏数据的出现，有效协助客户简化上层业务逻辑架构，增强数据的可用性。此外，“2号人事部”HR系统涉及众多公司员工的个人隐私信息，如薪酬、员工档案等敏感信息，对数据服务的安全性要求较高。华为云数据库提供虚拟私有云、子网、安全组、DDoS防护以及SSL安全访问等多层安全防护体系，实现租户隔离和访问控制以及实例监控、API管理、故障预警、自动备份等智能运维手段，多重守护敏感数据，全方位保证“2号人事部”HR系统的数据安全，让客户使用更安心。两套组合拳配合下，“2号人事部”数据库系统在吞吐、访问时延、IOPS等指标方面综合提升15%，扩容时间由4小时缩短为5分钟，效率提升47倍，为企业带来更高的资源利用率，使整个平台在资源不变的情况下承载更多的用户。华为云数据库自动运维平台提供的实时性能监控看板，可以随时应对突发洪峰，一旦发现某个数据库压力呈现不断上升趋势，及时一键扩容，高效支撑海量并发压力，保障业务的稳定运行。人才是企业的重要资产，高效管理人才是企业成功的重要因素。“2号人事部”全场景数字化平台极大提升了企业组织效率和员工满意度，让人才与企业价值实现共赢。华为云数据库愿凭借技术力量，助力万千企业一同推动企业人力资源管理的创新升级，为HR带来工作效能提升和价值重塑。