鲲鹏和昇腾社区打不开网页了，浏览器一直再转。（如下图）

数据网topo模拟                                                                                                                                                                                      数据网topo模拟

Freeipa 鲲鹏移植简介freeipa是linux的一个开源的安全解决方案，它提供账户管理和集中认证，类似于微软的AD(active directory)。Freeipa 官方网站样机配置CPU鲲鹏920系统openEuler 22.03内核5.10.0-60.18.0.50.oe2203.aarch64freeipa版本4.9.3路径规划选定 freeipa 根目录cd /opt/依赖下载基础组件yum install -y vim tar patch wget git rpmdevtools tree依赖yum install -y autoconf cyrus-sasl-devel diffstat gettext-devel httpd krb5-server libini_config-devel nspr-devel openldap-devel popt-devel python3-cffi python3-devel python3-dns python3-ldap python3-netaddr python3-psutil python3-pyasn1 python3-pyasn1-modules python3-rjsmin xmlrpc-c-devel libtool libpwquality libpwquality-devel jansson jansson-devel 389-ds-base-devel libsss_idmap libsss_idmap-devel libuuid libuuid-devel libtalloc libtalloc-devel libtevent libtevent-devel samba samba-devel libunistring libunistring-devel npm python3-augeas python3-jinja2 python3-jwcrypto python3-netifaces python3-pyusb  python3-qrcode-core python3-requests python3-yubico python3-gssapi python3依赖python3 -m pip install lesscpypython3-ipaclient下载ipaclientgit clone https://gitee.com/src-openeuler/freeipa.git准备编译目录cd /root/ && rpmdev-setuptree准备编译脚本及文件cp /opt/freeipa/adapt-freeipa-to-openEuler.patch /root/rpmbuild/SOURCES/cp /opt/freeipa/freeipa-4.9.3.tar.gz /root/rpmbuild/SOURCES/cp /opt/freeipa/freeipa.spec /root/rpmbuild/SPECS/编译cd /root/rpmbuild && rpmbuild -bb SPECS/freeipa.spec查看ipaclient编译包tree /root/rpmbuild/RPMS安装ipaclientcd /root/rpmbuild/RPMS/noarch && rpm -ivh ./*freeipa-server下载freeipa-servercurl -L https://github.com/freeipa/freeipa/archive/refs/tags/release-4-9-3.tar.gz | tar zx-补充platform支持tar -xf /opt/freeipa/openEuler-platform.tar.gz -C ./ipaplatform/依赖检查及编译cd freeipa-release-4-9-3/ && ./autogen.shmake -j`nproc` && make -j`nproc` install

如机器上有网口eno1，eno2，通过ifcfg将两个网口都配置成动态，然后网线插在eno1上重启后，eno1 ping 百度成功，但把网线换到eno2上就ping不通，如果开机网线是插的eno2，那么eno2能ping通，再把网线换到eno1上，eno1就ping不通。

什么是集群集群的定义：集群是由一些互相连接在一起的计算机构成的一个并行或者分布式系统。这些计算机一起工作并运行一系列共同的应用程序，同时，为用户和应用程序提供单一的系统映射。从外部来看，它们仅仅是一个系统，对外提供统一的服务。集群内的计算机物理上通过电缆连接，程序上则通过集群软件连接。这些连接允许计算机使用故障应急与负载平衡功能，而故障应急与负载平衡功能在单机上是不可能实现的。集群的优点：提高性能：一些计算密集型应用，需要计算机要有很强的运算处理能力。这时，可以采用计算机集群技术来满足计算要求。降低成本：在达到同等性能的条件下，采用计算机集群比采用同等能力的计算机的代价要小很多。提高扩展性：采用传统服务器的用户如果需要大幅度扩展系统的能力，就必须购买昂贵的最新的服务器。如果该服务器系统采用集群技术，则只需要将新的服务器加入集群中即可。增强可靠性：集群技术可以使系统在故障发生时仍继续工作，将系统停运时间减到最小，大大提高了系统的可靠性。高可伸缩性：服务器集群具有很强的可伸缩性。随着需求和负荷的增长，可以向集群系统添加更多的服务器。在这样的配置中，可以有多台服务器执行相同的应用和数据库操作。高可用性：高可用性指在不需要操作者干预的情况下，防止系统发生故障或从故障中自动恢复的能力。通过把故障服务器上的应用程序转移到备份服务器上运行，集群系统能够把正常运行时间提高到大于99.9%，大大减少服务器和应用程序的停机时间。高可管理型：系统管理员可以从远程管理一个甚至一组集群，就好像在单机系统中一样。什么是WEB集群集群技术的分类：高性能性集群(HPC Cluster)：不惜成本，追求高性能。主要用于科研。高可用性集群(HA Cluster)：使群集的整体服务尽可能可用。减少服务宕机时间为目的。一个节点失效，其他节点接替。单节点故障时，整体性能一般会下降。高可扩展性集群：    基于负载均衡策略。   一般是对特定类型负载做均衡处理。    各负载节点一般是同构的,可以分担部分负载。    可以避免单点故障,一般较廉价。常见WEB集群组件常见的web集群组件有Apache、NGINX、LVS、MEMCACHED等。Apache:Apache软件基金会的一个开放源代码的跨平台的网页服务器，老牌的web服务器。支持基于Ip或者域名的虚拟主机，支持代理服务器，支持安全Socket层(SSL)等等。目前互联网主要使用它做静态资源服务器，也可以做代理服务器转发请求(如：图片链等)，结合tomcat等servlet容器处理jsp。NGINX:俄罗斯人开发的一个高性能的 HTTP和反向代理服务器。由于NGINX超越Apache的高性能和稳定性，使得国内使用NGINX作为Web服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻、腾讯网、搜狐博客等门户网站频道等，在3w以上的高并发环境下，NGINX处理能力相当于Apache的10倍。LVS:Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现Linux平台下的简单负载均衡。MEMCACHED:一个高性能分布式内存对象缓存系统。是Danga Interactive为了LiveJournal快速发展开发的系统，用于对业务查询数据缓存，减轻数据库的负载。其守护进程(daemon)是用C写的，但是客户端支持几乎所有语言，服务端和客户端通过简单的协议通信；在MEMCACHED里面缓存的数据必须序列化。什么是无状态计算图片来自华为网站。无状态计算定义：英文名称stateless computing，一般指在计算主体上不存任何状态信息或特定配置，各个主体都是无差别部署，这样的好处就是可快速复制和销毁计算资源，通常可通过服务化等手段抽取状态。即计算节点只提供 CPU、内存等计算资源，硬件配置信息都存储在配置文件中，数据集中存储在磁盘阵列上，实现了网络、存储与计算节点的无关性。无状态计算是将计算节点硬件配置进行抽取，形成配置策略文件（Profile），使硬件配置脱离硬件，从而使硬件配置可离线，可迁移，可批量远程部署，可导入导出。华为无状态计算是指将服务器的个性，如 MAC、WWN、UUID、BIOS、固件、启动顺序、VLAN、VSAN、vNIC、VHBA、QoS 等标识符、配置和设置，完全从该个性的宿主物理资源中剥离出来，定义为一个配置文件。当服务器未与配置文件绑定时，服务器即为裸设备；当配置文件与某台服务器绑定后，这台服务器即具备了此配置文件中定义的所有个性。总的来说， 一个计算节点的设备配置项由几个方面组成：网络配置，存储配置，计算配置以及管理配置。网络配置：网络接入参数相关的配置，包括MAC地址，虚拟网卡配置，虚拟网卡VLAN配置，虚拟网卡QoS配置，远程PXE启动参数配置等。存储配置：存储网络接入配置以及本地存储配置，存储网络配置包括FC/FCoE WWN，SAN Boot参数等。本地存储则包括本地Raid配置。计算配置：计算属性相关配置，包括启动OS方式以及启动顺序配置，内存RAS配置，节能配置，虚拟化配置，UUID配置等。管理配置：计算节点管理属性相关配置，包括系统IPMI行为配置，系统串口配置等。优势：□ 解决计算节点的智能化部署、无缝更换以及迁移□ 实现数据链路虚拟化、网络虚拟化□ 减少维护的复杂度和工作量

鲲鹏系列四: DevKit开发框架插件工具课程干货总结https://bbs.huaweicloud.com/forum/thread-0259108878000154030-1-1.html?isStOrKp=true鲲鹏系列三: DevKit性能分析工具课程干货总结https://bbs.huaweicloud.com/forum/thread-0282108877945585030-1-1.html?isStOrKp=true鲲鹏系列二: DevKit编译调试工具课程干货总结https://bbs.huaweicloud.com/forum/thread-0238108877881735033-1-1.html?isStOrKp=true鲲鹏系列一: DevKit代码迁移工具课程干货总结https://bbs.huaweicloud.com/forum/thread-0231108877823842024-1-1.html?isStOrKp=trueMySQL数据库迁移上云笔记（上）https://bbs.huaweicloud.com/forum/thread-02108109093596829005-1-1.htmlMySQL数据库迁移上云笔记（下）https://bbs.huaweicloud.com/forum/thread-0248109093788702004-1-1.htmlMySQL数据库迁移上云常考知识点分享、https://bbs.huaweicloud.com/forum/thread-0201109093903225005-1-1.htmlLinux磁盘管理https://bbs.huaweicloud.com/forum/thread-0209109094248642002-1-1.html你该知道的集群小知识https://bbs.huaweicloud.com/forum/thread-02107109094994364001-1-1.html

行业IT数字化转型方兴未艾，区块链、虚拟化、容器、IoT等新技术的应用使得业务模式产生了巨大的变化，IT运维也随之迎来了更高的要求：运维规模更庞大、运维对象更丰富、运维要求也越来越高，以上种种都给传统运维方式带来巨大挑战：被动低效的运维难以保证业务连续性：传统运维多依赖专家的经验规则进行故障定位、根因分析和配置下发等管理任务的制定和执行，运维人员往往扮演着事后“救火”的角色；运维方式分散：运维的自动化程度较低，缺乏统一的运维监控体系和技术工具，效率低下；海量的运维数据的价值无法充分挖掘：传统运维系统收集了大量的运维数据，但是却缺乏有效的手段加以分析和利用。针对传统运维中存在的痛点，覆盖新技术、新场景和新应用的运维创新是面向未来的必然选择，而由大数据、人工智能、机器学习技术交叉而形成的智能运维（AIOps）行业逐渐成为一片新蓝海，吸引各地政府、企业开展广泛布局并积极探索行业应用，也推动了自动化运维工具的进一步发展。云上贵州大数据产业发展有限公司（以下简称：云上贵州）成立于2014年，致力于推动大数据电子信息产业发展。通过全方位的大数据基础设施、数据处理与存储、数据挖掘与交易、信息系统集成服务和专业的云平台及云应用等服务，为政府和企事业单位提供云计算、云储存、数据库、云安全及数据共享开放等服务，构建大数据产融生态体系。云上贵州在智能运维领域深耕多年，其自主研发的智能运维平台，通过本地或远程采控的方式实现对终端及云平台等新型设备资产的管理监控、运维团队的统筹管理、运维数据的采集沉淀与挖掘，为用户提供全流程智能化的IT运维服务，助力企业运维进入智能化时代。伴随着数据的爆炸性增长及技术快速的迭代升级，运维团队需要计算效率更快、数据处理效率及工程效率更高的自动化平台，从而更好地支撑端到端的运维保障服务，因此对运维平台的算力底座提出了更高挑战：1、高吞吐：运维服务热线、设备运行状态数据采集等大批量数据操作要求满足大并行计算且快速处理的要求。如某政务场景中涉及约10万台新型终端，除运维团队支撑外，预计每天有几百上千次用户咨询或服务请求。2、低延时：为提供工程师远程运维能力和用户服务体验，平台对数据和网络延时有很高要求，客服机器人回答问题时间从过去的3-4s缩短到1s。3、高可靠：云上贵州智能运维平台是构建统一运维服务体系的核心支撑，服务区域乃至贵州省运维工作的统筹管理，因此对可靠性要求极高。4、低功耗：运维服务体系将会是一个长期、高频、重度使用的业务体系，大规模的计算量将带来了能耗提升，为响应国家环保号召，需要低功耗硬件实现节能减排。鲲鹏天然的多核多并发的扩展运行能力，以及高性能、高算力、低功耗等优势，能够很好的满足云上贵州智能运维平台海量数据处理、低时延、高可靠及绿色计算等要求，同时还提供完善的鲲鹏DevKit开发套件以及专业服务，能够帮助用户快速完成应用的迁移、开发、编译和调优；此外，结合鲲鹏BoostKit还可在HTTPS访问以及应用安全性上实现进一步提升，助力智能运维平台的高效创新。基于上述考虑，云上贵州选择鲲鹏作为云上贵州智能运维平台的数字底座，通过软硬件相结合的方式，实现面向用户的智能化及全流程运维服务，提供涵盖云、网、端全面的运维保障服务。鲲鹏DevKit 1人天/应用快速迁移云上贵州智能运维平台项目初期，由于生态架构差异，开发人员需要将云上贵州智能运维平台快速迁移到鲲鹏平台并进行兼容适配，由于业务系统体量巨大、代码复杂，需要对3个业务子系统，10个功能模块进行迁移，平台依赖包含约600个，通过人工无法快速精准进行兼容性评估，编译效率太低。鲲鹏开发套件DevKit提供鲲鹏代码迁移工具，能够对工程文件进行扫描分析，自动识别待迁移代码并给出代码修改建议，在工具的帮助下共识别出可兼容替换jar包29个，同时还快速获取了兼容依赖库的下载地址，平均1人天/应用就完成了业务系统的迁移，极大缩短应用迁移的时长和提高迁移的有效性。基于鲲鹏DevKit高效开发ITSM管理模块，性能提升75%针对大体量客户的运维服务需求，迁移完成之后，云上贵州计划在鲲鹏服务器上开发ITSM（IT Service Manager）管理模块以实现更高的运行效率。ITSM系统是云上贵州智能运维平台核心业务层的重要模块，为工程师提供工单管理和流转的支持服务，确保技术支持服务能够有序可控且高质量的执行。在开发过程中，为进一步提升业务与鲲鹏平台的兼容性和稳定性，将之前的OpenJDK替换为鲲鹏DevKit提供的毕昇JDK，毕昇JDK在鲲鹏架构中为云上贵州智能运维平台提供了更好的兼容性和稳定性，编译性能较之前使用的OpenJDK8有了大幅提升。此外，针对系统出现的性能瓶颈，技术人员使用鲲鹏DevKit性能分析工具对应用进行性能调优和系统诊断，从而帮助技术人员更加快速找到热点问题和定位性能瓶颈：针对客服模块工单处理场景进行性能优化时，通过鲲鹏DevKit系统性能分析功能发现Docker和Nginx等服务进程上存在热点的问题，在工具的帮助下调整了Docker-Compose中物理资源分配策略，调整了Nginx中worker_processes、proxy、multi_accept等参数，从而优化了数据的并发特性；同时，鲲鹏DevKit调优助手可以快速分析出系统资源消耗链条，引导技术人员分析性能瓶颈，在工具的引导下发现php-fmp（PHP FastCGI 进程管理器）存在性能瓶颈，结合工具的修改建议，对pm、pm.start_servers、pm.max_children等参数项进行优化，大大减少了系统中断频率和服务响应时间，使得工单处理等业务响应时间由375ms缩短到了220ms，提升了设备处理能力。通过鲲鹏DevKit进行编译优化及性能调优之后，云上贵州智能运维平台的整体性能都得到了提升：在操作工单的业务场景中，8w数据规模下单次业务响应时间由375ms缩短到220ms，性能提升41%；200并发同时处理工单的场景中，吞吐量由每秒114.7次提升到了202.7次，业务性能提升可达75%。此外，一键帮助等业务的综合性能也得到较为明显的提升。在进行云上贵州智能运维平台的鲲鹏原生开发过程中，通过鲲鹏DevKit提升了应用开发和迁移效率，有效提升了加解密算法的处理速度，使得整个运维保障服务进一步实现降本增效的目标，让政府及企业的运维统筹工作更加便捷和高效。目前云上贵州智能运维平台已正式上线，面向贵州全省提供服务保障工作，已经成功支撑贵州省多项重要民生服务。该方案也在鲲鹏应用创新大赛2022贵州赛区数字政府赛道获得了金奖荣誉。这不仅验证了该平台与鲲鹏结合后高性能、高可靠的优势，也标志着云上贵州产品在鲲鹏计算应用创新、产业融合、市场应用方面达到领先水平。作为鲲鹏计算产业生态重要伙伴，云上贵州已与鲲鹏生态创新中心建立长期合作关系。未来，鲲鹏将持续通过最新的技术使能伙伴联合创新，打造更具竞争力的行业解决方案，支撑数字贵州建设，促进千行百业数字化转型。鲲鹏原生开发是指使用鲲鹏DevKit的原生开发能力，如鲲鹏开发框架（含场景化SDK）、编译调试工具、云测服务、调优&诊断工具等，在鲲鹏平台上开发新软件/新功能，充分发挥鲲鹏架构优势，从而获得开发效率/运行性能提升。鲲鹏DevKit将持续增强开发体验、优化工具能力，提升鲲鹏开发效率，助力千行百业数字化转型。转自华为计算公众号

判断题• 与云数据库相比，自建的MySQL数据库拥有更多的运维成本和运维工作量（True）• 在RDS的备份策略中，可以设置备份时间段为2:30-3:30（False）• DAS是一个可视化的数据库管理工具，可以支持ECS自建库实例的数据库管理（True）• 数据库管理服务DAS支持华为云跨Region访问（False）• 当主机发生故障时，系统无法自动将迁移实例或者同步实例切换到备机继续执行任务（False）• 创建好MySQL云数据库后可以更换成PostgreSQL云数据库（False）• 创建RDS备份一定会收取额外的费用（false）单选题• 以下哪项不是云数据库带来的经济效益（使用免费）• 以下哪项是使用mysqldump迁移工具的优点（设置完成后传输无人值守，自动完成）• 在传统的数据库迁移方案中，由于变动表结构而迁移数据库，以下哪种方法适用于该场景（数据库直接导出，拷贝文件到新服务器，在新服务器上导入）• 以下哪个备份工具支持增量备份（Navicat）• 以下哪个RDS的参数是指系统的字符集（character_set_server）• 以下哪条命令是用来删除数据库的（drop database XXX）• 以下哪项不是传统自建数据库的缺点（需要对业务数据进行查询）• 关于DRS的在线同步特性，以下哪项不正确的是（支持MySQL与MangoDB的在线同步）• CDM创建成功后，以下哪项集群配置是无法修改的（更改集群规格）• 以下哪项不是DRS的特点（无需手动导入导出数据）• 以下哪个不属于DRS预检查失败的修复方法（对数据正确性进行检查）• 以下哪条命令可以用来登录MySQL数据库（mysql -u root -p）• 关于传统主从结构数据库迁移步骤，以下选项正确的是（搭建主从关系–>使用mysql导出源数据库数据–>使用rsync传输到目标库–>导入数据到目标库）• 以下哪项服务可以创建Redis数据库实例（DCS）• 关于创建DRS迁移任务的步骤，以下哪项是正确的（创建迁移任务–>配置源库及目标库信息–>设定迁移用户及对象–>进行预检查）• 以下哪项服务实现了MySQL分库分表及读写分离的业务功能？(DDM)• 在进行CDM整库迁移的作业配置时，以下哪项不是目的端作业配置自动创表的选项？（自动创建）多选题• 可以用哪些方式在linux上安装MySQL数据库服务器（下载rpm安装集合包，解压后进行安装；下载yum源，使用yum命令在线安装）• 以下哪些操作可以在DAS中执行（导入sql文件；用select命令查询数据；导出表结构）• RDS MySQL提供下面哪些级别的高可用服务（同AZ；跨AZ）• 在DRS迁移中，若目标库为RDS，以下哪些目标库信息是必填的（数据库用户名；数据库密码）• 以下哪些是云数据迁移CDM所支持的数据源（OBS；Elasticsearch；DWS；MRS HDFS）• 可以对已创建好的RDS MySQL数据库实例做哪些操作（创建备份；创建只读；创建灾备；购买相同配置）• 在MySQL数据库迁移中，以下哪些服务或产品要收取费用（RDS；DRS；CDM）• 以下哪些情况会考虑使用ECS自建MySQL数据库（使用super权限，完全控制数据库的访问和管理；对服务器自行进行备份，复制和集群的管理）• 在创建DRS迁移任务中，可以选择哪些迁移模式（全量；全量+增量）• 对OBS桶的数据库文件进行备份迁移时，以下操作正确的是？（OBS桶所在区域必须跟实例所在区域相同；支持低版本的数据库备份文件在高版本实例数据库上进行还原；待还原数据库名称，必须跟备份文件中数据库名称一致）• DAS可以对以下哪些数据库进行管理（ECS自建的MySQL数据库；RDS云数据库；DDS云数据库）• 以下哪些是文档数据库服务DDS的部署架构？（目前支持分片集群（Sharding）、副本集（ReplicaSet）和单节点（Single）三种部署架构。）• 在DRS出云迁移下，RDS MySQL源库的实例类型可以是（单机实例；主备实例；只读实例）• 以下哪些操作在RDS备份策略中可以进行修改（关闭自动备份；设置备份保留天数；设置备份的周期）• 在DRS迁移中设置源库信息时，以下哪些可能是测试连接失败的原因（数据库账号不允许远程连接；密码输入错误）• 以下哪些是华为云支持的关系型数据库引擎？（MySQL、Oracle、PostgreSQL、Microsoft SQL Server）• 创建DRS备份迁移任务时，备份文件有以下哪些来源？（OBS桶中的数据库备份文件、RDS全量备份）• 以下哪些是华为云提供的redis实例类型？（单机、主备、proxy集群、cluster集群）1. （是非题）与云数据库相比，自建的MySQL数据库拥有更多的运维成本和运维工作量。true 正确false2. （单选题）以下哪项不是传统自建数据库的缺点？需要购买软硬件设备需要对业务数据进行查询 正确需要自建主从需要对数据库设备进行维护3. （单选题）以下哪种迁移场景选择CDM最为合适？实现MySQL数据库实时同步迁移实现关系型数据库关键业务迁移上云实现hadoop大数据迁移至云数据仓库 正确实现sql数据文件的快速迁移至RDS4. （多选题）DRS支持哪些网络下的数据库迁移？VPC网络VPN网络公网网络专线网络5. （多选题）对OBS桶的数据库文件进行备份迁移时，以下操作正确的是？OBS桶所在区域必须跟实例所在区域相同目标数据库的可用磁盘空间可以小于待还原数据库总数据量的大小支持低版本的数据库备份文件在高版本实例数据库上进行还原待还原数据库名称，必须跟备份文件中数据库名称一致

华为云数据库迁移的技术原理华为云DRS在线迁移场景1. VPC网络内的数据库在线迁移• 客户ECS自己数据库迁移至RDS/DDS• RDS之间的数据迁移• RDS之间的数据同步2. 通过公网的数据库在线迁移• 其他云数据库迁移至华为RDS/DDS• 用户本地数据库迁移至RDS/DDS3. 通过VPN做在线迁移• 本地数据中心数据库迁移至RDS/DDS• 混合云间的数据同步4. 容灾• RDS/DDS作为用户本地数据库的灾备传统主从结构的的数据库迁移• 搭建主从关系• mysqldump导出数据• 收集指定库需要的账号以及权限• 使用rsync传输到目标库• 导入数据到目标库，数据同步到目标从库• 上述完成后，迁移源库业务到目标库，观察业务状态• 如果业务没有问题，证明迁移成功内网下自建MySQL数据库的迁移• 准备RDS主备数据库• 测试源数据库和目标端华为云云数据库MySQL实例之间的网络是否互通• 收集账号与权限• 使用DRS选择业务低峰期开始正式的数据库迁移数据库迁移的华为云实践MySQL数据库迁移上云实践1. DAS数据库管理：通过数据导入目标数据表对数据进行备份或迁移2. DRS数据复制：云数据库迁移的主要解决方案3. CDM云数据迁移：使用CDM整库迁移功能，迁移数据库DRS引导式迁移流程进入数据复制服务控制台创建迁移任务,选择迁移模式配置源库及目标库信息设定迁移用户及对象预检查及参数对比任务确认及查看迁移任务状态DRS多种迁移模式• 选择数据流动方向：入云，出云• 选择网络类型：公网网络、VPC网络• 选择目标库读写设置：只读、读写• 选择迁移模式：业务可中断，选择全量迁移；业务中断最小化，选择全量+增量迁移DRS识别迁移条件预检查可以提前识别迁移是否满足成功条件提供：• 失败原因• 失败详情• 处理建议用户可以根据失败信息和处理建议的指导，调整环境，以确保迁移成功DRS实时状态监控剩余时间评估：持续的评估，辅助用户从容做好迁移计划同步时延：宏观把握数据同步的实时性DRS迁移对比1. 对象级对比宏观对比对象是否缺失：数据库、表、视图、存储过程、触发过程、触发器等2. 数据级对比详细校对数据，不同细度：行数对比，内容对比迁移对比与业务割接1. 对象检查• 全量迁移阶段结束后，使用对象级别对比功能，校验数据库对象是否缺失。2. 全面检查• 确认迁移对象无缺失后，选择一个业务低峰期，使用数据级对比功能，进行一次或者多次数据级对比，对源数据库和目标数据库整体数据差异具有一个宏观的结论。3. 割接复查• 在割接阶段，停止源业务写入几分钟，使用数据级对比功能，进行一次指定表的数据级对比，推荐的表特征为：活跃表，关键业务表，对比多次存在差异的表4. 结束任务• 在割接阶段停止原业务写入，确认数据无丢失后，结束在线迁移任务，割接与切换新业务至新数据库。CDM整库迁移实践MySQL整体迁移到RDS进入CDM服务控制台创建CDM集群可绑定EIP创建MySQL连接创建RDS连接创建整库迁移作业任务确认及查看迁移任务状态CDM数据库迁移的通用限制1. CDM以批量迁移为主，仅支持有限的数据库增量迁移，不支持数据库实时增量迁移，推荐使用数据复制服务（DRS）来实现数据库增量迁移到RDS。2. CDM支持的数据库整库迁移，仅支持数据表迁移，不支持存储过程、触发器、函数、视图等数据库对象迁移。其中视图会被当做表进行迁移。3. CDM仅适用于一次性将数据库迁移到云上的场景，包括同构数据库迁移和异构数据库迁移，不适合数据同步场景，比如容灾、实时同步。自测题• 与云数据库相比，自建的MySQL数据库拥有更多的运维成本和运维工作量。（对）• 以下哪项不是传统自建数据库的缺点？（需要对业务数据进行查询）• 以下哪种迁移场景选择CDM最为合适？（实现hadoop大数据迁移至云数据仓库）• DRS支持哪些网络下的数据库迁移？（VPC网络、VPN网络、公网网络、专线网络）• 对OBS桶的数据库文件进行备份迁移时，以下操作正确的是？（OBS桶所在区域必须跟实例所在区域相同；支持低版本的数据库备份文件在高版本实例数据库上进行还原；待还原数据库名称，必须跟备份文件中数据库名称一致）MySQL本地数据库迁移实验细节1. 准备环境1.1 预置环境点击上方的红色按钮——预置实验环境1.2 登录华为云2. 数据库迁移2.1 创建云数据库RDS实例服务列表数据库云数据库RDS购买数据库实例1. 计费方式：按需计费2. 区域：华北-北京四3. 实例名称：默认4. 选择数据库版本：MySQL5.75. 实例类型：单机6. 储存类型：SSD云盘7. 可用区：可用区二8. 时区：UTC+08:009. 性能规格：通用型，配置为2核4G10. 虚拟私有云：vpc-rds-mysql11. 端口：330612. 密码：Seetraum123@2.2 数据库测试程序2.2.1 数据库测试程序控制台服务列表计算弹性云服务器ECS1. 打开桌面的“Xfce”终端，输入命令ssh root@ECS公网IP2. 输入yes3. 输入密码Huawei@123，输入的密码不会显示4. 使用MySQL命令 mysql -u root -h ECS私网IP -p -e “create database loadtest”5. 输入密码Huawei@123，输入的密码不会显示6. 使用命令 sysbench --test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --db-driver=mysql --mysql-db=loadtest --mysql-user=root --mysql-password=Huawei@123 --mysql-port=3306 --mysql-host=ECS私网IP --oltp-tables-count=10 --oltp-table-size=10000 --num-threads=20 prepare7. 使用命令 sysbench --test=/usr/share/sysbench/tests/include/oltp_legacy/insert.lua --db-driver=mysql --mysql-db=loadtest --mysql-user=root --mysql-password=Huawei@123 --mysql-port=3306 --mysql-host=ECS私网IP --oltp-tables-count=10 --oltp-table-size=1000 --max-time=3600 --max-requests=0 --num-threads=10 --report-interval=3 --rate=20 --forced-shutdown=1 run2.2.2 查看CPU、IP情况1. 新打开一个命令行窗口2. 输入命令 ssh root@ECS公网IP3. 输入密码 Huawei@1234. 使用命令 top5. 使用Ctrl+C 退出top命令6. 使用iostat -d vda vdb -m 1 107. 使用Ctrl+C 退出命令2.3 创建迁移命令服务列表数据库数据复制服务DRS创建迁移任务创建迁移任务1. 区域：华北-北京四2. 任务名称：默认3. 任务异常自动结束时间（天）：144. 数据流动方向：入云5. 源数据库引擎：MySQL6. 目标数据库引擎：MySQL7. 网络类型： 公网网络(下面那个我同意点上)8. 目标数据库实例：选择我们创建的RDS9. 目标库读写设置：读写10. 迁移模式：“全量+增量”2.4 源库及目标库信息源库信息：1. IP地址或域名：123.60.212.1652. 端口：33063. 数据库用户名：root4. 数据库密码：Huawei@1235. SSL安全连接：关闭6. 等待实例创建成功后，点击下方的测试连接目标库信息：1. 数据库实例名称：默认2. 数据库用户名：root3. 数据库密码：Seetraum1234. 所有Definer迁移到该用下：是5. 点击测试连接2.5 设定迁移1. 确认所有备注2. 迁移对象：全部迁移3. 弹出提示：忽略，继续下一步2.6 预检查全部检查通过后，单击下一步2.6.1 参数检查如果 max_connections检查不一致，可直接忽略，进行下一步。2.7 任务确认1. 启动时间：立即启动2. 单击启动任务3. 确认协议4. 启动任务2.8 任务管理2.8.1 全量迁移2.8.2 增量迁移2.8.3 迁移对比数据级对比：1. 行数对比，立即启动勾选loadtest下某个数据，点击蓝色的“>>”选入右侧，再点击页面中的“是”创建对比任务。2. 内容对比，DRS侧计算，立即启动勾选loadtest下某个数据，点击蓝色的“>>”选入右侧，再点击页面中的“是”创建对比任务。2.8.4 增量迁移CPU、IO资源使用情况同步骤2.13. 业务割接3.1 中断业务3.2 割接业务1. 在终端窗口使用命令 sysbench --test=/usr/share/sysbench/tests/include/oltp_legacy/insert.lua --db-driver=mysql --mysql-db=loadtest --mysql-user=root --mysql-password=Seetraum123@ --mysql-port=3306 --mysql-host=RDSIP地址 --oltp-tables-count=10 --oltp-table-size=1000 --max-time=3600 --max-requests=0 --num-threads=20 --report-interval=4 --rate=20 --forced-shutdown=1 run3.3 结束实验1. Ctrl + C结束上述命令服务列表数据库数据复制服务DRS结束确定

前言华为云提供了以华为云数据库RDS为基础结合DAS、DRS、CDM服务实现数据库轻松迁移上云的解决方案。目标• 了解云上数据库的优势与价值• 区分不同数据库迁移的方法与特点• 描述RDS和CDM的迁移流程与技术原理• 区分DRS和CDM的适用场景数据库上云的背景与优势传统数据库面临的难题• 高投入• 周期长• 难运维• 不灵活云上数据库带来的经济效益1. 即开即用• 实时生产目标实例• 响应时间快，公网费用低• 无需额外支出license费用2. 弹性伸缩• 根据业务情况弹性伸缩资源• 按需开支• 灵活调整实例规格3. 运维便捷• 实例状态信息实时监控• 专业的数据库管理平台• 一键式扩容4. 完全兼容• 兼容原生数据库引擎• 兼容现有的程序和工具• 方便迁移数据库云数据库与传统数据库对比性能项目云数据库RDS自购数据库搭建数据库服务服务可用性8C|32G性能最高达23000QPS。需要购买额外设备，自建主从，自建RAID。数据可靠性超高IO单盘最大IOPS33000，数据持久性达99.9999999%。需要购买额外设备，自建主从，自建RAID。系统安全性防DDoS攻击，流量清洗；及时修复各种数据库安全漏洞。需要购买昂贵的硬件设备和软件服务，需要自行检测和修复安全漏洞等。数据库备份支持自动备份，手动备份，自定义备份，选择备份周期、修改备份策略。需要购买设备，并自行搭建设置和后期维护。软硬件投入无需投入软硬件成本，按需购买，弹性伸缩。数据库服务器成本相对较高，对于SQL Server需支付许可证费用。系统托管无需托管。需要自购2U服务器设备，如需实现主从，需要购买两台服务器，并进行自建。维护成本无需运维。需要投入大量人力成本，招聘专业的DBA进行维护。部署扩容弹性扩容，快速升级，按需开通。需采购和原设备匹配的硬件，需托管机房的配合，需部署设备，整体周期较长。资源利用率按实际结算，100%利用率。考虑峰值，资源利用率低个人总结 云数据库省事，花钱少，性能高；自购服务器搭建麻烦，花钱多，性能差。云数据库是高速增长的百亿级市场数据库上云是必然趋势• 成本驱动• 技术趋势• 业务诉求选择迁移目标1. ECS自建数据库2. 云数据库数据库解决方案对比自建数据库数据库on云服务器云数据库自购并安装服务器、系统、数据库等软硬件自购并安装数据库软件无需购买和安装任何软硬件昂贵的机房托管费用云服务器租用费用只需支付服务费用昂贵的DBA成本昂贵的DBA成本减少DBA投入和成本应用优化用户用户用户数据库弹性伸缩用户用户云服务提供商数据库高可用用户用户云服务提供商数据备份与恢复用户用户云服务提供商数据库软件版本升级或打补丁用户用户云服务提供商数据库软件安装用户用户云服务提供商操作系统版本升级或打补丁用户云服务提供商云服务提供商操作系统安装用户云服务提供商云服务提供商服务器部署及维护用户云服务提供商云服务提供商机架堆叠用户云服务提供商云服务提供商机房、电力、空调、网络等基础设施用户云服务提供商云服务提供商首先考虑云数据库以下情况不考虑云数据库• 要求超出了云数据库限制或需要云数据库无法支持的功能，则考虑ECS数据库服务器• 为了完全控制操作系统及软件的访问和管理，则考虑ECS数据库服务器• ECS数据库服务器需要自行管理备份、复制和集群的问题华为云数据库服务SQL数据库——面向传统OLTP数据库业务关系型数据库服务RDS• MySQL• PostgreSQL• SQL ServerNoSQL数据库——面向海量扩展业务文档型数据库服务DDS• MongoDB分布式缓存服务DCS• Redis• Memcached数据库生态——构建完整的数据库解决方案• 分布式数据库中间件DDM• 数据库安全服务DBSS• 数据复制服务DRS• 数据管理服务DAS关系型数据库RDSRelational Database Service（关系型数据库服务，RDS）华为云关系型数据库RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。RDS MySQL的优势MySQL是一个真正的多用户、多线程SQL数据库服务器，是全球最受欢迎的开源关系型数据库，良好的跨平台能力，支持大部分主流操作系统平台上运行。1. 高可用• 支持AZ内/跨AZ高可用主备架构2. 安全防护• 支持VPC、子网、安全组、SSL连接、审计日记，确保数据安全性3. 备份恢复• 最高达35天的系统自动备份，PITR任意时间点恢复，支持手动创建快照，轻松应对灾难恢复4. 轻松扩容• 最多支持5个只读副本，扩展读负载• 一键CPU&内存/扩容• 在线磁盘扩容5. 数据迁移• 支持数据迁移让业务轻松上云6. 高性能• 全面支持MySQL5.7• 推出兼容MySQL5.6的优化版• 性能大幅提升，解决复制延迟问题数据管理服务DASData Admin Service（数据管理服务，DAS）是一款专业的简化数据库管理工具，提供良好的可视化操作界面，大幅提高工作效率，让数据管理变得安全、简单。• 支持关系型数据库实例的管理• 支持ECS自建库实例的数据管理数据库迁移的解决方案传统数据库迁移原因1. 磁盘空间不够• 一些老项目，选用的机型并不一定适用于数据库，随着时间的推移，磁盘很有可能出现短缺。2. 业务出现瓶颈• 项目中采用单机承担现有的读写业务，业务压力增大，不堪重负。如果IO压力在可接受的范围，会采用读写分离方案。3. 设备性能瓶颈• 设备性能瓶颈主要在磁盘IO能力、内存、CPU，此时除了针对瓶颈做一些优化外，选择迁移是不错的方案。4. 项目改造• 数据库跨机房，增加节点或者不同业务共用一台服务器，为了缓解服务器压力以及方便维护，也会做迁移。传统MySQL数据库迁移方案概览MySQL迁移主要技术是围绕数据做工作，所以就是在保证业务平稳持续地运行的前提下做备份恢复。问题就是如何快速安全地进行备份恢复。1. 备份• 备份前提：考虑数据量大小，源库业务可停机时长，主从关系、读写分离顺序• 备份策略：全量备份、增量备份• 备份方法：物理备份或使用迁移工具2. 传输• 网络因素：网络耗时、断点续传• 传输方式：直接拷贝、使用工具• 传输距离：rsync适用于本地异构设备传输和文件同步；异地使用硬盘快递3. 恢复• 恢复条件：数据量大小和备库业务可停机时长• 恢复方式： 直接导入或使用工具• 恢复检验：数据一致性、主从一致性、业务读写正常传统数据库迁移方案比较迁移方法优点缺点适用场景数据库直接导出，拷贝文件到新服务器，在新服务器上导入1. 会重建数据文件，减少数据文件的占用空间 2. 兼容性最好 3. 导出导入很少发生问题，需求灵活使用传统导出导入时间占用长适用于业务瓶颈或项目改造等需要变动数据表结构的迁移使用第三方迁移工具：mysqldump、mysqlpump、Xtrabackup等1. 设置完成后传输无人值守，自动完成 2. 兼容性强，跨版本1.不能导入数据量大的数据库 2. 不够灵活，设置繁琐 3. 传输时间长，异常后很难从异常的位置继续传输适用于业务可停机时间较长的数据库的导入与导出数据文件和库表结构文件直接拷贝到新服务器，挂载到同样配置的MySQL服务下1. 时间占用短，文件可断点传输，操作步骤少 2. 备份和恢复速度相对较快可移植性差，不同版本和操作系统之间不兼容适用于数据量大，业务可停机时间长的数据库的迁移华为云数据复制DRSData Replication Service（数据复制服务，DRS）是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。DRS围绕云数据库，降低了数据库之间数据流通的复杂性，有效地帮助您减少数据传输的成本华为云DRS适用场景• DB在线迁移：业务不中断或者中断时间非常短• DB实时同步：基于数据库日志处理的技术。不同于批量同步，批量同步是非实时的，在某些时间点是同步的，大部分时间点是非同步的什么时候用DRS？• 业务可中断时间非常短• 数据库数据量非常大• 需要一个简单、省心的迁移服务云数据迁移CDMCloud Data Migration(云数据迁移，CDM)提供同构/异构数据源之间批量数据迁移服务，帮助实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL,大数据云服务，对象存储等数据源。CDM应用场景• 本地数据迁移上云• 云上数据迁移到本地• 云上服务之间的数据迁移DRS与CDM的定位区别与关系DRS：用于数据库在线迁移和数据库实时同步的云服务。CDM：提供同构/异构数据源之间批量数据迁移服务，帮助实现数据自由流动。困惑点：CDM对标的是数据集成服务，一般是做数据导入数据仓库的场景，也可以用于一小部分的迁移场景区别点：• 是否在意业务中断时间？数据量是否大于100GB？迁移是否要简单，易用？• YES——DRS• NO——DRS/CDM

近日，广电运通金融电子股份有限公司运通数据安全中心软件获鲲鹏Validated认证。广电运通联合广州“鲲鹏+昇腾”生态创新中心对运通数据安全中心解决方案进行深度全栈优化，使其分级分类数据处理性能提升20%以上，能够更有效的促进金融、政务等行业打造高性能的数据分析与分级分类安全应用。鲲鹏 Validated 认证是应用软件基于鲲鹏全栈方案完成全栈移植、调优，并实现性能提升验证要求的技术认证。获得该认证，意味着应用软件在对应场景中，对比业界主流方案有显著的性能提升。此次通过鲲鹏Validated认证的运通数据安全中心，提供全功能的数据分级分类扫描、特征项匹配与数据资产安全的能力，并支持微服务扩展开发，可以帮助客户安全有效的分析与管理数据。运通数据安全中心业务场景具有数据处理量大，算力要求高等需求，为解决这一难题，运通数据安全中心使用鲲鹏应用使能套件鲲鹏BoostKit对平台进行全栈调优，提升其在数据资产扫描耗时、平均响应时间、吞吐量、并发量业务场景中的性能表现，为金融、政务等行业的数据安全提供更好的性能服务。（注：扫描耗时、平均响应时间越低，性能越高）广电运通联合广州“鲲鹏+昇腾”生态创新中心，开展运通数据安全中心适配及优化工作，采用鲲鹏硬件产品、统信服务器操作系统V20（openEuler版）、毕昇JDK、MySQL并行查询优化、MySQL无锁优化、MySQL细粒度锁优化、MySQL线程池优化等全栈优化技术，实现运通数据安全中心联合解决方案的全栈优化，因其极致性能、平滑迁移、丰富场景、快速部署的特性，使得数据安全中心获得了显著的性能提升，更好的帮助用户管理数据安全。广电运通是鲲鹏计算产业生态重要伙伴，已与广州“鲲鹏+昇腾”生态创新中心建立长期合作关系，广电运通与鲲鹏致力打造高性能数据安全应用-运通数据安全中心，致力于让数据的共享与开放更加安全，携手为行业客户提供更强竞争力的服务。鲲鹏将继续坚持开放创新，扎根产业生态构建，加速产业创新发展。拥抱鲲鹏计算产业，共创行业新价值！关于广电运通广电运通创立于1999年，隶属于广州无线电集团，是国有控股的高科技上市企业。公司是领先的人工智能行业应用企业，拥有自主研发的核心技术，集研发、生产、销售、服务于一体，主营业务覆盖智能金融、公共安全、智能交通、数字政府、大文旅、新零售及智慧教育等领域，为全球客户提供具有竞争力的智能终端、运营服务及大数据解决方案。转自华为计算公众号

近日，青岛海信网络科技股份有限公司（以下简称“海信网络科技”）的海信智慧校园解决方案获得鲲鹏Validated认证。海信网络科技联合济南鲲鹏生态创新中心基于银河麒麟高级服务器操作系统 V10 （openEuler版）、鲲鹏应用使能套件BoostKit、毕昇JDK对海信园智慧校解决方案进行全栈调优和性能优化，从兼容性、稳定性、安全、功耗、业务功能、基础性能和业务性能七个维度进行了Validated联合测试，在putt接口测试和pos接口测试场景下，平均性能提升60%，同时实现海信智慧校园在鲲鹏底座中更稳定、更安全、更高效运行。此次通过鲲鹏Validated认证的海信智慧校园方案是以“场景物联感知+AI赋能创新”为核心，面向高等院校、职业院校，基于校园云脑打造“高效、智学、平安、绿色”的特色标签，实现校园信息化建设、教育教学、校园安全、校园用能4个转变，助力学校治理体系和治理能力现代化。1、高效：针对校园数据标准不统一、海量数据挖掘不足等突出问题，基于海信国内领先大数据和 AI 技术打造校园云脑，建立2类原始库、16个主题库和4个专题库，构筑校园数据底座。2、智学：面向老师、学生及教学管理者，建设智慧教学平台，围绕课前、课中、课后、督导等教学全过程提供7种服务和工具，助力提升教、学、管能力。构建4类智慧教室，实现教学环境自动化准备，6类物联设备一键管控，让老师简单用、愿意用。3、平安：针对校园面积大，人多、车多、安全隐患多，通过建设四级安防管理体系，主动防控安全风险，实现校园安全整体管控、一图揽全局。4、绿色：围绕后勤管理，针对能源管控难、能耗高等问题，做到精细管理，降低用电能耗。通过补充绿色电力，用能端节能优化，助力打造绿色校园。联合方案特性实践1方案特性智慧讲台是智慧校园整体解决方案中教室物联设备的控制核心，是教师课堂教学的实体工作台。该产品为教师提供一体化的教学设施集中控制能力，为教师提供课堂管理、课堂互动、过程性评价和直播及录课工具。2MySQL线程池优化对于大量连接的OLTP短查询的场景将有最大收益。对于大量连接的只读短查询也有明显收益。对于有较多长查询连接的场景，可配置线程池为小线程组数模式，避免长查询导致线程池性能下降问题。3Bisheng JDK 性能优化快速序列化——提升原生序列化性能提升 java 应用启动速度堆内存伸缩——及时释放空闲堆内存KAE Provider——支持鲲鹏硬加速/提升加解密速度。青岛海信网络科技股份有限公司海信智慧校园解决方案结合TaiShan服务器、鲲鹏处理器、银河麒麟高级服务器操作系统 V10（openEuler版），利用鲲鹏处理器多核数设计，大幅提升处理效率。通过使用鲲鹏DevKit调优工具、毕昇JDK、鲲鹏应用使能套件BoostKit对业务平台全栈调优，NUMA优化、磁盘IO优化、MySQL线程池特性大幅提升了系统性能。海信网络科技是鲲鹏计算产业生态重要合作伙伴，已跟济南鲲鹏生态创新中心、青岛昇腾人工智能生态创新中心建立长期合作关系。海信网络将持续基于鲲鹏软硬件为智慧城市、智慧交通、智慧校园、公共安全行业提供解决方案，以及核心技术和产品的研究、开发和服务。公司目前已加入鲲鹏展翅伙伴计划，未来海信网络将继续跟随鲲鹏的开放创新，扎根产业生态构建，深化合作，持续优化产品和解决方案，提升自身竞争力，加速产业发展。拥抱鲲鹏计算产业，共创行业新价值！关于青岛海信网络科技股份有限公司青岛海信网络科技股份有限公司成立于1998年10月，是海信集团发展战略中信息板块的核心力量。公司坚定以客户为中心，坚持“敬人为先、创新为魂、质量为本”的发展理念，以产品和解决方案为核心，以带给客户价值为推动力，实现海信与客户的双赢。公司拥有行业内规模最大、专业分工最全、技术实力最强的研发队伍。拥有博士6人，硕士604人，本科以上学历人员所占比例达到95.8%，建有博士后科研工作站、院士工作站。2014 年，科技部批准了依托海信网络科技公司组建国家城市道路交通装备智能化工程技术研究中心，成为唯一一家在智能交通领域依托企业建立的国家级工程技术中心。建立了行业内一流的智能交通系统综合实验室、交通设备电磁与环境综合实验室，数字物理混合仿真试验场。公司主持和参与24项交通领域国家、行业标准的制定。承担国家863计划、国家高技术产业化项目、国家科技支撑计划等30余项。多次荣获国家技术发明奖二等奖、中国电子学会、山东省、青岛市技术发明和科技进步一等奖，公司承建的多个项目荣获国际交通领域大奖。转自华为计算公众号

政府和企业在撰写数据报告时，常面临报告编写工作量大、撰写耗时长、数据指标计算分析繁杂、易于出错等问题，迫切需要一个能够实现各种复杂报告的一键生成、自动推送的“神器”，让工作人员从冗长复杂的报表填坑工作中解放出来。随着大数据和人工智能技术的逐渐成熟，一键式报告生成平台应运而生，通过对业务数据的自动化分析计算，构建出数据指标与文本生成规则，灵活生成各类数据分析报告，全面提升政府和企业工作效率，实现高效科学决策。江苏鸿程大数据技术与应用研究院（以下简称：鸿程大数据）成立于2019年1月，是依托南京大学软件新技术国家重点实验室、国家高新技术企业，致力于大数据及人工智能等领域的科技创新，深耕全链路大数据，人工智能自动化建模等技术，服务于政府、金融、互联网等国计民生行业。鸿程大数据自主研发的一键式自动化数据报告生成平台，通过大数据分析、智能文本引擎，“一键式”解决数据的“查询—分析—结论”问题，有效提高编写报告的效率和数据分析深度，助力用户快速决策。该平台可提供数据报告自动生成、规则引擎灵活定义、数据多维查询展示、多源整合数据接入、智能归因分析推荐等多种配置，能快速响应业务需求，解决数据量大、来源多、种类复杂、难融合等问题，适用政府企业等多行业场景需求。如今，各种应用数据呈海量、高速增长的态势，数据类型越发繁多，报告生成平台的部署日益复杂，且考虑到安全风险系数递增等因素，承载一键式自动化数据分析报告生成平台的底层基础设施也面临更多挑战：1高可用：报告的生成需要实时将查询数据提供给分析引擎，平台运转的连续性是其重要保障，因此对性能要求很高；2低时延：高并发访问场景下需要实现对https高并发请求实时响应，保障https请求在毫秒级完成。鲲鹏天然的多核多并发、高安全等优势，能够很好的满足一键报告生成平台海量数据处理、低时延、高可靠等要求，并提供完善的鲲鹏DevKit开发套件以及专业服务，能够帮助用户快速完成应用的迁移、开发、编译和调优；基于以上考虑，鸿程大数据选择鲲鹏作为一键式自动化数据分析报告生成平台的数字底座，以满足海量数据的融合与计算，为用户提供更加高效便捷的数据采集与管理。基于鲲鹏代码迁移工具 1人天/应用快速迁移一键式自动化数据分析报告生成平台项目初期，技术人员需要将一键报告生成平台快速迁移到鲲鹏，该应用涉及代码10万+行，且需要依赖大数据底座，涉及底层基础运行时（runtime）、基础开发库数十个，引入开源依赖Jar包20+个，经分析，人工编译这些依赖包并验证依赖包相关联的各组件约需要10人/天才能完成，人力投入成本较大。而利用鲲鹏DevKit提供的代码迁移工具针对20+个开源Jar包进行依赖扫描，代码修改建议一键替换，平均1人天/应用完成原有业务迁移。基于鲲鹏开发框架快速开发基于KAE加解密引擎的https访问功能，页面访问时延减少约30%在迁移完成之后，为了进一步防止信息泄露，保障用户数据安全，鸿程大数据选择在鲲鹏平台上开发基于OpenSSL加解密的https访问功能。由于原有X86平台的开发经验和兼容生态并不能直接复制到鲲鹏平台之上，开发人员在应用开发过程中也遇到了多重挑战：不熟悉鲲鹏平台的编译选项和函数，不清楚如何在编程过程中充分发挥架构优势，提高开发效率，增强软件性能；手动查找鲲鹏依赖文件兼容版本效率低，无法快速获取鲲鹏兼容生态基于上述挑战，鸿程大数据开发人员在新功能的开发过程中，使用了鲲鹏DevKit提供的鲲鹏开发框架，在工具的帮助下快速创建应用工程，并一键引入鲲鹏加速库-KAE加解密模块，使能鲲鹏处理器的加解密加速引擎，系统对外服务的平均页面响应时延由92毫秒降低为69.3毫秒，系统响应时延性能提升30%。https访问功能需要在保障数据安全性的同时，尽可能降低时间上的损耗，以满足应用页面高效响应的需求，因此该功能对性能要求极高。开发人员在新功能的开发过程中，还使用了鲲鹏DevKit提供的性能分析工具，对系统占用CPU、内存、网络、IO等指标进行分析和调优。技术人员使用系统性能分析功能发现应用系统进行数据分析时，对应进程会在多个CPU核上来回切换，导致CPU核会跨NUMA节点访问内存产生性能损耗。针对此问题，开发人员根据工具的优化建议改进程序，将进程与物理核进行绑定，避免CPU核跨NUMA节点带来性能损失。优化后MySQL数据库的tpmC提升22%，并行任务执行不会产生性能瓶颈。经过上述几项性能提升，使得一键式自动化数据分析报告生成平台整体数据处理能力提升约22%，页面响应时间减少30%，极大的提高了报告生成效率，提升了用户体验，为用户节省更多时间成本。江苏鸿程「一键式自动化数据分析报告生成平台」目前已应用于政府、企业、金融等相关领域。该方案也在鲲鹏应用创新大赛2022江苏初创赛道获得了一等奖荣誉。这不仅验证了该平台的高性能、高兼容性、完整性和成熟度等技术优势，也标志着江苏鸿程技术与应用研究院有限公司产品在鲲鹏计算应用创新、产业融合、市场应用方面达到领先水平。作为鲲鹏计算产业生态重要伙伴，江苏鸿程已与江苏鲲鹏·昇腾生态创新中心建立长期合作关系。未来，还将进一步融合相关资源，打造更具竞争力的行业解决方案，促进行业数字化转型。鲲鹏原生开发是指使用鲲鹏DevKit的原生开发能力，如鲲鹏开发框架（含场景化SDK）、编译调试工具、云测服务、调优&诊断工具等，在鲲鹏平台上开发新软件/新功能，充分发挥鲲鹏架构优势，从而获得开发效率/运行性能提升。鲲鹏DevKit将持续增强开发体验、优化工具能力，提升鲲鹏开发效率，助力千行百业数字化转型。转自华为计算公众号

云时代来临，IT基础架构的多云部署已成为企业的新常态。在Flexera发布《2022年云状况报告》中指出 89% 的受访企业在IT架构上选择多云战略，其中80%的企业使用了混合云战略。同时，企业的用云数量也在继续增长，云环境的复杂化已成为不可忽视的趋势。多云、多样性算力、多元化应用场景已成为当前IT基础设施的主要发展趋势，随之带来的跨区域、跨集群云资源融合管理也面临着多重挑战：管理难：IT资源分散、资源与平台服务类型多样，运维操作与管理流程复杂，无法规范性统一管理；上线慢：互联网类业务变化迅速，IT难以及时响应DevOps类型服务请求；成本高：IT资源重复建设、成本分摊缺乏数据，容易造成资源昂费；佳杰云星数据公司是国内领先的多云管理和自动化、智能化软件提供商，其核心产品RightCloud多云管理平台致力于帮助企业轻松构建和管理多云环境，使企业能综合管理、利用多个云平台的能力，更灵活和快速的满足复杂、多变的业务需求。RightCloud包括云管，运营，运维监控，算力调度等子产品，是管理多云环境的整合性软件产品集合。该平台提供异构资源的统一纳管、运营运维管理的统一策略、云业务上线流程灵活自定义、以及云资源弹性扩缩容等功能，目标是助力企业云上智能管理与精细化运营，降低运营成本，提升营收利润率。随着多云管理规模的发展，RightCloud云管理平台需要对接更多的资源平台，服务更多的用户规模，因此对承载该平台的底层基础设施也有更高的要求：① 海量数据处理：云资源管理场景下需要在5秒内处理5万+的数据，对数据处理的及时性和准确性要求很高。② 低时延：云资源管理场景下，平台需要同时管理5万+数据，数据处理时延需要小于2000ms，以实现资源实时更新。鲲鹏天然的多核多并发、高可靠、低功耗等优势，能够很好的满足RightCloud海量数据处理、并行计算、低时延、绿色计算等要求；同时提供完善的鲲鹏DevKit开发套件以及专业服务，能够帮助用户快速完成应用的迁移、开发、编译和调优，支撑RightCloud高效创新。基于以上考虑，佳杰云星选择鲲鹏作为RightCloud云管理平台的数字底座，并通过鲲鹏开发套件DevKit，实现RightCloud从X86到鲲鹏的快速迁移，以及基于鲲鹏平台的原生开发和性能优化。鲲鹏DevKit 1人天/应用快速迁移RightCloud云管理平台在项目实施初期，开发人员需要将RightCloud云管理平台快速迁移到鲲鹏。由于整个系统的架构复杂、模块众多、第三方组件繁杂给迁移工作带来不少挑战：系统多模块采用Kubernetes虚拟化架构，java大量引用鲲鹏不兼容第三方依赖包，要逐个手动寻找替换的话工作量巨大，耗费人力。而鲲鹏DevKit代码迁移工具可以实现依赖文件自动识别、兼容JAR包一键下载、代码修改建议一键替换，无须耗时耗力检查跟进。在鲲鹏DevKit的帮助下整个系统只用了10人天，平均1人天/应用即可完成自动迁移。基于鲲鹏DevKit 快速开发RightCloud多云管理平台变更历史功能，云资源综合管理能力提升约25%迁移完成之后，针对RightCloud云管理平台的管理资源变更场景，佳杰云星需要在鲲鹏平台上开发变更历史功能，以满足多云管理精细化计费的业务诉求。该功能通过对资源的生命周期中的规格属性/归属等实现监管生命周期中每次变更以及精细化的计费。因此对大量数据的多表查询性能要求很高，所以在开发过程中，技术人员需要使用鲲鹏DevKit性能分析工具对管理鲲鹏资源功能模块进行调优。在调优过程中，技术人员使用了鲲鹏DevKit性能分析工具的Java性能分析功能，对Java程序的运行状态进行监控和优化，通过Java性能分析工具快速分析出应用场景下系统软硬件资源的使用情况及利用率等，识别出Java程序存在垃圾堆栈和线程锁的问题，导致了程序容易出现进程阻塞。Java性能分析工具快速定位出问题代码位置，并给出修改建议：减少代码中的无意义的循环语句，删除造成线程锁的冗余代码。技术人员在工具的建议下，进行了Java代码优化，简化代码结构，消除了Java程序的垃圾堆栈和线程锁问题。通过鲲鹏DevKit进行性能调优之后，RightCloud云管理平台的变更历史功能在鲲鹏上运行性能得到有效提升；在管理5万+资源场景，瞬时并发的平均响应时间性能提升约43%，压测并发的平均响应时间性能提升约18%。变更历史性能的提升，使得RightCloud云管理平台整体的云资源综合管理能力提升约25%。极大的增强了RightCloud云管理平台的云资源管理能力，提升了管理效率，确保了管理大量数据时的数据实时性与准确性，优化了用户的访问体验，大幅降低了管理成本，为云资源共享+费用管理和优化，费用节约约20%。作为鲲鹏计算产业生态重要伙伴，佳杰云星已与鲲鹏计算生态产业重庆中心建立长期合作关系。目前，佳杰云星RightCloud云管理平台已经在全国多省市落地。该方案也在鲲鹏应用创新大赛2022企业数字化赛道获得了铜奖荣誉。这不仅验证了该平台的高性能、高兼容性、完整性和成熟度等技术优势，也标志着RightCloud云管理平台在鲲鹏计算应用创新、产业融合、市场应用方面达到领先水平。鲲鹏原生开发是指使用鲲鹏DevKit的原生开发能力，如鲲鹏开发框架（含场景化SDK）、编译调试工具、云测服务、调优&诊断工具等，在鲲鹏平台上开发新软件/新功能，充分发挥鲲鹏架构优势，从而获得开发效率/运行性能提升。未来，鲲鹏DevKit将以开发者为中心，持续增强开发体验、优化工具能力，提升鲲鹏开发效率，助力千行百业数字化转型。转自华为计算公众号

“openGauss经过两年发展，通过内核和架构创新，为用户提供稳定可靠的数据库技术底座，不仅通过了金融、运营商、能源、制造等行业核心场景的锤炼，同时进一步在十个关键基础设施行业规模应用，已经进入快速发展期。”12月29日，openGauss Summit 2022在线上举办，中国工程院院士清华大学计算机科学与技术系教授、博士生导师郑纬民为峰会作了开场致辞。本届峰会由openGauss社区联合行业组织、伙伴及客户共同举办，以“汇聚数据库创新力量，加速企业数字化转型”为主题，广泛邀请学术专家、行业组织、企业客户、生态伙伴和社区贡献者等齐聚一堂，共同探讨数据库创新发展新路径、交流数据生态建设新思维、分享企业数字化转型新成果，旨在协同全行业加速推动开源数据库产业向前发展。2022年，openGauss社区用户数首次突破100万，社区贡献者超4000人，共有220家企业、组织加入社区。在行业应用方面，联合伙伴累计完成500+个行业解决方案适配，覆盖政府、金融、运营商等10余个行业。基于在多行业的广泛商用，目前openGauss己累积部署超过3万套，其中22年新增部署超过2万套。全新技术架构发布，openGauss全栈迈步前进峰会现场，openGauss社区理事会理事长江大勇对外公布了社区发展现状及生态进展，其中，结合行业数据库发展最近趋势与行业需求，openGauss面向线下集中式场景，重磅推出openGauss资源池化架构。openGauss资源池化架构由3层池化、1个平台和1个标准组成。3层池化包括存储池化、内存池化和计算池化，这是openGauss首次实现计算、內存和存储三层解耦，能够为社区用户带来更好的资源调度效率，更好的处理性能和创新的敏捷性。通过打造可观测可诊断的一体化平台，实现智能运维、集群管理、资源编排等能力，以及实现数据库在高负载下的稳定运行和弹性伸缩。openGauss还定义了全场景SQL标准，为应用提供数据分析、AI推理、图查询等一系列查询接口，充分释放数据价值。从数据库到底层硬件，openGauss通过打造全池化架构，实现了软硬融合、产业链的全栈创新。全新社区工具发布，提供快捷轻便选择“在过去的一年里，openGauss社区一直联合伙伴针对行业应用过程中的业务建模、开发、管理、安装部署和迁移运维开发了大量的工具，力图与用户业务创新实现同步。”江大勇表示，openGauss社区一直致力于将技术整合打造成能供用户直接使用的生产力工具，帮助用户实现从使用数据库到数据全生命周期的管理。基于过去一年的实践经验与用户体验，江大勇带来了openGauss社区工具的全新升级，推出数据生产力工具openGauss DataKit，该工具集成了目前openGauss所有相关的工具，形成工具超市，用户可按需快速检索工具，更加快捷轻便。同时，openGauss还推出了存储过程调试工具，并与粤港澳大湾区国家技术创新中心联合推出了全栈性能分析工具。openGauss以创新引领发展，合作共创繁荣清华大学计算机系长聘教授、副主任，openGauss社区技术委员会主席中国计算机学会数据库专委会副主任李国良在“创新引领发展，合作共创繁荣”主题演讲中说道：“openGauss自2020年6月份开源以来，一直在技术上进行创新性引领，通过探索新的技术来服务数据库产业发展。”李国良还结合openGauss的应用实例，从高性能、高可用、高智能、高安全四个特性层面，全面分析了openGauss的技术发展趋势，他表示，未来将协同产学研全线合作伙伴，一起深耕数据库核心技术发展，通过构建共建、共享、共治的发展模式，将openGauss打造成数据库产业核心社区，持续为我国提供数据库需求供应。联合中移发布新品，建设领先数字基础设施2021年底，中国移动信息科技公司在对国内主流开源软件进行综合对比分析和大量论证后，最终选择了基于openGauss内核定制开发中国移动OLTP数据库产品。在经历了一年多的研发投入后，本届峰会上，中国移动信息科技公司联合openGauss社区及中移多方分公司正式发布中国移动磐维数据库，这是中国移动信息科技公司首个基于中国本土开源数据库打造的面向ICT基础设施的自有数据库产品，目前己在北京移动、河北移动和浙江移动的基础通信网络中部署应用，确保5G高质量通信服务。中国移动信息技术中心副总经理讲话陈国在演讲中指出：“中国移动将充分利用openGauss开源社区关键内核能力、丰富的生态资源，对磐维数据库技术赋能。”基于openGauss内核打造的磐维数据库，无开源传染风险，同时，在性能方面，磐维数据库基于高性能openGauss内核，在4路鲲鹏服务器上，在单集群一主多备环境中，TPCC性能大于110万，优于多数国产数据库；在智能管理方面，基于智能openGauss内核，使用AI优化数据库性能，实现自治、免运维等，为用户提供高质量服务。携手社区伙伴协同创新，openGauss砥砺前行峰会上，天津大学智能与计算学部教授、天津泰凡科技有限公司首席科学家王鑫带来了基于openGauss的产学研联合创新分享，并发布了首个基于openGauss的图数据库OggDB。王鑫指出：“在openGauss内核的支持下，OggDB可以实现毫秒级别的无查询操作，因为是基于openGauss的内核，OggDB自然就具备了openGauss数据库所拥有的相应的八大优势。”此外，来自医疗、银行、电信、数据等行业的合作伙伴也对openGauss创新孵化的最新成果进行分享，越来越多的用户和行业伙伴信任openGauss、选择openGauss。南京市卫生信息中心副主任陈平：“openGauss本身自带高可用、多模态等优势，切中了当时医药行业中几个场景的重要需求，openGauss之所以有这么强大的性能表现，离不开其中六大核心技术在背后的保障，日志无锁、并行写入等真实保障高性能表现的同时，又能平稳运行的关键。”北京海量数据技术股份有限公司总裁肖枫表示，在过去的一年里，openGauss社区和海量数据都取得了长足的进步，海量数据专注内核代码的贡献，其在社区内的内核代码贡献度也一直处于领先位置。桂林银行信息技术部副总经理王嘉懿：“openGauss作为国内独立开发、独立迭代的开元技术线路，从原代码到社区再到开元协议，全方位植根于国内，充分保障内核的自主性，这也是我们选型的基本原则。”云和恩墨联合创始人兼副总经理、资深数据库架构师张乐奕：“我们跟openGauss社区不断的加深合作，既认领openGauss重大功能的开发任务，也将自己的特性研发成果推送回社区，这是一个积蓄影响加反哺的良性循环过程。”哈尔滨银行运维专家条线主管董立国：“openGauss社区拥有众多的开发者在做真正的国产跟生态，而且openGauss优于PG的内核，在我们做业务场景测试中，在性能高可用容灾安全性方面均有更好的表现。”神舟通用售前总监张御博：“神通公司为保证系统的安全稳定运行全部采用国产技术，同时依托openGauss的技术进行深层次的融合以达到性能最大化。目前，神通数据库v7.0.21在ARM体系架构上，引入openGauss的开源技术，形成高效稳定的大型通用数据库版本。”陕西电信电信智慧中台DataT团队负责人唐天宇：“神通数据库openGauss版增强了在数据共享模式下高可用性，采用共享存储的HA大大提高了数据库的效率。”值得一提的是，openGauss社区理事会今年再次迎来升级，中国交通信息科技集团、京东科技和南大通用正式加入理事会，为共建社区生态，推动社区技术创新、行业应用、人才培养汇聚有生力量。截至目前，openGauss社区理事会成员单位已达24家。openGauss作为面向企业核心应用场景的开源数据库，已经开源两年，两年来，openGauss已在标准SQL及驱动、监控运维系统、数据导入导出工具、数据复制同步工具、数据访问中间件等15个生态维度，孵化技术创新项目50多个。纵观未来，工信部电子五所信创团队质量测评部部长张志强对数据库领域建设和发展趋势作出了分析：“一是面对国外的科技封锁，加速发展立足国内、具备真正核心竞争力的开源数据库技术是必要趋势；二是由于数据库技术门槛高、发展难度大，更要充分借力开源实现弯道超车。”江大勇也表达了自己对openGauss社区发展的高度期待，openGauss将持续推动联合创新的模式，与用户、开发者们、行业伙伴建立紧密合作，与产业界勠力同心，树立技术领先性，构建繁荣生态。转自华为计算公众号