-
目录-1 调优概述 -1.1 应用介绍 -1.2 调优思路 -2 硬件调优 -2.1 BIOS配置 -2.1.1.1 设置内存刷新频率为Auto -2.1.1.2 开启NUMA -2.1.1.3 设置Stream Write Mode -2.1.1.4 开启CPU预取配置 -2.1.1.5 开启SRIOV -2.1.1.6 开启SMMU -2.1.1.7 打开内存交织 -3 操作系统调优 -3.1 文件系统调优 -3.2 关闭irqbalance -3.3 网卡中断绑核 -3.4 网络参数调优 -3.5 IO参数调优 -3.6 缓存参数调优 -4 软件调优 -4.1 Cpu绑核 -4.2 虚拟机网卡设置 -4.3 虚拟机存储使用virtio-blk -4.4 低负载调优V-Turbo -4.5 配置Guest NUMA1 调优概述1.1 调优思路 云平台重要的指标在于虚拟机性能的调优。虚拟机性能调优参数涉及cpu、内存、磁盘和网络,此次调优我们将结合ARM架构的优势,结合相关的参数对虚拟机进行不同场景的调优。2 硬件调优具体介绍性能调优在硬件层面的调优手段举例:2.1 BIOS配置2.1.1.1 设置内存刷新频率为Auto服务器重启,进入BIOS,依次选择“Advanced > Memory Config > Custom Refresh Rate”。 设置“Custom Refresh Rate”选项为“Auto”,按F10保存BIOS配置。2.1.1.2 开启NUMA服务器重启,进入BIOS,依次选择“Advanced > Memory Config > NUMA”。 设置“NUMA”选项为“Enable”,按F10保存BIOS配置。2.1.1.3 设置Stream Write Mode服务器重启,进入BIOS,依次选择“Advanced > Performance Config > Stream Write Mode”。 2.设置“Stream Write Mode”选项为“Allocate share LLC”,按F10保存BIOS配置。2.1.1.4 开启CPU预取配置开启CPU预取配置选项的目的在于CPU先行提取下一段指令以提高系统效能。说明:在使用lmbench测试内存带宽时,建议开启CPU预取。在使用lmbench测试内存延迟时,建议关闭CPU预取。 1.服务器重启,进入BIOS,依次选择“Advanced > MISC Config > CPU Prefetching Configuration”。 2.设置“CPU Prefetching Configuration”选项为“Enabled”,按F10保存BIOS配置。2.1.1.5 开启SRIOV 1.服务器重启,进入BIOS,依次选择“Advanced > PCIe Config > SRIOV”。 2.设置“SRIOV”选项为“Enable”,按F10保存BIOS配置。2.1.1.6 开启SMMU 系统存储管理单元(SMMU)是鲲鹏920系列处理器实现虚拟化扩展所提供的一个重要组件。 1.服务器重启,进入BIOS,依次选择“Advanced > MISC Config > Support Smmu”。 2.设置“Support Smmu”选项为“Enabled”。如果已经设置为Enabled,按F10保存BIOS配置。2.1.1.7 打开内存交织 1.进入BIOS,选择“Advanced > Memory Config”。 2.将“Die Interleaving”设置为“Enable”。 3 操作系统调优3.1 文件系统调优目的: 对于不同的IO设备,通过调整文件系统相关参数配置,可以有效提升服务器性能。方法: 以xfs文件系统为例,解释文件系统调优步骤。建议在文件系统的mount参数上加上noatime,nobarrier两个选项。命令为(其中数据盘以及数据目录以实际为准):mount -o noatime,nobarrier /dev/sdb /data1. 一般来说,Linux会给文件记录了三个时间,change time, modify time和access time。access time指文件最后一次被读取的时间。modify time指的是文件的文本内容最后发生变化的时间。change time指的是文件的inode最后发生变化(比如位置、用户属性、组属性等)的时间。 一般来说,文件都是读多写少,而且我们也很少关心某一个文件最近什么时间被访问了。所以,我们建议采用noatime选项,文件系统在程序访问对应的文件或者文件夹时,不会更新对应的access time。这样文件系统不记录access time,避免浪费资源。2. 现在的很多文件系统会在数据提交时强制底层设备刷新cache,避免数据丢失,称之为write barriers。但是,其实我们数据库服务器底层存储设备要么采用RAID卡,RAID卡本身的电池可以掉电保护;要么采用Flash卡,它也有自我保护机制,保证数据不会丢失。所以我们可以安全的使用nobarrier挂载文件系统。对于ext3, ext4和 reiserfs文件系统可以在mount时指定barrier=0。对于xfs可以指定nobarrier选项。3.2 关闭irqbalance目的: 关闭irqbalance,通过手动绑定中断的方法优化性能。方法: # 步骤 1 停止irqbalance服务。 systemctl stop irqbalance.service # 步骤 2 关闭irqbalance服务。 systemctl disable irqbalance.service # 步骤 3 查看irqbalance服务状态是否已关闭。 systemctl status irqbalance.service 3.3 网卡中断绑核目的: 手动绑定网卡中断,根据网卡所属CPU将其进行分配,从而优化系统网络性能。方法: 查询网卡所在的CPU,将网络中断绑定到该CPU的所有核上。# 步骤 1 查询中断号。 cat /proc/interrupts | grep $eth | awk -F ':' '{print $1}' #其中$eth表示需要优化的业务网口名称 #例如:cat /proc/interrupts | grep eth1 | awk -F ':' '{print $1}' #步骤 2 根据中断号,将每个中断各绑定在一个核上。 echo $cpunum > /proc/irq/$irq/smp_affinity_list #其中$cpunum表示需要绑定到的目标CPU序列号,$irq表示步骤 1执行的结果,如存在多个序列号,则需逐一执行绑定。 3.4 网络参数调优目的: 对于不同的操作系统,通过在OS层面调整一些参数配置,可以有效提升服务器性能。方法: 表3-1 OS优化参数Linux参数参数含义操作tcp_max_syn_backlogtcp_max_syn_backlog是指定所能接受SYN同步包的最大客户端数量。默认值是2048,建议修改成8192。echo 8192 > /proc/sys/net/ipv4/tcp_max_syn_backlognet.core.somaxconn服务端所能accept即处理数据的最大客户端数量,即完成连接上限。默认值是128,建议修改成1024。echo 1024 > /proc/sys/net/core/somaxconnnet.core.rmem_max接收套接字缓冲区大小的最大值。默认值是229376,建议修改成16777216。echo 16777216 > /proc/sys/net/core/rmem_maxnet.core.wmem_max发送套接字缓冲区大小的最大值(以字节为单位)。默认值是229376,建议修改成16777216。echo 16777216 > /proc/sys/net/core/wmem_maxnet.ipv4.tcp_rmem配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。默认值是"4096 87380 6291456",建议修改成"4096 87380 16777216"。echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmemnet.ipv4.tcp_wmem配置写缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。默认值是"4096 16384 4194304",建议修改成"4096 65536 16777216"。echo "4096 65536 16777216" > /proc/sys/net/ipv4/tcp_wmemnet.ipv4.max_tw_buckets表示系统同时保持TIME_WAIT套接字的最大数量。默认值是2048,建议修改成360000。echo 360000 > /proc/sys/net/ipv4/tcp_max_syn_backlog 3.5 IO参数调优目的: 对于不同的IO设备,通过在OS层面调整一些IO相关参数配置,可以有效提升服务器性能。方法:Linux参数参数含义操作/sys/block/${device}/queue/scheduler配置IO调度,deadline或者noop更适用于MySQL数据库场景。命令中的${device}为磁盘名称,根据实际磁盘名称进行修改。NVME盘不支持此操作。echo deadline > /sys/block/${device}/queue/scheduler/sys/block/${device}/queue/nr_requests提升磁盘吞吐量,尤其对myisam存储引擎,可以调整到更大。命令中的${device}为磁盘名称,根据实际磁盘名称进行修改。echo 2048 > /sys/block/${device}/queue/nr_requests 3.6 缓存参数调优目的: 对于不同系统的内存使用情况,通过在OS层面调整一些缓存相关参数配置,可以有效提升服务器性能。方法: 表3-2 缓存调优参数Linux参数参数含义操作swappiness值越大,越积极使用swap分区,值越小,越积极使用内存。执行命令 vi /etc/sysctl.conf ,将 vm.swappiness = 1添加到文件底部,保存退出,执行命令sysctl -p使其生效。dirty_ratio内存里的脏数据百分比不能超过这个值。echo 5 > /proc/sys/vm/dirty_ratio4 软件调优4.1 Cpu绑核编辑虚拟机virsh edit vm1,增加cpu绑定参数:<cputune> <vcpupin vcpu="0" cpuset="0-31"/> <vcpupin vcpu="1" cpuset="32-63"/> <vcpupin vcpu="2" cpuset="64-95"/> <vcpupin vcpu="3" cpuset="96-127"/> <emulatorpin cpuset="0-127"/> </cputune> 4.2 虚拟机网卡设置虚拟机xml网卡参数使用virtio模式: 4.3 虚拟机存储使用virtio-blkvirtio-blk虚拟磁盘能够提供相对virtio-scsi虚拟磁盘较高的存储性能。虚拟机xml使用下面配置: 4.4 低负载调优V-Turbo 1.将vCPU的个数设置为虚拟机实际个数。 2.配置threads为2,vCPU的值为sockets*cores*threads。 4.5 配置Guest NUMA虚拟机xml配置文件进行如下配置: 配置Guest NUMA时可以指定vNode的内存在Host上的分配位置,实现内存的分块绑定,同时配合vCPU绑定,使vNode上的vCPU和内存在同一个物理NUMA node上。虚拟机配置如下: 图1 虚拟机CPU绑核配置 图2 虚拟机NUMA配置 图3 虚拟机NUMA详细配置 4.6 配置KAE4.6.1 环境要求HostOS上已经建立虚拟机。HostOS上已经安装加速器内核驱动,虚拟机上已经安装KAE加速引擎软件包,安装方法请参考安装KAE加速引擎软件。4.6.2 在HostOS上进行虚拟化配置查询HostOS环境中安装的加速器和对应的bdf号。ls -al /sys/class/uacce 2.虚拟化加速器VF(以hisi_sec设备为例,各虚拟出3个VF,对应hisi_sec - 8 ~ hisi_sec - 13)。echo 3 > /sys/devices/pci0000:74/0000:74:01.0/0000:76:00.0/sriov_numvfs echo 3 > /sys/devices/pci0000:b4/0000:b4:01.0/0000:b6:00.0/sriov_numvfs 4.6.3 在虚拟机上配置加速器编辑虚拟机vm1的配置文件。virsh edit test1 2.在配置文件中添加vcpu配置(以配置4个core为例)。<cputune> <vcpupin vcpu='0' cpuset='4'/> <vcpupin vcpu='1' cpuset='5'/> <vcpupin vcpu='2' cpuset='6'/> <vcpupin vcpu='3' cpuset='7'/> <emulatorpin cpuset='4-7'/> </cputune> 上述的配置完成后,虚拟机进程运行会固在指定的主机的物理CPU上。 3.虚拟机配置VF。<hostdev mode='subsystem' type='pci' managed='yes'> <source> <address bus='0x76' slot='0x00' function='0x1'/> </source> </hostdev> 上述的配置完成后,虚拟机挂载了加速器虚拟出来的一个VF。说明:hisi_sec设备SBDF号以0000:7x:xx.x,其对应CPU0上设备;以0000:bx:xx.x为开头,对应CPU1上设备。为保证性能稳定,推荐虚拟机上核选取对应CPU上的core,同时VF也选择对应加速器上虚拟出来的VF。HostOS对单个虚拟机上VF挂载个数存在上限,默认为11个。 4.启动虚拟机。virsh start test1 5.登录虚拟机查询设备。ls /sys/class/uacce/ 显示如下,说明挂载的VF已经在虚拟机上读取成功。hisi_sec-0
-
1 qemu-kvm1.1 qemu-kvmKVM只负责CPU和内存的虚拟化,加载了它以后,用户就可以进一步通过工具创建虚拟机(KVM提供接口),但仅有KVM还是不够的,用户无法直接控制内核去做事情(KVM只提供接口,怎么创建虚拟机,分配vCPU等并不在它上面进行),还必须有个运行在用户空间的工具才行,KVM的开发者选择了比较成熟的开源虚拟化软件QEMU来作为这个工具,并对其进行了修改,最后形成了QEMU-KVM。在Qemu-KVM中,KVM运行在内核空间,Qemu运行在用户空间,实际模拟创建、管理各种虚拟硬件,Qemu将KVM整合了进来,通过/ioctl 调用 /dev/kvm,从而将CPU指令的部分交给内核模块来做,KVM实现了CPU和内存的虚拟化,但KVM不能虚拟其他硬件设备,因此Qemu还有模拟IO设备(磁盘,网卡,显卡等)的作用,KVM加上Qemu后就是完整意义上的服务器虚拟化。QEMU-KVM具有两个功能:1>提供对cpu,内存(KVM负责),IO设备(QEMU负责)的虚拟2>对各种虚拟设备的创建,调用进行管理(QEMU负责)1.2 libvirtlibvirt是一个针对各种虚拟化平台的虚拟机管理的API库,libvirt本身不是一种工具,它是一种可以建立工具来管理操作系统的API。libvirt本身构建于一种抽象的概念之上。它为受支持的虚拟机监控程序实现的常用功能提供通用的API。Libvirt可以简单的认为是个虚拟机管理工具,仍然需要通过用户空间的QEMU来与KVM进行交互qemu-kvm启动虚拟机需要指定kernel和initrd以及append等信息,这些都是作为qemu-kvm的启动参数指定的:kernel : 提供内核镜像,bzImageinitrd : 提供initramfsappend : 提供内核参数,指引rootfs所在分区,指引init命令路径2 initrd2.1 initrd启动流程初始RAM磁盘(initrd)是在实际根文件系统(rootfs)可用之前挂载到系统中的一个初始根文件系统(initramfs)。initrd与内核绑定在一起,并作为内核引导过程的一部分进行加载。然后内核会将这个 initrd文件作为其两阶段引导过程的一部分来加载模块,这样才能稍后使用真正的文件系统,并挂载实际的根文件系统。Initrd启动方式中在切根到rootfs之前的各个阶段服务分别是cmdline|pre-udev|pre-trigger|initqueue|pre-mount|mount|pre-pivot|cleanup每个阶段都会有相应的打印日志,比如进入cmdline阶段如下:一个正常的启动流程会拉起很多服务,有些服务是在同一阶段并行拉起的,但是有些服务是有先后顺序的,先后顺序会在服务的配置文件中定义,比如dracut-pre-udev.service,它的前置服务是dracut-cmdline.service,后置服务是systemd-udevd.service和dracut-pre-trigger.service。这些服务的配置文件一般存放在lib/systemd/system/或/etc/systemd/system目录下,不过实际上这些服务是dracut中的模块,如下:更详细的各服务的先后顺序如下图所示,红色显示的服务是基础服务,一般在启动过程中都会有打印,而且可以break进入调试,具体调试方式见下一小节: systemd-journal.socket | v dracut-cmdline.service | v dracut-pre-udev.service | v systemd-udevd.service | vlocal-fs-pre.target dracut-pre-trigger.service | | v v (various mounts) (various swap systemd-udev-trigger.service | devices...) | (various low-level (various low-level | | | services: seed, API VFS mounts: v v v tmpfiles, random mqueue, configfs, local-fs.target swap.target dracut-initqueue.service sysctl, ...) debugfs, ...) | | | | | \_______________|____________________ | ___________________|____________________/ \|/ v sysinit.target | _________________/|\___________________ / | \ | | | v | v (various | rescue.service sockets...) | | | | v v | rescue.target sockets.target | | | \_________________ | emergency.service \| | v v basic.target emergency.target | ______________________/| / | | v | dracut-pre-mount.service | | | v | sysroot.mount | | | v | initrd-root-fs.target (custom initrd services) | | v | dracut-mount.service | | | v | initrd-parse-etc.service | | | v | (sysroot-usr.mount and | various mounts marked | with fstab option | x-initrd.mount) | | | v | initrd-fs.target \______________________ | \| v initrd.target | v dracut-pre-pivot.service | v initrd-cleanup.service isolates to initrd-switch-root.target | v ______________________/| / | | initrd-udevadm-cleanup-db.service | | (custom initrd services) | | | \______________________ | \| v initrd-switch-root.target | v initrd-switch-root.service | v switch-root2.2 调试若是哪个环节出了问题,可以打断点进入shell界面,方法是在append参数中添加,比如切根失败了,可以在cleanup的时候进入,然后手动尝试切根chroot:rd.break=断点处(如cleanup)其他常用的rd参数是:rd.shell:如果root挂载失败,则允许进入到shellrd.debug:打开debug详细日志更多rd参数可以参考dracut.cmdline官方手册:https://man7.org/linux/man-pages/man7/dracut.cmdline.7.html另外,启动过程中可能出现某个服务异常导致挂起,此时可以用systemd参数:systemd.unit=emergency.target:进入紧急模式,小系统(initramfs)切换到大系统(rootfs)后立马登录shellsystemd.unit=rescue.target:进入救援模式,切换到大系统后哪里出问题了再登录shell3 initramfs和rootfs上一节提到切根,initrd启动方式就是从小文件系统initramfs切换到大文件系统rootfs。Initramfs是在 kernel 2.5中引入的技术,实际上它的含义就是:在内核镜像中附加一个cpio包,这个cpio包中包含了一个小型的文件系统,当内核启动时,内核将这个cpio包解开,并且将其中包含的文件系统释放到rootfs中,内核中的一部分初始化代码会放到这个文件系统中,作为用户层进程来执行。grub2找到kernel和initramfs后, 控制权交给kernel, 然后解压缩initramfs在内存中创建一个rootfs 在这个初始的小型文件系统里,加载一些基本的内核模块, 使OS能识别一些关键的外围设备. 比方说virtio块设备, virtio网络设备 这就是为什么在CentOS7下要将kvm驱动通过dracut打入initramfs的原理. 如果无法识别硬盘, 那么就无法真正的mount到磁盘的根目录.当initramfs文件系统挂在后, kernel将控制权交给pid为1的进程Initramfs是一个精简的文件系统,如下图我们可以看到它是gzip压缩包格式的文件,实际上解压后可以看出它里面是经过cpio压缩过的文件系统,下面我们来解压一下:mv initramfs.lkp-5.4.0-4-arm64.img initramfs.lkp-5.4.0-4-arm64.img.gz:更改后缀名为.gzgunzip initramfs.lkp-5.4.0-4-arm64.img.gz:解压gz文件得到内部的cpio格式文件cpio --no-absolute-filenames -idumv < ./$initrd.img:解压cpio格式文件到当前目录以上就是解压出来的initramfs,可以看出是我们熟悉的根文件系统的结构了。系统加载完一些必要的服务之后,就可以使用网络文件系统进行挂载了,目前我们使用的有nfs和cifs两种挂载方式。
-
【功能模块】BoostKit ARM打算搭建安卓模拟器,启动AVD失败。【操作步骤&问题现象】1、ECS购买鲲鹏服务器,2、使用官方android-sdk-linux。3、创建AVD,无异常4、启动AVD,报错。KVM相关。Could not access KVM kernel module: No such file or directoryqemu-system-aarch64: failed to initialize KVM: No such file or directory【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】配置云服务器并创建Linux系统盘镜像--安装原生的KVM驱动,自定义上传的kylinV10操作系统,如何安装原生态的KVM?请指导安装KVM,谢谢 https://support.huaweicloud.com/usermanual-ims/ims_01_0326.html【操作步骤&问题现象】1、在云上安装自定义的ISO后,查看是否支持kvm,显示不支持2、操作指导上提供的配置文件,未找到此配置文件【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
最近想在鲲鹏上尝试部署虚拟机,宿主机os是centos7.6,请问下qemu和kvm用系统自带版本就行,还是有更好的版本推荐呢?
-
2020-09-14:KVM和XEN虚拟化的区别?#福大大架构师每日一题#
-
2020-09-08:KVM和OpenStack的区别?
-
尝试过了 hd、cdrom都是进pxehttps://bbs.huaweicloud.com/forum/thread-51938-1-1.htmledk2.git-aarch64-0-20200309.1368.g8c654bb3ec.noarch edk2.git-0-20200309.1368.g8c654bb3ec.aarch64 edk2.git-tools-0-20200309.1368.g8c654bb3ec.aarch64 edk2.git-ovmf-x64-0-20200309.1368.g8c654bb3ec.noarchCompiled against library: libvirt 5.6.0 Using library: libvirt 5.6.0 Using API: QEMU 5.6.0 Running hypervisor: QEMU 4.0.1Compiled against library: libvirt 5.2.0 Using library: libvirt 5.2.0 Using API: QEMU 5.2.0 Running hypervisor: QEMU 4.2.0Compiled against library: libvirt 5.6.0 Using library: libvirt 5.6.0 Using API: QEMU 5.6.0 Running hypervisor: QEMU 4.2.0arm平台下创建的kvm通过pxe安装 安装完成后 设置boot dev='hd'启动不生效 还是重新进入了pxe 以下是我的xml内容 有人遇到相同的情况吗?<domain type='kvm' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'> <name>centos7</name> <uuid>dd59513f-00a7-4d07-8a7d-7a9311bf77b8</uuid> <memory unit='KiB'>16777216</memory> <currentMemory unit='KiB'>16777216</currentMemory> <vcpu placement='static'>8</vcpu> <os> <type arch='aarch64' machine='virt-4.0'>hvm</type> <loader readonly='yes' type='pflash'>/usr/share/edk2.git/aarch64/QEMU_EFI-pflash.raw</loader> <nvram>/var/lib/libvirt/qemu/nvram/rhel7-aarch64_VARS.fd</nvram> <boot dev='network'/> </os> <features> <acpi/> <apic/> <pae/> <gic version='3'/> </features> <cpu mode='host-passthrough' check='none'/> <clock offset='localtime'> <timer name='rtc' tickpolicy='catchup' track='guest'/> </clock> <on_poweroff>destroy</on_poweroff> <on_reboot>restart</on_reboot> <on_crash>destroy</on_crash> <devices> <emulator>/usr/local/bin/qemu-system-aarch64</emulator> <disk type='file' device='disk'> <driver name='qemu' type='qcow2' cache='writeback' io='threads' discard='unmap'/> <source file='/home/centos7_sda.qcow2'/> <target dev='sda' bus='sata'/> <address type='drive' controller='0' bus='0' target='0' unit='0'/> </disk> <controller type='scsi' index='0' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/> </controller> <controller type='scsi' index='1' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/> </controller> <controller type='scsi' index='2' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/> </controller> <controller type='scsi' index='3' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x0a' function='0x0'/> </controller> <controller type='scsi' index='4' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x0b' function='0x0'/> </controller> <controller type='scsi' index='5' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x0c' function='0x0'/> </controller> <controller type='scsi' index='6' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x0d' function='0x0'/> </controller> <controller type='scsi' index='7' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x0e' function='0x0'/> </controller> <controller type='scsi' index='8' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x0f' function='0x0'/> </controller> <controller type='scsi' index='9' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x10' function='0x0'/> </controller> <controller type='scsi' index='10' model='virtio-scsi'> <address type='pci' domain='0x0000' bus='0x00' slot='0x11' function='0x0'/> </controller> <controller type='pci' index='0' model='pcie-root'/> <controller type='pci' index='1' model='pcie-root-port'> <model name='pcie-root-port'/> <target chassis='1' port='0x8'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x0' multifunction='on'/> </controller> <controller type='pci' index='2' model='pcie-root-port'> <model name='pcie-root-port'/> <target chassis='2' port='0x9'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/> </controller> <controller type='pci' index='3' model='pcie-to-pci-bridge'> <model name='pcie-pci-bridge'/> <address type='pci' domain='0x0000' bus='0x02' slot='0x00' function='0x0'/> </controller> <controller type='pci' index='4' model='pcie-root-port'> <model name='pcie-root-port'/> <target chassis='4' port='0xa'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/> </controller> <controller type='sata' index='0'> <address type='pci' domain='0x0000' bus='0x03' slot='0x01' function='0x0'/> </controller> <interface type='network'> <mac address='00:16:3b:17:40:7b'/> <source network='default'/> <model type='virtio'/> <address type='pci' domain='0x0000' bus='0x01' slot='0x00' function='0x0'/> </interface> <serial type='pty'> <target type='system-serial' port='0'> <model name='pl011'/> </target> </serial> <console type='pty'> <target type='serial' port='0'/> </console> <input type='mouse' bus='ps2'/> <graphics type='vnc' port='45005' autoport='no' listen='0.0.0.0' keymap='en-us'> <listen type='address' address='0.0.0.0'/> </graphics> <video> <model type='vga' vram='8192' heads='1' primary='yes'/> <address type='pci' domain='0x0000' bus='0x03' slot='0x02' function='0x0'/> </video> </devices> </domain>
-
1 软硬件配置类别子项版本 硬件CPU鲲鹏920网络1822网卡存储SATA 4T内存--OSCentOS7.7Kernel4.18.0-80.7.2.el7.aarch64 2 组网配置不涉及 3 问题3.1 问题描述:编译安装qemu-4.2.0后,使用qemu安装OS时,使能--enable-kvm后卡主,不使能--enable-kvm则能正常进入安装界面1)使能--enable-kvm的安装命令,安装后卡主:qemu-system-aarch64 -bios /home/QEMU_EFI.bios -M virt -m 8G -cpu host --enable-kvm -cdrom /home/OS/CentOS-7-aarch64-Everything-1810.iso –nographic –curses2)不使能--enable-kvm的安装命令,安装后能正常进入安装界面:qemu-system-aarch64 -bios QEMU_EFI.bios -M virt -m 8G -cpu cortex-a57 -cdrom home/OS/CentOS-7-aarch64-Everything-1810.iso -nographic -curses编译qemu-4.2.0wget https://download.qemu.org/qemu-4.2.0.tar.xztar -xf qemu-4.2.0.tar.xzcd qemu-4.2.0./configure –prefix=/usr/local/qemu-4.2.0make -j 16 && make install 3.2 问题分析:1.尝试在启动命令中添加串口输出-serial file:/tmp/serial.out,发现串口无任何输出,串口参数设置参考:http://blog.sina.com.cn/s/blog_a1e6528101019xmm.html2.换到CentOS7.6操作系统执行同样命令,发现有coredump报错:qemu-system-aarch64: PMU: KVM_SET_DEVICE_ATTR: Invalid argumentqemu-system-aarch64: failed to set irq for PMUAborted (core dumped)找到解决办法https://vanducuy.wordpress.com/2019/09/09/qemu-install-fedora-28-on-aarch64-failed/,需要添加-machine gic-version=33. 换到CentOS7.7上添加-machine gic-version=3,成功进入安装界面,问题解决3.3 问题结论:CentOS7.7上进程无法coredump,在CetnOS7.6上执行coredump,根据报错发现需要指定GICV3的版本,添加-machine gic-version=3选项后解决。
-
关注华为云的同学们知道,最近华为云上线了不少基于KVM虚拟化平台的一系列实例,可是有同学要问问题了,我也想体验一下新类型,使用我以前的镜像可以吗? 这个问题是这样滴,判断镜像是否支持KVM虚拟化平台,要看看镜像内部是否具备了KVM驱动以及是否对磁盘标识做了屏蔽虚拟化差异处理,搞定这两点就没问题了 总体四大步: [*]使用已有镜像发放一台通用型Xen云服务器 [*]优化云服务器 [*]制作私有镜像 [*]发放KVM实例 其中优化云服务器使用以下几个步骤: [*]登陆云服务器,检查是否安装了PVDriver,如安装,参考卸载 [*]安装Vmtools( 仅windows涉及) [*]加载KVM Virtio驱动 [*]修改磁盘标识符 关于官方对于镜像优化的资料可参考:Linux镜像优化 Windows镜像优化 以下就是小编手把手教你操作哦,以CentOS系列为例~ 使用CentOS 6.3镜像,发放一台通用型1代云服务器使用密码或密钥登陆 首先检查是否安装了PVDriver E9A0BBAD-F71D-4336-AEED-81101041403F.png (5.38 KB, 下载次数: 0) 下载附件 前天 16:28 上传 如果安装则卸载PVDriver CCCF1C60-FC83-42A0-BAB0-ACAC8E865CD5.png (7.44 KB, 下载次数: 0) 下载附件 前天 16:31 上传 卸载完成后重启云服务器 按照操作指导添加KVM驱动,编辑/etc/dracut.conf 中 add_drivers这一行,添加Xen及KVM驱动 BDB0C48C-6036-47FA-B821-DA10979A1CD1.png (18.72 KB, 下载次数: 0) 下载附件 前天 16:31 上传 添加完成保存后退出 执行dracut -f 重新生成initrd 293944FC-1241-4E38-8B67-D9D829AF199F.png (1.9 KB, 下载次数: 0) 下载附件 前天 16:32 上传 接着分别执行以下两条检查是否加载了原生KVM驱动模块(kernel自带哦) lsinitrd /boot/initramfs-`uname -r`.img | grep xenlsinitrd /boot/initramfs-`uname -r`.img | grep virtio B55E10B8-99E7-4141-881B-4A1276BBAF32.png (17.64 KB, 下载次数: 0) 下载附件 前天 16:33 上传 检查/etc/fstab 及 /boot/grub.conf 中磁盘标识是否修改为UUID方式 CF56A73C-402B-4283-93A4-82287A7FDCF3.png (14.76 KB, 下载次数: 0) 下载附件 前天 16:35 上传 CE478BB0-C2E2-4845-A704-BEC407534891.png (16.89 KB, 下载次数: 0) 下载附件 前天 16:36 上传 小编的镜像已经修改过了,没有修改的同学可以参考下面的链接修改,很详细哦http://support.huaweicloud.com/usermanual-ims/zh-cn_topic_0037352187.html#ZH-CN_TOPIC_0037352187__zh-cn_topic_0036684071_section6583579215424 将该云服务器关机并制作为私有镜像 20F49D0B-9BAE-4D36-AAF6-20A47F579B25.png (16.01 KB, 下载次数: 0) 下载附件 前天 16:38 上传 使用私有镜像发放KVM实例检查一下效果 陆OK , 撒花~! 584A8AFC-C8F1-4C24-A634-49273049BE8E.png (14.49 KB, 下载次数: 0) 下载附件 前天 16:38 上传
-
本帖最后由 沙书记 于 2017-11-7 16:56 编辑 关注华为云的同学们知道,最近华为云上线了不少基于KVM虚拟化平台的一系列实例,可是有同学要问问题了,我也想体验一下新类型,使用我以前的镜像可以吗? 这个问题是这样滴,判断镜像是否支持KVM虚拟化平台,要看看镜像内部是否具备了KVM驱动以及是否对磁盘标识做了屏蔽虚拟化差异处理,搞定这两点就没问题了 总体四大步: [*]使用已有镜像发放一台通用型Xen云服务器 [*]优化云服务器 [*]制作私有镜像 [*]发放KVM实例 其中优化云服务器使用以下几个步骤: [*]登陆云服务器,检查是否安装了PVDriver,如安装,参考卸载 [*]安装Vmtools( 仅windows涉及) [*]加载KVM Virtio驱动 [*]修改磁盘标识符 关于官方对于镜像优化的资料可参考:Linux镜像优化 Windows镜像优化 以下就是小编手把手教你操作哦,以CentOS系列为例~ 使用CentOS 6.3镜像,发放一台通用型1代云服务器使用密码或密钥登陆 首先检查是否安装了PVDriver 4359 如果安装则卸载PVDriver 4361 卸载完成后重启云服务器 按照操作指导添加KVM驱动,编辑/etc/dracut.conf 中 add_drivers这一行,添加Xen及KVM驱动 4362 添加完成保存后退出 执行dracut -f 重新生成initrd 4363 接着分别执行以下两条检查是否加载了原生KVM驱动模块(kernel自带哦) lsinitrd /boot/initramfs-`uname -r`.img | grep xenlsinitrd /boot/initramfs-`uname -r`.img | grep virtio 4364 检查/etc/fstab 及 /boot/grub.conf 中磁盘标识是否修改为UUID方式4365 4366小编的镜像已经修改过了,没有修改的同学可以参考下面的链接修改,很详细哦http://support.huaweicloud.com/usermanual-ims/zh-cn_topic_0037352187.html#ZH-CN_TOPIC_0037352187__zh-cn_topic_0036684071_section6583579215424 将该云服务器关机并制作为私有镜像 4367 使用私有镜像发放KVM实例检查一下效果 陆OK , 撒花~! 4368
-
周所周知,XEN虚拟机的磁盘分区盘符命名是/dev/xvd*,KVM虚拟机的磁盘分区盘符命名是/dev/vd*,那么如何统一KVM和XEN虚拟机的磁盘分区盘符命名方式,使得统一个镜像在XEN和KVM下能兼容使用呢。 1、以CentOS7.1为例,执行blkid命令获取根分区分区对应的UUID并记录下来,编辑/boot/grub2/grub.cfg文件,使用根分区的UUID来配置boot项。如果根分区已经使用UUID形式则不需要修改。 [code][root@PEK1000012301 ~]# blkid /dev/xvda2: UUID="4eb40294-4c6f-4384-bbb6-b8795bbb1130" TYPE="xfs" /dev/xvda1: UUID="2de37c6b-2648-43b4-a4f5-40162154e135" TYPE="swap" [/code] 修改前: [code][root@CTU1000028010 ~]# cat /boot/grub2/grub.cfg …… menuentry 'Red Hat Enterprise Linux Server 7.1 (Maipo), with Linux 3.10.0-229.el7.x86_64' --class fedora --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-229.el7.x86_64-advanced-4eb40294-4c6f-4384-bbb6-b8795bbb1130' { load_video set gfxpayload=keep insmod gzio insmod part_msdos insmod xfs set root='hd0,msdos2' if [ x$feature_platform_search_hint = xy ]; then search --no-floppy --fs-uuid --set=root --hint='hd0,msdos2'4eb40294-4c6f-4384-bbb6-b8795bbb1130 else search --no-floppy --fs-uuid --set=root 4eb40294-4c6f-4384-bbb6-b8795bbb1130 fi linux16 /boot/vmlinuz-3.10.0-229.el7.x86_64 root=/dev/xvda2 ro crashkernel=auto rhgb quiet LANG=en_US.UTF-8 initrd16 /boot/initramfs-3.10.0-229.el7.x86_64.img } [/code] 说明: 根据/boot/grub/grub.conf配置文件里标记的根分区,找到root=/dev/xvda2,再根据blkid命令获取的分区对应UUID将root分区改成UUID形式root=UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130。 修改后 [code][root@CTU1000028010 ~]# cat /boot/grub2/grub.cfg …… menuentry 'Red Hat Enterprise Linux Server 7.1 (Maipo), with Linux 3.10.0-229.el7.x86_64' --class fedora --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-229.el7.x86_64-advanced-4eb40294-4c6f-4384-bbb6-b8795bbb1130' { load_video set gfxpayload=keep insmod gzio insmod part_msdos insmod xfs set root='hd0,msdos2' if [ x$feature_platform_search_hint = xy ]; then search --no-floppy --fs-uuid --set=root --hint='hd0,msdos2'4eb40294-4c6f-4384-bbb6-b8795bbb1130 else search --no-floppy --fs-uuid --set=root 4eb40294-4c6f-4384-bbb6-b8795bbb1130 fi linux16 /boot/vmlinuz-3.10.0-229.el7.x86_64 root=UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130 ro crashkernel=auto rhgb quiet LANG=en_US.UTF-8 initrd16 /boot/initramfs-3.10.0-229.el7.x86_64.img }[/code] 2、以CentOS7.1为例,执行blkid命令获取所有分区对应的UUID并记录下来,编辑/etc/fstab文件,使用分区的UUID来配置分区自动挂载。 [code][root@CTU1000028010 ~]# blkid /dev/xvda2: UUID="4eb40294-4c6f-4384-bbb6-b8795bbb1130" TYPE="xfs" /dev/xvda1: UUID="2de37c6b-2648-43b4-a4f5-40162154e135" TYPE="swap"[/code] 修改前 [code][root@CTU1000028010 ~]# cat /etc/fstab /dev/xvda2 / xfs defaults 0 0 /dev/xvda1 swap swap defaults 0 0[/code] 修改后 [code][root@CTU1000028010 ~]# cat /etc/fstab UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130 / xfs defaults 0 0 UUID=2de37c6b-2648-43b4-a4f5-40162154e135 swap swap defaults 0 0[/code]
-
本帖最后由 达康书记 于 2017-9-13 17:47 编辑平时我们经常碰到要制作镜像的情形,OpenStack推荐了比较多的工具,比如KIWI,Diskimage-builder和virt-builder等。 [code]https://docs.openstack.org/image-guide/create-images-automatically.html[/code] 那么为了避免KVM和XEN下多次制作镜像,如何使用KIWI制作KVM和XEN同时适用的归一化镜像呢? 首先啥是KIWI? [code]https://doc.opensuse.org/projects/kiwi/doc/ https://github.com/openSUSE/kiwi[/code] 1、Linux磁盘分区命名使用by-uuid方式进行统一配置: kiwi的XML配置文件使用的默认方式即by-id,在如下type部分增加一个devicepersistency="by-uuid"即可。 1428 2、添加Linux操作系统自带的xen-pv和virtio前端驱动到initrd或initramfs中 2.1、在kiwi的XML配置文件里增加安装xen-pv和virtio驱动 1429 2.2、在config.sh脚本中增加装载xen-pv和virtio前端驱动到initrd或initramfs中 1430 注意:不同OS发行版装载initrd方式可能有变化 [*]RHEL、CentOS、Oracle系列操作系统,修改/etc/dracut.conf在add-driver项中添加xen-pv和virtio的驱动,执行dracut -f命令,重新生成initrd。 [*]Ubuntu、Debian系列操作系统,修改/etc/initramfs-tools/modules文件,添加xen-pv以及virtio的驱动,执行update-initramfs -u命令,重新生成initrd。 [*]大多数SUSE、OpenSUSE系列操作系统 (少数跟红帽系列OS一样处理即可),修改/etc/sysconfig/kernel文件,在INITRD_MODULES=""添加xen-pv以及virtio的驱动,执行mkinitrd命令,重新生成initrd。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签