• [技术干货] KVM调优指导书
    目录-1 调优概述 -1.1 应用介绍 -1.2 调优思路 -2 硬件调优 -2.1 BIOS配置 -2.1.1.1 设置内存刷新频率为Auto -2.1.1.2 开启NUMA -2.1.1.3 设置Stream Write Mode -2.1.1.4 开启CPU预取配置 -2.1.1.5 开启SRIOV -2.1.1.6 开启SMMU -2.1.1.7 打开内存交织 -3 操作系统调优 -3.1 文件系统调优 -3.2 关闭irqbalance -3.3 网卡中断绑核 -3.4 网络参数调优 -3.5 IO参数调优 -3.6 缓存参数调优 -4 软件调优 -4.1 Cpu绑核 -4.2 虚拟机网卡设置 -4.3 虚拟机存储使用virtio-blk -4.4 低负载调优V-Turbo -4.5 配置Guest NUMA1 调优概述1.1 调优思路      云平台重要的指标在于虚拟机性能的调优。虚拟机性能调优参数涉及cpu、内存、磁盘和网络,此次调优我们将结合ARM架构的优势,结合相关的参数对虚拟机进行不同场景的调优。2 硬件调优具体介绍性能调优在硬件层面的调优手段举例:2.1 BIOS配置2.1.1.1 设置内存刷新频率为Auto服务器重启,进入BIOS,依次选择“Advanced > Memory Config > Custom Refresh Rate”。         设置“Custom Refresh Rate”选项为“Auto”,按F10保存BIOS配置。2.1.1.2 开启NUMA服务器重启,进入BIOS,依次选择“Advanced > Memory Config > NUMA”。          设置“NUMA”选项为“Enable”,按F10保存BIOS配置。2.1.1.3 设置Stream Write Mode服务器重启,进入BIOS,依次选择“Advanced > Performance Config > Stream Write Mode”。              2.设置“Stream Write Mode”选项为“Allocate share LLC”,按F10保存BIOS配置。2.1.1.4 开启CPU预取配置开启CPU预取配置选项的目的在于CPU先行提取下一段指令以提高系统效能。说明:在使用lmbench测试内存带宽时,建议开启CPU预取。在使用lmbench测试内存延迟时,建议关闭CPU预取。     1.服务器重启,进入BIOS,依次选择“Advanced > MISC Config > CPU Prefetching Configuration”。             2.设置“CPU Prefetching Configuration”选项为“Enabled”,按F10保存BIOS配置。2.1.1.5 开启SRIOV    1.服务器重启,进入BIOS,依次选择“Advanced > PCIe Config > SRIOV”。           2.设置“SRIOV”选项为“Enable”,按F10保存BIOS配置。2.1.1.6 开启SMMU     系统存储管理单元(SMMU)是鲲鹏920系列处理器实现虚拟化扩展所提供的一个重要组件。     1.服务器重启,进入BIOS,依次选择“Advanced > MISC Config > Support Smmu”。              2.设置“Support Smmu”选项为“Enabled”。如果已经设置为Enabled,按F10保存BIOS配置。2.1.1.7 打开内存交织    1.进入BIOS,选择“Advanced > Memory Config”。             2.将“Die Interleaving”设置为“Enable”。        3 操作系统调优3.1 文件系统调优目的:       对于不同的IO设备,通过调整文件系统相关参数配置,可以有效提升服务器性能。方法:       以xfs文件系统为例,解释文件系统调优步骤。建议在文件系统的mount参数上加上noatime,nobarrier两个选项。命令为(其中数据盘以及数据目录以实际为准):mount -o noatime,nobarrier /dev/sdb /data1. 一般来说,Linux会给文件记录了三个时间,change time, modify time和access time。access time指文件最后一次被读取的时间。modify time指的是文件的文本内容最后发生变化的时间。change time指的是文件的inode最后发生变化(比如位置、用户属性、组属性等)的时间。     一般来说,文件都是读多写少,而且我们也很少关心某一个文件最近什么时间被访问了。所以,我们建议采用noatime选项,文件系统在程序访问对应的文件或者文件夹时,不会更新对应的access time。这样文件系统不记录access time,避免浪费资源。2. 现在的很多文件系统会在数据提交时强制底层设备刷新cache,避免数据丢失,称之为write barriers。但是,其实我们数据库服务器底层存储设备要么采用RAID卡,RAID卡本身的电池可以掉电保护;要么采用Flash卡,它也有自我保护机制,保证数据不会丢失。所以我们可以安全的使用nobarrier挂载文件系统。对于ext3, ext4和 reiserfs文件系统可以在mount时指定barrier=0。对于xfs可以指定nobarrier选项。3.2 关闭irqbalance目的:       关闭irqbalance,通过手动绑定中断的方法优化性能。方法:                       # 步骤 1 停止irqbalance服务。 systemctl stop irqbalance.service # 步骤 2 关闭irqbalance服务。 systemctl disable irqbalance.service # 步骤 3 查看irqbalance服务状态是否已关闭。 systemctl status irqbalance.service           3.3 网卡中断绑核目的:       手动绑定网卡中断,根据网卡所属CPU将其进行分配,从而优化系统网络性能。方法:     查询网卡所在的CPU,将网络中断绑定到该CPU的所有核上。# 步骤 1 查询中断号。 cat /proc/interrupts | grep $eth | awk -F ':' '{print $1}' #其中$eth表示需要优化的业务网口名称 #例如:cat /proc/interrupts | grep eth1 | awk -F ':' '{print $1}' #步骤 2 根据中断号,将每个中断各绑定在一个核上。 echo $cpunum > /proc/irq/$irq/smp_affinity_list #其中$cpunum表示需要绑定到的目标CPU序列号,$irq表示步骤 1执行的结果,如存在多个序列号,则需逐一执行绑定。                        3.4 网络参数调优目的:       对于不同的操作系统,通过在OS层面调整一些参数配置,可以有效提升服务器性能。方法:      表3-1 OS优化参数Linux参数参数含义操作tcp_max_syn_backlogtcp_max_syn_backlog是指定所能接受SYN同步包的最大客户端数量。默认值是2048,建议修改成8192。echo 8192 > /proc/sys/net/ipv4/tcp_max_syn_backlognet.core.somaxconn服务端所能accept即处理数据的最大客户端数量,即完成连接上限。默认值是128,建议修改成1024。echo 1024 > /proc/sys/net/core/somaxconnnet.core.rmem_max接收套接字缓冲区大小的最大值。默认值是229376,建议修改成16777216。echo 16777216 > /proc/sys/net/core/rmem_maxnet.core.wmem_max发送套接字缓冲区大小的最大值(以字节为单位)。默认值是229376,建议修改成16777216。echo 16777216 > /proc/sys/net/core/wmem_maxnet.ipv4.tcp_rmem配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。默认值是"4096 87380 6291456",建议修改成"4096 87380 16777216"。echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmemnet.ipv4.tcp_wmem配置写缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。默认值是"4096 16384 4194304",建议修改成"4096 65536 16777216"。echo "4096 65536 16777216" > /proc/sys/net/ipv4/tcp_wmemnet.ipv4.max_tw_buckets表示系统同时保持TIME_WAIT套接字的最大数量。默认值是2048,建议修改成360000。echo 360000 > /proc/sys/net/ipv4/tcp_max_syn_backlog 3.5 IO参数调优目的:        对于不同的IO设备,通过在OS层面调整一些IO相关参数配置,可以有效提升服务器性能。方法:Linux参数参数含义操作/sys/block/${device}/queue/scheduler配置IO调度,deadline或者noop更适用于MySQL数据库场景。命令中的${device}为磁盘名称,根据实际磁盘名称进行修改。NVME盘不支持此操作。echo deadline > /sys/block/${device}/queue/scheduler/sys/block/${device}/queue/nr_requests提升磁盘吞吐量,尤其对myisam存储引擎,可以调整到更大。命令中的${device}为磁盘名称,根据实际磁盘名称进行修改。echo 2048 > /sys/block/${device}/queue/nr_requests 3.6 缓存参数调优目的:      对于不同系统的内存使用情况,通过在OS层面调整一些缓存相关参数配置,可以有效提升服务器性能。方法:     表3-2 缓存调优参数Linux参数参数含义操作swappiness值越大,越积极使用swap分区,值越小,越积极使用内存。执行命令 vi /etc/sysctl.conf ,将 vm.swappiness = 1添加到文件底部,保存退出,执行命令sysctl -p使其生效。dirty_ratio内存里的脏数据百分比不能超过这个值。echo 5 > /proc/sys/vm/dirty_ratio4 软件调优4.1  Cpu绑核编辑虚拟机virsh edit vm1,增加cpu绑定参数:<cputune> <vcpupin vcpu="0" cpuset="0-31"/> <vcpupin vcpu="1" cpuset="32-63"/> <vcpupin vcpu="2" cpuset="64-95"/> <vcpupin vcpu="3" cpuset="96-127"/> <emulatorpin cpuset="0-127"/> </cputune>  4.2 虚拟机网卡设置虚拟机xml网卡参数使用virtio模式:      4.3 虚拟机存储使用virtio-blkvirtio-blk虚拟磁盘能够提供相对virtio-scsi虚拟磁盘较高的存储性能。虚拟机xml使用下面配置:     4.4 低负载调优V-Turbo     1.将vCPU的个数设置为虚拟机实际个数。                 2.配置threads为2,vCPU的值为sockets*cores*threads。              4.5 配置Guest NUMA虚拟机xml配置文件进行如下配置:     配置Guest NUMA时可以指定vNode的内存在Host上的分配位置,实现内存的分块绑定,同时配合vCPU绑定,使vNode上的vCPU和内存在同一个物理NUMA node上。虚拟机配置如下:      图1 虚拟机CPU绑核配置          图2 虚拟机NUMA配置         图3 虚拟机NUMA详细配置      4.6 配置KAE4.6.1 环境要求HostOS上已经建立虚拟机。HostOS上已经安装加速器内核驱动,虚拟机上已经安装KAE加速引擎软件包,安装方法请参考安装KAE加速引擎软件。4.6.2 在HostOS上进行虚拟化配置查询HostOS环境中安装的加速器和对应的bdf号。ls -al /sys/class/uacce             2.虚拟化加速器VF(以hisi_sec设备为例,各虚拟出3个VF,对应hisi_sec - 8 ~ hisi_sec - 13)。echo 3 > /sys/devices/pci0000:74/0000:74:01.0/0000:76:00.0/sriov_numvfs echo 3 > /sys/devices/pci0000:b4/0000:b4:01.0/0000:b6:00.0/sriov_numvfs        4.6.3 在虚拟机上配置加速器编辑虚拟机vm1的配置文件。virsh edit test1     2.在配置文件中添加vcpu配置(以配置4个core为例)。<cputune> <vcpupin vcpu='0' cpuset='4'/> <vcpupin vcpu='1' cpuset='5'/> <vcpupin vcpu='2' cpuset='6'/> <vcpupin vcpu='3' cpuset='7'/> <emulatorpin cpuset='4-7'/> </cputune>           上述的配置完成后,虚拟机进程运行会固在指定的主机的物理CPU上。   3.虚拟机配置VF。<hostdev mode='subsystem' type='pci' managed='yes'> <source> <address bus='0x76' slot='0x00' function='0x1'/> </source> </hostdev>      上述的配置完成后,虚拟机挂载了加速器虚拟出来的一个VF。说明:hisi_sec设备SBDF号以0000:7x:xx.x,其对应CPU0上设备;以0000:bx:xx.x为开头,对应CPU1上设备。为保证性能稳定,推荐虚拟机上核选取对应CPU上的core,同时VF也选择对应加速器上虚拟出来的VF。HostOS对单个虚拟机上VF挂载个数存在上限,默认为11个。   4.启动虚拟机。virsh start test1   5.登录虚拟机查询设备。ls /sys/class/uacce/      显示如下,说明挂载的VF已经在虚拟机上读取成功。hisi_sec-0 
  • [交流分享] OS的initrd启动过程小结
    1 qemu-kvm1.1 qemu-kvmKVM只负责CPU和内存的虚拟化,加载了它以后,用户就可以进一步通过工具创建虚拟机(KVM提供接口),但仅有KVM还是不够的,用户无法直接控制内核去做事情(KVM只提供接口,怎么创建虚拟机,分配vCPU等并不在它上面进行),还必须有个运行在用户空间的工具才行,KVM的开发者选择了比较成熟的开源虚拟化软件QEMU来作为这个工具,并对其进行了修改,最后形成了QEMU-KVM。在Qemu-KVM中,KVM运行在内核空间,Qemu运行在用户空间,实际模拟创建、管理各种虚拟硬件,Qemu将KVM整合了进来,通过/ioctl 调用 /dev/kvm,从而将CPU指令的部分交给内核模块来做,KVM实现了CPU和内存的虚拟化,但KVM不能虚拟其他硬件设备,因此Qemu还有模拟IO设备(磁盘,网卡,显卡等)的作用,KVM加上Qemu后就是完整意义上的服务器虚拟化。QEMU-KVM具有两个功能:1>提供对cpu,内存(KVM负责),IO设备(QEMU负责)的虚拟2>对各种虚拟设备的创建,调用进行管理(QEMU负责)1.2 libvirtlibvirt是一个针对各种虚拟化平台的虚拟机管理的API库,libvirt本身不是一种工具,它是一种可以建立工具来管理操作系统的API。libvirt本身构建于一种抽象的概念之上。它为受支持的虚拟机监控程序实现的常用功能提供通用的API。Libvirt可以简单的认为是个虚拟机管理工具,仍然需要通过用户空间的QEMU来与KVM进行交互qemu-kvm启动虚拟机需要指定kernel和initrd以及append等信息,这些都是作为qemu-kvm的启动参数指定的:kernel : 提供内核镜像,bzImageinitrd : 提供initramfsappend : 提供内核参数,指引rootfs所在分区,指引init命令路径2 initrd2.1 initrd启动流程初始RAM磁盘(initrd)是在实际根文件系统(rootfs)可用之前挂载到系统中的一个初始根文件系统(initramfs)。initrd与内核绑定在一起,并作为内核引导过程的一部分进行加载。然后内核会将这个 initrd文件作为其两阶段引导过程的一部分来加载模块,这样才能稍后使用真正的文件系统,并挂载实际的根文件系统。Initrd启动方式中在切根到rootfs之前的各个阶段服务分别是cmdline|pre-udev|pre-trigger|initqueue|pre-mount|mount|pre-pivot|cleanup每个阶段都会有相应的打印日志,比如进入cmdline阶段如下:一个正常的启动流程会拉起很多服务,有些服务是在同一阶段并行拉起的,但是有些服务是有先后顺序的,先后顺序会在服务的配置文件中定义,比如dracut-pre-udev.service,它的前置服务是dracut-cmdline.service,后置服务是systemd-udevd.service和dracut-pre-trigger.service。这些服务的配置文件一般存放在lib/systemd/system/或/etc/systemd/system目录下,不过实际上这些服务是dracut中的模块,如下:更详细的各服务的先后顺序如下图所示,红色显示的服务是基础服务,一般在启动过程中都会有打印,而且可以break进入调试,具体调试方式见下一小节:                                    systemd-journal.socket                                               |                                               v                                    dracut-cmdline.service                                               |                                               v                                    dracut-pre-udev.service                                               |                                               v                                     systemd-udevd.service                                               |                                               vlocal-fs-pre.target                dracut-pre-trigger.service         |                                     |         v                                     v (various mounts)  (various swap  systemd-udev-trigger.service         |           devices...)               |             (various low-level   (various low-level         |               |                     |             services: seed,       API VFS mounts:         v               v                     v             tmpfiles, random     mqueue, configfs,  local-fs.target   swap.target     dracut-initqueue.service    sysctl, ...)        debugfs, ...)         |               |                     |                    |                    |         \_______________|____________________ | ___________________|____________________/                                              \|/                                               v                                        sysinit.target                                               |                             _________________/|\___________________                            /                  |                    \                            |                  |                    |                            v                  |                    v                        (various               |              rescue.service                       sockets...)             |                    |                            |                  |                    v                            v                  |              rescue.target                     sockets.target            |                            |                  |                            \_________________ |                                 emergency.service                                              \|                                         |                                               v                                         v                                         basic.target                             emergency.target                                               |                        ______________________/|                       /                       |                       |                       v                       |            dracut-pre-mount.service                       |                       |                       |                       v                       |                  sysroot.mount                       |                       |                       |                       v                       |             initrd-root-fs.target           (custom initrd services)            |                       |                       v                       |             dracut-mount.service                       |                       |                       |                       v                       |            initrd-parse-etc.service                       |                       |                       |                       v                       |            (sysroot-usr.mount and                       |             various mounts marked                       |               with fstab option                       |                x-initrd.mount)                       |                       |                       |                       v                       |                initrd-fs.target                       \______________________ |                                              \|                                               v                                          initrd.target                                               |                                               v                                    dracut-pre-pivot.service                                               |                                               v                                     initrd-cleanup.service                                          isolates to                                    initrd-switch-root.target                                               |                                               v                        ______________________/|                       /                       |                       |        initrd-udevadm-cleanup-db.service                       |                       |           (custom initrd services)            |                       |                       |                       \______________________ |                                              \|                                               v                                   initrd-switch-root.target                                               |                                               v                                   initrd-switch-root.service                                               |                                               v                                          switch-root2.2 调试若是哪个环节出了问题,可以打断点进入shell界面,方法是在append参数中添加,比如切根失败了,可以在cleanup的时候进入,然后手动尝试切根chroot:rd.break=断点处(如cleanup)其他常用的rd参数是:rd.shell:如果root挂载失败,则允许进入到shellrd.debug:打开debug详细日志更多rd参数可以参考dracut.cmdline官方手册:https://man7.org/linux/man-pages/man7/dracut.cmdline.7.html另外,启动过程中可能出现某个服务异常导致挂起,此时可以用systemd参数:systemd.unit=emergency.target:进入紧急模式,小系统(initramfs)切换到大系统(rootfs)后立马登录shellsystemd.unit=rescue.target:进入救援模式,切换到大系统后哪里出问题了再登录shell3 initramfs和rootfs上一节提到切根,initrd启动方式就是从小文件系统initramfs切换到大文件系统rootfs。Initramfs是在 kernel 2.5中引入的技术,实际上它的含义就是:在内核镜像中附加一个cpio包,这个cpio包中包含了一个小型的文件系统,当内核启动时,内核将这个cpio包解开,并且将其中包含的文件系统释放到rootfs中,内核中的一部分初始化代码会放到这个文件系统中,作为用户层进程来执行。grub2找到kernel和initramfs后, 控制权交给kernel, 然后解压缩initramfs在内存中创建一个rootfs 在这个初始的小型文件系统里,加载一些基本的内核模块, 使OS能识别一些关键的外围设备. 比方说virtio块设备, virtio网络设备 这就是为什么在CentOS7下要将kvm驱动通过dracut打入initramfs的原理. 如果无法识别硬盘, 那么就无法真正的mount到磁盘的根目录.当initramfs文件系统挂在后, kernel将控制权交给pid为1的进程Initramfs是一个精简的文件系统,如下图我们可以看到它是gzip压缩包格式的文件,实际上解压后可以看出它里面是经过cpio压缩过的文件系统,下面我们来解压一下:mv initramfs.lkp-5.4.0-4-arm64.img initramfs.lkp-5.4.0-4-arm64.img.gz:更改后缀名为.gzgunzip initramfs.lkp-5.4.0-4-arm64.img.gz:解压gz文件得到内部的cpio格式文件cpio --no-absolute-filenames -idumv < ./$initrd.img:解压cpio格式文件到当前目录以上就是解压出来的initramfs,可以看出是我们熟悉的根文件系统的结构了。系统加载完一些必要的服务之后,就可以使用网络文件系统进行挂载了,目前我们使用的有nfs和cifs两种挂载方式。
  • [问题求助] 【ECS上面的鲲鹏服务器】【BoostKit ARM】Could not access KVM kernel module
    【功能模块】BoostKit ARM打算搭建安卓模拟器,启动AVD失败。【操作步骤&问题现象】1、ECS购买鲲鹏服务器,2、使用官方android-sdk-linux。3、创建AVD,无异常4、启动AVD,报错。KVM相关。Could not access KVM kernel module: No such file or directoryqemu-system-aarch64: failed to initialize KVM: No such file or directory【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] 【上传私有kylinV10的ISO】【部署kylin安装原生kvm】自定义的kylin ISO如何安装KVM
    【功能模块】配置云服务器并创建Linux系统盘镜像--安装原生的KVM驱动,自定义上传的kylinV10操作系统,如何安装原生态的KVM?请指导安装KVM,谢谢 https://support.huaweicloud.com/usermanual-ims/ims_01_0326.html【操作步骤&问题现象】1、在云上安装自定义的ISO后,查看是否支持kvm,显示不支持2、操作指导上提供的配置文件,未找到此配置文件【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] kvm+qemu版本问题
    最近想在鲲鹏上尝试部署虚拟机,宿主机os是centos7.6,请问下qemu和kvm用系统自带版本就行,还是有更好的版本推荐呢?
  • [技术干货] 2020-09-14:KVM和XEN虚拟化的区别?
    2020-09-14:KVM和XEN虚拟化的区别?#福大大架构师每日一题#
  • [技术干货] 2020-09-08:KVM和OpenStack的区别?
    2020-09-08:KVM和OpenStack的区别?
  • [开发者] 在鲲鹏200上使用KVM部署测试环境一般建议用什么OS
    看了Ubuntu和CentOS  的帖子,好像目前只有UOS可以实现原装virtd启动界面是吧。centos和Ubuntu都需要升级virtd来看到启动界面?除了UOS,有没有其他推荐?
  • [问题求助] arm下的kvm循环进pxe
    尝试过了  hd、cdrom都是进pxehttps://bbs.huaweicloud.com/forum/thread-51938-1-1.htmledk2.git-aarch64-0-20200309.1368.g8c654bb3ec.noarch edk2.git-0-20200309.1368.g8c654bb3ec.aarch64 edk2.git-tools-0-20200309.1368.g8c654bb3ec.aarch64 edk2.git-ovmf-x64-0-20200309.1368.g8c654bb3ec.noarchCompiled against library: libvirt 5.6.0 Using library: libvirt 5.6.0 Using API: QEMU 5.6.0 Running hypervisor: QEMU 4.0.1Compiled against library: libvirt 5.2.0 Using library: libvirt 5.2.0 Using API: QEMU 5.2.0 Running hypervisor: QEMU 4.2.0Compiled against library: libvirt 5.6.0 Using library: libvirt 5.6.0 Using API: QEMU 5.6.0 Running hypervisor: QEMU 4.2.0arm平台下创建的kvm通过pxe安装   安装完成后    设置boot dev='hd'启动不生效    还是重新进入了pxe   以下是我的xml内容     有人遇到相同的情况吗?<domain type='kvm' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>   <name>centos7</name>   <uuid>dd59513f-00a7-4d07-8a7d-7a9311bf77b8</uuid>   <memory unit='KiB'>16777216</memory>   <currentMemory unit='KiB'>16777216</currentMemory>   <vcpu placement='static'>8</vcpu>   <os>     <type arch='aarch64' machine='virt-4.0'>hvm</type>     <loader readonly='yes' type='pflash'>/usr/share/edk2.git/aarch64/QEMU_EFI-pflash.raw</loader>     <nvram>/var/lib/libvirt/qemu/nvram/rhel7-aarch64_VARS.fd</nvram>     <boot dev='network'/>   </os>   <features>     <acpi/>     <apic/>     <pae/>     <gic version='3'/>   </features>   <cpu mode='host-passthrough' check='none'/>   <clock offset='localtime'>     <timer name='rtc' tickpolicy='catchup' track='guest'/>   </clock>   <on_poweroff>destroy</on_poweroff>   <on_reboot>restart</on_reboot>   <on_crash>destroy</on_crash>   <devices>     <emulator>/usr/local/bin/qemu-system-aarch64</emulator>     <disk type='file' device='disk'>       <driver name='qemu' type='qcow2' cache='writeback' io='threads' discard='unmap'/>       <source file='/home/centos7_sda.qcow2'/>       <target dev='sda' bus='sata'/>       <address type='drive' controller='0' bus='0' target='0' unit='0'/>     </disk>     <controller type='scsi' index='0' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>     </controller>     <controller type='scsi' index='1' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/>     </controller>     <controller type='scsi' index='2' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/>     </controller>     <controller type='scsi' index='3' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x0a' function='0x0'/>     </controller>     <controller type='scsi' index='4' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x0b' function='0x0'/>     </controller>     <controller type='scsi' index='5' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x0c' function='0x0'/>     </controller>     <controller type='scsi' index='6' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x0d' function='0x0'/>     </controller>     <controller type='scsi' index='7' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x0e' function='0x0'/>     </controller>     <controller type='scsi' index='8' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x0f' function='0x0'/>     </controller>     <controller type='scsi' index='9' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x10' function='0x0'/>     </controller>     <controller type='scsi' index='10' model='virtio-scsi'>       <address type='pci' domain='0x0000' bus='0x00' slot='0x11' function='0x0'/>     </controller>     <controller type='pci' index='0' model='pcie-root'/>     <controller type='pci' index='1' model='pcie-root-port'>       <model name='pcie-root-port'/>       <target chassis='1' port='0x8'/>       <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x0' multifunction='on'/>     </controller>     <controller type='pci' index='2' model='pcie-root-port'>       <model name='pcie-root-port'/>       <target chassis='2' port='0x9'/>       <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>     </controller>     <controller type='pci' index='3' model='pcie-to-pci-bridge'>       <model name='pcie-pci-bridge'/>       <address type='pci' domain='0x0000' bus='0x02' slot='0x00' function='0x0'/>     </controller>     <controller type='pci' index='4' model='pcie-root-port'>       <model name='pcie-root-port'/>       <target chassis='4' port='0xa'/>       <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/>     </controller>     <controller type='sata' index='0'>       <address type='pci' domain='0x0000' bus='0x03' slot='0x01' function='0x0'/>     </controller>     <interface type='network'>       <mac address='00:16:3b:17:40:7b'/>       <source network='default'/>       <model type='virtio'/>       <address type='pci' domain='0x0000' bus='0x01' slot='0x00' function='0x0'/>     </interface>     <serial type='pty'>       <target type='system-serial' port='0'>         <model name='pl011'/>       </target>     </serial>     <console type='pty'>       <target type='serial' port='0'/>     </console>     <input type='mouse' bus='ps2'/>     <graphics type='vnc' port='45005' autoport='no' listen='0.0.0.0' keymap='en-us'>       <listen type='address' address='0.0.0.0'/>     </graphics>     <video>       <model type='vga' vram='8192' heads='1' primary='yes'/>       <address type='pci' domain='0x0000' bus='0x03' slot='0x02' function='0x0'/>     </video>   </devices> </domain>
  • 【虚拟化】CentOS7.7上直接使用qemu安装虚拟机时使能--ebable-kvm选项卡主
    1       软硬件配置类别子项版本 硬件CPU鲲鹏920网络1822网卡存储SATA 4T内存--OSCentOS7.7Kernel4.18.0-80.7.2.el7.aarch64   2       组网配置不涉及                                    3       问题3.1       问题描述:编译安装qemu-4.2.0后,使用qemu安装OS时,使能--enable-kvm后卡主,不使能--enable-kvm则能正常进入安装界面1)使能--enable-kvm的安装命令,安装后卡主:qemu-system-aarch64  -bios /home/QEMU_EFI.bios -M virt -m   8G  -cpu host --enable-kvm  -cdrom   /home/OS/CentOS-7-aarch64-Everything-1810.iso –nographic –curses2)不使能--enable-kvm的安装命令,安装后能正常进入安装界面:qemu-system-aarch64 -bios QEMU_EFI.bios   -M virt -m 8G -cpu cortex-a57 -cdrom   home/OS/CentOS-7-aarch64-Everything-1810.iso -nographic -curses编译qemu-4.2.0wget   https://download.qemu.org/qemu-4.2.0.tar.xztar -xf qemu-4.2.0.tar.xzcd qemu-4.2.0./configure –prefix=/usr/local/qemu-4.2.0make -j 16 && make install 3.2       问题分析:1.尝试在启动命令中添加串口输出-serial file:/tmp/serial.out,发现串口无任何输出,串口参数设置参考:http://blog.sina.com.cn/s/blog_a1e6528101019xmm.html2.换到CentOS7.6操作系统执行同样命令,发现有coredump报错:qemu-system-aarch64: PMU: KVM_SET_DEVICE_ATTR: Invalid argumentqemu-system-aarch64: failed to set irq for PMUAborted (core dumped)找到解决办法https://vanducuy.wordpress.com/2019/09/09/qemu-install-fedora-28-on-aarch64-failed/,需要添加-machine gic-version=33. 换到CentOS7.7上添加-machine gic-version=3,成功进入安装界面,问题解决3.3       问题结论:CentOS7.7上进程无法coredump,在CetnOS7.6上执行coredump,根据报错发现需要指定GICV3的版本,添加-machine gic-version=3选项后解决。
  • [技术干货] 优化XEN镜像支持发放KVM弹性云服务器(多图~!)
    关注华为云的同学们知道,最近华为云上线了不少基于KVM虚拟化平台的一系列实例,可是有同学要问问题了,我也想体验一下新类型,使用我以前的镜像可以吗? 这个问题是这样滴,判断镜像是否支持KVM虚拟化平台,要看看镜像内部是否具备了KVM驱动以及是否对磁盘标识做了屏蔽虚拟化差异处理,搞定这两点就没问题了 总体四大步: [*]使用已有镜像发放一台通用型Xen云服务器 [*]优化云服务器 [*]制作私有镜像 [*]发放KVM实例 其中优化云服务器使用以下几个步骤: [*]登陆云服务器,检查是否安装了PVDriver,如安装,参考卸载 [*]安装Vmtools( 仅windows涉及) [*]加载KVM Virtio驱动 [*]修改磁盘标识符 关于官方对于镜像优化的资料可参考:Linux镜像优化 Windows镜像优化 以下就是小编手把手教你操作哦,以CentOS系列为例~ 使用CentOS 6.3镜像,发放一台通用型1代云服务器使用密码或密钥登陆 首先检查是否安装了PVDriver E9A0BBAD-F71D-4336-AEED-81101041403F.png (5.38 KB, 下载次数: 0) 下载附件 前天 16:28 上传 如果安装则卸载PVDriver CCCF1C60-FC83-42A0-BAB0-ACAC8E865CD5.png (7.44 KB, 下载次数: 0) 下载附件 前天 16:31 上传 卸载完成后重启云服务器 按照操作指导添加KVM驱动,编辑/etc/dracut.conf 中 add_drivers这一行,添加Xen及KVM驱动 BDB0C48C-6036-47FA-B821-DA10979A1CD1.png (18.72 KB, 下载次数: 0) 下载附件 前天 16:31 上传 添加完成保存后退出 执行dracut -f 重新生成initrd 293944FC-1241-4E38-8B67-D9D829AF199F.png (1.9 KB, 下载次数: 0) 下载附件 前天 16:32 上传 接着分别执行以下两条检查是否加载了原生KVM驱动模块(kernel自带哦) lsinitrd /boot/initramfs-`uname -r`.img | grep xenlsinitrd /boot/initramfs-`uname -r`.img | grep virtio B55E10B8-99E7-4141-881B-4A1276BBAF32.png (17.64 KB, 下载次数: 0) 下载附件 前天 16:33 上传 检查/etc/fstab 及 /boot/grub.conf 中磁盘标识是否修改为UUID方式 CF56A73C-402B-4283-93A4-82287A7FDCF3.png (14.76 KB, 下载次数: 0) 下载附件 前天 16:35 上传 CE478BB0-C2E2-4845-A704-BEC407534891.png (16.89 KB, 下载次数: 0) 下载附件 前天 16:36 上传 小编的镜像已经修改过了,没有修改的同学可以参考下面的链接修改,很详细哦http://support.huaweicloud.com/usermanual-ims/zh-cn_topic_0037352187.html#ZH-CN_TOPIC_0037352187__zh-cn_topic_0036684071_section6583579215424 将该云服务器关机并制作为私有镜像 20F49D0B-9BAE-4D36-AAF6-20A47F579B25.png (16.01 KB, 下载次数: 0) 下载附件 前天 16:38 上传 使用私有镜像发放KVM实例检查一下效果 陆OK , 撒花~! 584A8AFC-C8F1-4C24-A634-49273049BE8E.png (14.49 KB, 下载次数: 0) 下载附件 前天 16:38 上传
  • [技术干货] 优化XEN镜像支持发放KVM弹性云服务器(多图~!)
    本帖最后由 沙书记 于 2017-11-7 16:56 编辑 关注华为云的同学们知道,最近华为云上线了不少基于KVM虚拟化平台的一系列实例,可是有同学要问问题了,我也想体验一下新类型,使用我以前的镜像可以吗? 这个问题是这样滴,判断镜像是否支持KVM虚拟化平台,要看看镜像内部是否具备了KVM驱动以及是否对磁盘标识做了屏蔽虚拟化差异处理,搞定这两点就没问题了 总体四大步: [*]使用已有镜像发放一台通用型Xen云服务器 [*]优化云服务器 [*]制作私有镜像 [*]发放KVM实例 其中优化云服务器使用以下几个步骤: [*]登陆云服务器,检查是否安装了PVDriver,如安装,参考卸载 [*]安装Vmtools( 仅windows涉及) [*]加载KVM Virtio驱动 [*]修改磁盘标识符 关于官方对于镜像优化的资料可参考:Linux镜像优化 Windows镜像优化 以下就是小编手把手教你操作哦,以CentOS系列为例~ 使用CentOS 6.3镜像,发放一台通用型1代云服务器使用密码或密钥登陆 首先检查是否安装了PVDriver 4359 如果安装则卸载PVDriver 4361 卸载完成后重启云服务器 按照操作指导添加KVM驱动,编辑/etc/dracut.conf 中 add_drivers这一行,添加Xen及KVM驱动 4362 添加完成保存后退出 执行dracut -f 重新生成initrd 4363 接着分别执行以下两条检查是否加载了原生KVM驱动模块(kernel自带哦) lsinitrd /boot/initramfs-`uname -r`.img | grep xenlsinitrd /boot/initramfs-`uname -r`.img | grep virtio 4364 检查/etc/fstab 及 /boot/grub.conf 中磁盘标识是否修改为UUID方式4365 4366小编的镜像已经修改过了,没有修改的同学可以参考下面的链接修改,很详细哦http://support.huaweicloud.com/usermanual-ims/zh-cn_topic_0037352187.html#ZH-CN_TOPIC_0037352187__zh-cn_topic_0036684071_section6583579215424 将该云服务器关机并制作为私有镜像 4367 使用私有镜像发放KVM实例检查一下效果 陆OK , 撒花~! 4368
  • [技术干货] 如何统一KVM和XEN虚拟机的磁盘分区盘符命名方式
    周所周知,XEN虚拟机的磁盘分区盘符命名是/dev/xvd*,KVM虚拟机的磁盘分区盘符命名是/dev/vd*,那么如何统一KVM和XEN虚拟机的磁盘分区盘符命名方式,使得统一个镜像在XEN和KVM下能兼容使用呢。 1、以CentOS7.1为例,执行blkid命令获取根分区分区对应的UUID并记录下来,编辑/boot/grub2/grub.cfg文件,使用根分区的UUID来配置boot项。如果根分区已经使用UUID形式则不需要修改。 [code][root@PEK1000012301 ~]# blkid /dev/xvda2: UUID="4eb40294-4c6f-4384-bbb6-b8795bbb1130" TYPE="xfs" /dev/xvda1: UUID="2de37c6b-2648-43b4-a4f5-40162154e135" TYPE="swap" [/code] 修改前: [code][root@CTU1000028010 ~]# cat /boot/grub2/grub.cfg …… menuentry 'Red Hat Enterprise Linux Server 7.1 (Maipo), with Linux 3.10.0-229.el7.x86_64' --class fedora --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-229.el7.x86_64-advanced-4eb40294-4c6f-4384-bbb6-b8795bbb1130' { load_video set gfxpayload=keep insmod gzio insmod part_msdos insmod xfs set root='hd0,msdos2' if [ x$feature_platform_search_hint = xy ]; then search --no-floppy --fs-uuid --set=root --hint='hd0,msdos2'4eb40294-4c6f-4384-bbb6-b8795bbb1130 else search --no-floppy --fs-uuid --set=root 4eb40294-4c6f-4384-bbb6-b8795bbb1130 fi linux16 /boot/vmlinuz-3.10.0-229.el7.x86_64 root=/dev/xvda2 ro crashkernel=auto rhgb quiet LANG=en_US.UTF-8 initrd16 /boot/initramfs-3.10.0-229.el7.x86_64.img } [/code] 说明: 根据/boot/grub/grub.conf配置文件里标记的根分区,找到root=/dev/xvda2,再根据blkid命令获取的分区对应UUID将root分区改成UUID形式root=UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130。 修改后 [code][root@CTU1000028010 ~]# cat /boot/grub2/grub.cfg …… menuentry 'Red Hat Enterprise Linux Server 7.1 (Maipo), with Linux 3.10.0-229.el7.x86_64' --class fedora --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-229.el7.x86_64-advanced-4eb40294-4c6f-4384-bbb6-b8795bbb1130' { load_video set gfxpayload=keep insmod gzio insmod part_msdos insmod xfs set root='hd0,msdos2' if [ x$feature_platform_search_hint = xy ]; then search --no-floppy --fs-uuid --set=root --hint='hd0,msdos2'4eb40294-4c6f-4384-bbb6-b8795bbb1130 else search --no-floppy --fs-uuid --set=root 4eb40294-4c6f-4384-bbb6-b8795bbb1130 fi linux16 /boot/vmlinuz-3.10.0-229.el7.x86_64 root=UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130 ro crashkernel=auto rhgb quiet LANG=en_US.UTF-8 initrd16 /boot/initramfs-3.10.0-229.el7.x86_64.img }[/code] 2、以CentOS7.1为例,执行blkid命令获取所有分区对应的UUID并记录下来,编辑/etc/fstab文件,使用分区的UUID来配置分区自动挂载。 [code][root@CTU1000028010 ~]# blkid /dev/xvda2: UUID="4eb40294-4c6f-4384-bbb6-b8795bbb1130" TYPE="xfs" /dev/xvda1: UUID="2de37c6b-2648-43b4-a4f5-40162154e135" TYPE="swap"[/code] 修改前 [code][root@CTU1000028010 ~]# cat /etc/fstab /dev/xvda2 / xfs defaults 0 0 /dev/xvda1 swap swap defaults 0 0[/code] 修改后 [code][root@CTU1000028010 ~]# cat /etc/fstab UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130 / xfs defaults 0 0 UUID=2de37c6b-2648-43b4-a4f5-40162154e135 swap swap defaults 0 0[/code]
  • [技术干货] 使用KIWI如何制作KVM和XEN同时适用的归一化镜像
    本帖最后由 达康书记 于 2017-9-13 17:47 编辑平时我们经常碰到要制作镜像的情形,OpenStack推荐了比较多的工具,比如KIWI,Diskimage-builder和virt-builder等。 [code]https://docs.openstack.org/image-guide/create-images-automatically.html[/code] 那么为了避免KVM和XEN下多次制作镜像,如何使用KIWI制作KVM和XEN同时适用的归一化镜像呢? 首先啥是KIWI? [code]https://doc.opensuse.org/projects/kiwi/doc/ https://github.com/openSUSE/kiwi[/code] 1、Linux磁盘分区命名使用by-uuid方式进行统一配置: kiwi的XML配置文件使用的默认方式即by-id,在如下type部分增加一个devicepersistency="by-uuid"即可。 1428 2、添加Linux操作系统自带的xen-pv和virtio前端驱动到initrd或initramfs中 2.1、在kiwi的XML配置文件里增加安装xen-pv和virtio驱动 1429 2.2、在config.sh脚本中增加装载xen-pv和virtio前端驱动到initrd或initramfs中 1430 注意:不同OS发行版装载initrd方式可能有变化 [*]RHEL、CentOS、Oracle系列操作系统,修改/etc/dracut.conf在add-driver项中添加xen-pv和virtio的驱动,执行dracut -f命令,重新生成initrd。 [*]Ubuntu、Debian系列操作系统,修改/etc/initramfs-tools/modules文件,添加xen-pv以及virtio的驱动,执行update-initramfs -u命令,重新生成initrd。 [*]大多数SUSE、OpenSUSE系列操作系统 (少数跟红帽系列OS一样处理即可),修改/etc/sysconfig/kernel文件,在INITRD_MODULES=""添加xen-pv以及virtio的驱动,执行mkinitrd命令,重新生成initrd。
总条数:49 到第 页
上滑加载中