☰

为 guest 启用大页面时出现 libvirt 错误

tag-icon • tag-icon kvm
为 guest 启用大页面时出现 libvirt 错误

virt-manager我正在尝试通过（和命令行）使用 libvirt 和 KVM 设置virsh具有大页面支持的 VM，但在域 XML 中启用该选项时出现错误。不知道问题出在哪里。

我正在使用升级到 14.10 的 Ubuntu 14.04，其软件包版本如下：

  • libvirt-bin 1.2.8-0ubuntu11
  • qemu-kvm 2.1+dfsg-4ubuntu6

规格

我已经配置了大页面如下指导。以下是有关当前配置的一些信息：

$ hugeadm --explain
Total System Memory: 15808 MB

Mount Point          Options
/dev/hugepages       rw,relatime,mode=1770,gid=126

Huge page pools:
      Size  Minimum  Current  Maximum  Default
   2097152     2176     2176     2176        *

Huge page sizes with configured pools:
2097152

$ getent group kvm
kvm:x:126:chaicko

$ cat /proc/meminfo | grep Huge
AnonHugePages:    591872 kB
HugePages_Total:    2176
HugePages_Free:     2176
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

这是域 XML：

<domain type='kvm' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
  <name>win8</name>
  <uuid>b85bbb9a-745f-4293-a990-1e1726240ef0</uuid>
  <memory unit='KiB'>4194304</memory>
  <currentMemory unit='KiB'>4194304</currentMemory>
  <memoryBacking>
    <hugepages/>
  </memoryBacking>
  <vcpu placement='static'>4</vcpu>
  <os>
    <type arch='x86_64' machine='pc-i440fx-utopic'>hvm</type>
  </os>
  <features>
    <acpi/>
    <apic/>
    <pae/>
  </features>
  <cpu mode='custom' match='exact'>
    <model fallback='allow'>Haswell</model>
  </cpu>
  <clock offset='localtime'>
    <timer name='rtc' tickpolicy='catchup'/>
    <timer name='pit' tickpolicy='delay'/>
    <timer name='hpet' present='no'/>
  </clock>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>restart</on_crash>
  <pm>
    <suspend-to-mem enabled='no'/>
    <suspend-to-disk enabled='no'/>
  </pm>
  <devices>
    <emulator>/usr/bin/qemu-system-x86_64</emulator>
    <disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none' io='native'/>
      <source dev='/dev/vmvg/win8'/>
      <target dev='vda' bus='virtio'/>
      <boot order='2'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
    </disk>
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <source file='/home/chaicko/Downloads/virtio-win-0.1-81.iso'/>
      <target dev='hda' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <source file='/home/chaicko/Downloads/WINDOWS_8.1_Pro_X64/Windows_8.1_Pro_X64.iso'/>
      <target dev='hdb' bus='ide'/>
      <readonly/>
      <boot order='1'/>
      <address type='drive' controller='0' bus='0' target='0' unit='1'/>
    </disk>
    <controller type='usb' index='0' model='ich9-ehci1'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x7'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci1'>
      <master startport='0'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0' multifunction='on'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci2'>
      <master startport='2'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x1'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci3'>
      <master startport='4'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x2'/>
    </controller>
    <controller type='pci' index='0' model='pci-root'/>
    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
    </controller>
    <controller type='virtio-serial' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
    </controller>
    <controller type='scsi' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/>
    </controller>
    <interface type='network'>
      <mac address='52:54:00:48:ca:09'/>
      <source network='default'/>
      <model type='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
    </interface>
    <serial type='pty'>
      <target port='0'/>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
    </console>
    <channel type='spicevmc'>
      <target type='virtio' name='com.redhat.spice.0'/>
      <address type='virtio-serial' controller='0' bus='0' port='1'/>
    </channel>
    <input type='tablet' bus='usb'/>
    <input type='mouse' bus='ps2'/>
    <input type='keyboard' bus='ps2'/>
    <graphics type='spice' autoport='yes'/>
    <sound model='ich6'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </sound>
    <video>
      <model type='qxl' ram='65536' vram='65536' heads='1'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </video>
    <hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x01' slot='0x00' function='0x0'/>
      </source>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x0a' function='0x0'/>
    </hostdev>
    <hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x01' slot='0x00' function='0x1'/>
      </source>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x0b' function='0x0'/>
    </hostdev>
    <redirdev bus='usb' type='spicevmc'>
    </redirdev>
    <redirdev bus='usb' type='spicevmc'>
    </redirdev>
    <redirdev bus='usb' type='spicevmc'>
    </redirdev>
    <redirdev bus='usb' type='spicevmc'>
    </redirdev>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/>
    </memballoon>
  </devices>
  <qemu:commandline>
    <qemu:arg value='-drive'/>
    <qemu:arg value='if=pflash,readonly,format=raw,file=/usr/share/qemu/OVMF.fd'/>
  </qemu:commandline>
</domain>

问题

如果我删除该<memoryBacking>选项，那么它会起作用，但如果没有，它会失败并出现以下错误：

error: internal error: process exited while connecting to monitor:

我还取消了以下行的注释/etc/libvirt/qemu.conf：

hugetlbfs_mount = "/dev/hugepages"

通过 shell 运行 qemu 指示使用大页面确实有效 ( -mem-path /dev/hugepages)。

我究竟做错了什么？任何帮助表示赞赏。

答案1

根据 libvirt 文档，本节标题为：内存支持。

可选的 memoryBacking 元素可能包含多个影响主机页面支持虚拟内存页面的方式的元素。

大页

这告诉虚拟机管理程序应该使用大页而不是正常的本机页面大小来分配来宾内存。从 1.2.5 开始，可以为每个 numa 节点更具体地设置大页。引入页面元素。它有一个强制属性 size，指定应使用哪些大页（在支持不同大小的大页的系统上特别有用）。大小属性的默认单位是千字节（1024 的倍数）。如果您想使用不同的单位，请使用可选的单位属性。对于具有 NUMA 的系统，可选的节点集属性可能会很方便，因为它将给定来宾的 NUMA 节点与某些大页面大小联系起来。从示例代码片段来看，除 4 号节点外，每个 NUMA 节点都使用 1 GB 的大页。正确的语法参见这。

没有共享页面

指示虚拟机管理程序禁用该域的共享页面（内存合并、KSM）。从1.0.6开始

锁定

当虚拟机管理程序设置并支持时，属于该域的内存页面将被锁定在主机的内存中，并且主机将不允许将它们换出。对于QEMU/KVM，这需要hard_limit内存调整要使用的元素并设置为为域配置的最大内存加上 QEMU 进程本身消耗的任何内存。从1.0.6开始

例子

<domain>
  ...
  <memoryBacking>
    <hugepages>
      <page size="1" unit="G" nodeset="0-3,5"/>
      <page size="2" unit="M" nodeset="4"/>
    </hugepages>
    <nosharepages/>
    <locked/>
  </memoryBacking>
  ...
</domain>

既然你没有说，我假设你想将所有内存分配给这个特定的来宾。如果是这样，您可能可以尝试完全省略此部分。

替代方向

我在这篇文章中找到了 RHEL 5 和 6 步骤，标题为：如何设置 KVM 来宾以使用 HugePages？显示如何设置，如下所示：

摘抄

在主机上挂载HugeTLB文件系统

您可以使用任何所需的挂载点，这里我们创建了 /hugepages

  mkdir -p /hugepages
  mount -t hugetlbfs hugetlbfs /hugepages

这也可以通过 中的条目实现/etc/fstab，例如

  hugetlbfs    /hugepages    hugetlbfs    defaults    0 0

增加主机上的内存锁定限制

/etc/security/limits.conf根据您所需的内存使用情况更改以下值

  # Lock max 8Gb
  soft memlock 8388608
  hard memlock 8388608

保留 HugePages 并授予 KVM 组访问它们的权限

/etc/sysctl.conf根据您所需的内存使用情况更改以下行

  vm.nr_hugepages = 4096
  vm.hugetlb_shm_group = 36

将 HugePage 支持添加到 KVM 来宾定义中

将以下内容添加到现有 KVM 来宾的来宾配置中。这可以通过virsh edit <guestname>或 来完成virsh define <guest.xml>

  <memoryBacking>
      <hugepages/>
  </memoryBacking>

重启主机

这是将连续内存重新分配给 HugePages 所必需的

开始做客

确认来宾具有 HugePage 支持 检查qemu-kvm与该来宾关联的进程是否存在 -mem-path在运行命令中

  ps -ef | grep qemu

  root      4182     1  1 17:35 ?        00:00:42 /usr/libexec/qemu-kvm -S -M rhel5.4.0 -m 1024 -mem-prealloc
-mem-path /hugepages/libvirt/qemu -smp 1 -name vm1 -uuid 3f1f3a98-89f8-19ac-b5b5-bf496e2ed9be -no-kvm-pit-reinjection
-monitor pty -pidfile /var/run/libvirt/qemu//vm1.pid -boot c -drive file=/vmimages/vm1,if=ide,index=0,boot=on,cache=none
-drive file=,if=ide,media=cdrom,index=2 -net nic,macaddr=54:52:00:00:00:01,vlan=0 -net tap,fd=15,script=,vlan=0,ifname=vnet0
-serial pty -parallel none -usb -vnc 127.0.0.1:0 -k en-us

确认系统上的 HugePage 使用情况

在这里我们可以看到 HugePages 在启动时被分配，以及为来宾使用/保留

  cat /proc/meminfo | grep Huge

  HugePages_Total:    4096
  HugePages_Free:      873
  HugePages_Rsvd:      761
  Hugepagesize:       2048 kB

根本原因

为 KVM guest 虚拟机分配内存的默认方法是使用常规 4k 页面。这可能会导致

  • 大页表占用不必要且低效的内存量
  • 内存碎片增加，这可能会减慢一些需要连续内存的基于内核的操作（例如：磁盘写入、网络访问）
  • 增加页面错误可能会减慢所有应用程序的速度
  • 冒着将虚拟来宾组件交换到磁盘的风险，这会导致性能大幅下降

使用 HugePages，页表大小显着减小，连续的内存区域被映射，并且 HugePages 无法通过设计进行交换。

笔记：这些步骤对于 RHEL6 上的 KVM 来说不是必需的，它使用透明 HugePages 动态映射连续的 2Mb 内存区域，但也允许将内存分解为 4k 页面，以便与 KSM 合并或在系统面临内存压力时进行交换。

如果需要 HugePages 而不是透明 HugePages，则上述步骤可以应用于 RHEL6。

答案2

回答我自己的问题，以便在libvirtin中使用大页面乌班图KVM_HUGEPAGES=1，你只需在文件中设置/etc/default/qemu-kvm并重新启动即可。

这与这个有关错误修正。

答案3

qemu-system-x86_64：无法映射来宾 RAM 的后备存储：无法分配内存

验证来宾内存不超过分配给大页的量。

相关内容