KVM 的固件、VFIO、virtiofs 与镜像链

# Arch Linux
sudo pacman -S edk2-ovmf

# Ubuntu / Debian
sudo apt install ovmf

# Fedora
sudo dnf install edk2-ovmf

# Arch / Fedora
ls /usr/share/edk2-ovmf/
# OVMF_CODE.fd        -- 只读固件代码 (UEFI 运行时)
# OVMF_VARS.fd        -- 可变存储模板 (NVRAM, 启动项, 证书)
# OVMF_CODE.secboot.fd -- 带 Secure Boot 的固件代码

# Ubuntu / Debian
ls /usr/share/OVMF/
# OVMF_CODE.fd
# OVMF_CODE_4M.fd       -- 4MB 版本 (推荐用于现代 OS)
# OVMF_VARS.fd

flowchart LR
    A[Host: OVMF_CODE.fd] -->|readonly, shared| B[Guest NVRAM]
    C[Host: OVMF_VARS.fd] -->|copy-on-write| D[Per-VM VARS file]
    D --> E[Boot entries / Keys / Certificates]
    B --> F[UEFI Runtime in Guest]

<os firmware='efi'>
  <type arch='x86_64' machine='q35'>hvm</type>
  <firmware>
    <feature enabled='yes' name='enrolled-keys'/>
    <feature enabled='yes' name='secure-boot'/>
  </firmware>
  <!-- 新建域让 libvirt 根据固件元数据选择兼容的 Secure Boot CODE/VARS。 -->
</os>

<!-- 启用 Secure Boot -->
<os firmware='efi'>
  <loader readonly='yes' secure='yes' type='pflash'>
    /usr/share/edk2-ovmf/OVMF_CODE.secboot.fd
  </loader>
</os>

# Arch Linux
sudo pacman -S swtpm

# Ubuntu / Debian
sudo apt install swtpm swtpm-tools

# Fedora
sudo dnf install swtpm swtpm-tools

<tpm model='tpm-crb'>
  <backend type='emulator' version='2.0'>
    <encryption secret='...'/>
  </backend>
</tpm>

<!-- 演示 UEFI/TPM 相关片段；并非全部 Windows 11 硬件要求 -->
<os firmware='efi'>
  <type arch='x86_64' machine='q35'>hvm</type>
  <firmware>
    <feature enabled='yes' name='secure-boot'/>
  </firmware>
</os>
<tpm model='tpm-crb'>
  <backend type='emulator' version='2.0'/>
</tpm>

# /etc/default/grub (GRUB 用户)
GRUB_CMDLINE_LINUX_DEFAULT="... intel_iommu=on iommu=pt"
# Intel: 按内核/固件需要检查 intel_iommu=on；AMD 通常自动初始化，iommu.strict=1 不是启用开关
# iommu=pt: 直通模式下不对 host 设备做 DMA 重映射，减少性能开销

# systemd-boot 用户
# /boot/loader/entries/xxx.conf
options ... intel_iommu=on iommu=pt

# 更新引导配置
sudo grub-mkconfig -o /boot/grub/grub.cfg   # GRUB

# 检查内核日志
dmesg | grep -i iommu
# Intel 输出示例: DMAR-IR: Enabled IRQ remapping in x2apic mode
# AMD 输出示例: AMD-Vi: Enabling IOMMU

# 检查 DMAR / AMD-Vi 表
dmesg | grep -i -e DMAR -e IOMMU

# 验证 IOMMU 分组
find /sys/kernel/iommu_groups/ -type l | sort -V

# 查看每个分组的设备
#!/bin/bash
for g in $(find /sys/kernel/iommu_groups/ -maxdepth 1 -type d | sort -V); do
    echo "IOMMU Group ${g##*/}:"
    for d in $(find $g/devices/ -type l); do
        echo "  $(basename $d) ($(lspci -nns $(basename $d) | cut -d' ' -f2-))"
    done
done

flowchart TD
    A[物理 PCIe 设备] --> B{IOMMU 组内仅有目标设备?}
    B -->|是| C[跳过 ACS]
    B -->|否| D{可以更换 PCIe 插槽?}
    D -->|是| E[换插槽后重试]
    D -->|否| F[停止分配并评估硬件隔离]
    F --> G["ACS override 不提供真实硬件隔离"]
    G --> H[⚠️ 安全隔离被破坏，注意风险]
    C --> I[绑定到 vfio-pci]

lspci -nn | grep -i nvidia
# 输出示例:
# <PCI_BDF> VGA compatible controller [...] [<VENDOR_DEVICE_ID>]
# <PCI_BDF> Audio device [...] [<VENDOR_DEVICE_ID>]
#
# <VENDOR_DEVICE_ID> = GPU 本体
# <VENDOR_DEVICE_ID> = HDMI Audio 功能
# 检查同组与关联功能、宿主依赖和VFIO绑定条件；需要分配的功能明确列出

# /etc/modprobe.d/vfio.conf
# 用你的 GPU PCI ID 替换
options vfio-pci ids=<VENDOR_DEVICE_ID>,<VENDOR_DEVICE_ID>

# 同时黑名单宿主机显卡驱动
# /etc/modprobe.d/blacklist.conf
blacklist nouveau
blacklist nvidia
blacklist nvidiafb

# /etc/mkinitcpio.conf (Arch Linux)
MODULES=(... vfio_pci vfio vfio_iommu_type1 ...)
# 旧内核可能有 vfio_virqfd；Linux 6.2 起功能并入 VFIO，勿盲目加载不存在的模块。
# 然后 sudo mkinitcpio -P

# /etc/initramfs-tools/modules (Debian/Ubuntu)
vfio
vfio_iommu_type1
vfio_pci

# 然后 sudo update-initramfs -u -k all

vfio-pci.ids=<VENDOR_DEVICE_ID>,<VENDOR_DEVICE_ID>

lspci -k -s "<PCI_BDF>"
# Kernel driver in use: vfio-pci  <-- 成功

<hostdev mode='subsystem' type='pci' managed='yes'>
  <source>
    <address domain='<PCI_DOMAIN>' bus='<GPU_BUS>' slot='<GPU_SLOT>' function='<GPU_FUNCTION>'/>
  </source>
  <rom bar='on'/>
  <address type='pci' domain='0x0000' bus='0x06' slot='0x00' function='0x0'/>
</hostdev>
<hostdev mode='subsystem' type='pci' managed='yes'>
  <source>
    <address domain='<PCI_DOMAIN>' bus='<GPU_BUS>' slot='<GPU_SLOT>' function='<GPU_AUDIO_FUNCTION>'/>
  </source>
  <address type='pci' domain='0x0000' bus='0x07' slot='0x00' function='0x0'/>
</hostdev>

# 找到独立的 USB 控制器
lspci | grep USB
# 示例: <USB_CONTROLLER_BDF> USB controller: Intel Corp. ...

# 在 virt-manager 中: Add Hardware → PCI Host Device → 选择 USB 控制器

flowchart LR
    subgraph Guest
        A[Guest Application]
        B[virtio Frontend Driver]
    end
    subgraph Hypervisor
        C[QEMU virtio Backend]
        D["vhost (kernel)"]
        E["vhost-user (userspace)"]
    end
    subgraph Host Hardware
        F[Physical I/O Device]
    end

    A --> B
    B -->|virtqueue / shared memory| C
    C --> D
    C --> E
    D --> F
    E --> F

# 下载 virtio-win ISO
wget https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso

# 挂载到虚拟机，然后在 Windows 中浏览安装

# virtio 驱动内置于内核主线，只需安装 guest-agent
sudo apt install qemu-guest-agent        # Debian/Ubuntu
sudo pacman -S qemu-guest-agent           # Arch
sudo dnf install qemu-guest-agent         # Fedora

# 启用并启动服务
sudo systemctl enable --now qemu-guest-agent

<cputune>
  <vcpupin vcpu='0' cpuset='2'/>
  <vcpupin vcpu='1' cpuset='8'/>
  <vcpupin vcpu='2' cpuset='3'/>
  <vcpupin vcpu='3' cpuset='9'/>
  <emulatorpin cpuset='0-1'/>
  <iothreadpin iothread='1' cpuset='10-11'/>
</cputune>

# 内核命令行添加，防止宿主机使用指定核心
isolcpus=2-9,10-17
# isolcpus 的 domain 隔离标志被标为 deprecated，其他标志语义不同；优先评估可动态管理的 cpuset，并保留 housekeeping CPU

<cpu mode='host-passthrough' check='none'>
  <topology sockets='1' dies='1' cores='4' threads='2'/>
  <cache mode='passthrough'/>
  <feature policy='require' name='topoext'/>
</cpu>

# 宿主机配置 2MB 大页
# /etc/default/grub 或内核命令行
hugepagesz=2M hugepages=4096
# 4096 × 2MB = 8GB 大页池

# 运行时配置
sudo sysctl vm.nr_hugepages=4096

# 查看大页状态
cat /proc/meminfo | grep Huge

<!-- libvirt XML -->
<memoryBacking>
  <hugepages/>
  <locked/>
</memoryBacking>

<interface type='network'>
  <model type='virtio'/>
  <driver name='vhost' queues='8'/>
</interface>

# Guest 内设置队列数
sudo ethtool -L eth0 combined 8

# 验证
ethtool -l eth0

<!-- iothreads 在 domain 顶层，disk driver 引用对应 ID；本片段须放入正确位置。 -->
<iothreads>1</iothreads>
<!-- devices 内： -->
<disk type='file' device='disk'>
  <driver name='qemu' type='qcow2' cache='none' io='native' discard='unmap' iothread='1'/>
  <source file='/var/lib/libvirt/images/vm.qcow2'/>
  <target dev='vda' bus='virtio'/>
</disk>

# 确认 virtiofsd 可用
which virtiofsd
# 通常位于 /usr/lib/qemu/virtiofsd 或 /usr/libexec/virtiofsd

mkdir -p ~/vm-shared
chmod 755 ~/vm-shared

<domain type='kvm'>
  <!-- ... -->
  <memoryBacking>
    <source type='memfd'/>
    <access mode='shared'/>
  </memoryBacking>
  <!-- ... -->
</domain>

<filesystem type='mount' accessmode='passthrough'>
  <driver type='virtiofs'/>
  <source dir='/home/user/vm-shared'/>
  <target dir='share_tag'/>
  <binary path='/usr/libexec/virtiofsd' xattr='on'>
    <cache mode='always'/>
    <sandbox mode='chroot'/>
  </binary>
</filesystem>

# 手动挂载
sudo mount -t virtiofs share_tag /mnt/shared

# 验证挂载
mount | grep virtiofs
df -h /mnt/shared

# 自动挂载 (/etc/fstab)
share_tag  /mnt/shared  virtiofs  defaults  0  0

<memoryBacking>
  <source type='memfd'/>
  <access mode='shared'/>
</memoryBacking>
<!-- ... -->
<filesystem type='mount' accessmode='passthrough'>
  <driver type='virtiofs'/>
  <source dir='/home/user/vm-shared'/>
  <target dir='share_tag'/>
  <binary path='/usr/libexec/virtiofsd'>
    <cache mode='always'/>
  </binary>
</filesystem>

sudo mount -t virtiofs -o dax share_tag /mnt/shared

# ========== 创建镜像 ==========

# 创建 qcow2 格式（精简配置，按需增长）
qemu-img create -f qcow2 disk.qcow2 40G

# 创建预分配 qcow2（避免碎片）
qemu-img create -f qcow2 -o preallocation=full disk.qcow2 40G

# 创建 raw 格式（通常是稀疏文件；完整预分配可显式选择 preallocation=full）
qemu-img create -f raw disk.raw 40G

# 创建 qcow2 带集群大小（默认 64K）
qemu-img create -f qcow2 -o cluster_size=2M disk.qcow2 100G

# ========== 转换镜像 ==========

# raw -> qcow2（最常用：回收空间）
qemu-img convert -f raw -O qcow2 old.img new.qcow2

# qcow2 -> raw（性能优化）
qemu-img convert -f qcow2 -O raw old.qcow2 new.raw

# 压缩转换（-c 压缩目标镜像）
qemu-img convert -c -f raw -O qcow2 old.img compressed.qcow2

# 离线转换：-W 允许目标乱序写，不提供在线一致性；仅在合适的预分配目标上考虑
qemu-img convert -f raw -O qcow2 source.img target.qcow2
# 进阶示意：预分配 raw 目标；仍要求源离线
qemu-img convert -W -f raw -O raw -o preallocation=full source.img target.raw

# ========== 查看信息 ==========

# 查看镜像元数据
qemu-img info disk.qcow2
# virtual size: 40 GiB
# disk size: 2.3 GiB
# cluster_size: 65536
# backing file: base.qcow2

# 查看详细 JSON 输出
qemu-img info --output=json disk.qcow2

# 一致性检查
qemu-img check disk.qcow2

# 修复发现的错误（慎用）
qemu-img check -r all disk.qcow2

# ========== 快照操作 ==========

# 创建快照
qemu-img snapshot -c snap1_before_update disk.qcow2

# 列出所有快照
qemu-img snapshot -l disk.qcow2

# 应用/回滚到某快照
qemu-img snapshot -a snap1_before_update disk.qcow2

# 删除快照
qemu-img snapshot -d snap1_before_update disk.qcow2

# ========== 调整大小 ==========

# 扩容（仅扩大虚拟磁盘，分区/文件系统需在 guest 内扩展）
qemu-img resize disk.qcow2 +20G

# 缩容（先在客体/离线工具中安全缩文件系统与分区；新边界必须容纳全部结构与数据，XFS 等不支持常规缩容）
qemu-img resize disk.qcow2 -10G --shrink

# 显式截短该镜像的虚拟大小（不是重新计算链；满足全部缩容前提才可操作）
qemu-img resize --shrink disk.qcow2 20G

# 创建基础镜像
qemu-img create -f qcow2 base.qcow2 40G

# 基于基础镜像创建 overlay（记录差异）
qemu-img create -f qcow2 -b base.qcow2 -F qcow2 overlay.qcow2

# 查看 backing chain
qemu-img info --backing-chain overlay.qcow2

flowchart TD
    A["base.qcow2 / OS 安装 + 基础软件 / 40GB virtual, 15GB actual"]
    B["overlay1.qcow2 / backing: base.qcow2 / Application 1 改变 / diff: 2GB"]
    C["overlay2.qcow2 / backing: overlay1.qcow2 / Application 2 改变 / diff: 500MB"]
    A -->|backing file| B
    B -->|backing file| C

# 合并 overlay 到 base（commit）
qemu-img commit overlay.qcow2

# 重构 backing chain（rebase）
qemu-img rebase -b new_base.qcow2 -F qcow2 overlay.qcow2

# 拍平 backing chain（合并所有 overlay 生成独立镜像）
qemu-img convert -f qcow2 -O qcow2 overlay2.qcow2 standalone.qcow2

# Directory 类型 (最常用)
virsh pool-define-as --name images --type dir --target /var/lib/libvirt/images
virsh pool-start images
virsh pool-autostart images

# LVM 类型
virsh pool-define-as --name lvm_pool --type logical \
  --source-device "/dev/disk/by-id/<LVM_SOURCE_DISK_ID>" --target /dev/vg_kvm

virsh pool-list --all              # 列出所有存储池
virsh pool-info images             # 存储池详情
virsh pool-refresh images          # 刷新（重新扫描卷）
virsh vol-list images              # 列出池中所有卷
virsh vol-info disk.qcow2 --pool images  # 卷信息
virsh vol-create-as images new_disk.qcow2 40G --format qcow2
virsh vol-delete disk.qcow2 --pool images

# === Guest 内操作 ===

# 1. 查看当前分区表
lsblk
sudo fdisk -l /dev/vda

# 2. 扩展分区（以 GPT + systemd-growfs 为例）
sudo growpart /dev/vda 1          # 扩展第 1 个分区

# 3. 扩展文件系统
# ext4
sudo resize2fs /dev/vda1
# XFS
sudo xfs_growfs /
# Btrfs
sudo btrfs filesystem resize max /

# 4. 验证
df -h /

# /etc/network/interfaces (Debian/Ubuntu) 或使用 NetworkManager / systemd-networkd

# 使用 nmcli (NetworkManager)
nmcli connection add type bridge ifname br0
nmcli connection add type ethernet slave-type bridge con-name bridge-br0 ifname eth0 master br0
nmcli connection up br0

<!-- libvirt XML -->
<interface type='bridge'>
  <!-- 未指定 MAC，由 libvirt 生成；迁移现有 VM 应保留其地址。 -->
  <source bridge='br0'/>
  <model type='virtio'/>
</interface>

<interface type='direct'>
  <source dev='eth0' mode='bridge'/>
  <model type='virtio'/>
</interface>