KVM、QEMU 与 libvirt 的职责边界

graph TB
    subgraph "Type-1 (Bare Metal)"
        HW1[Physical Hardware]
        H1[Hypervisor - runs directly on hardware]
        VM1[VM 1]
        VM2[VM 2]
        VM3[VM 3]
    end

    subgraph "Type-2 (Hosted)"
        HW2[Physical Hardware]
        OS2[Host OS]
        H2[Hypervisor - runs as host OS process]
        VM4[VM 1]
        VM5[VM 2]
    end

    HW1 --> H1
    H1 --> VM1
    H1 --> VM2
    H1 --> VM3

    HW2 --> OS2
    OS2 --> H2
    H2 --> VM4
    H2 --> VM5

# 检查 CPU 虚拟化标志（输出 > 0 表示支持）
egrep -c '(vmx|svm)' /proc/cpuinfo
# Intel 输出 vmx 数量，AMD 输出 svm 数量，等于逻辑 CPU 核数

# 更精确的检查（区分 Intel/AMD）
lscpu | grep -i virtualization
# Intel: VT-x
# AMD:   AMD-V

# 使用 kvm-ok 工具（需安装 cpu-checker 包）
kvm-ok
# INFO: /dev/kvm exists
# KVM acceleration can be used

# 验证 KVM 内核模块已加载
lsmod | grep kvm
# kvm_intel              368640  0
# kvm                   1105920  1 kvm_intel
# （AMD 平台显示 kvm_amd 而非 kvm_intel）

graph TD
    subgraph "Guest VM"
        G_APP[Applications]
        G_KERN[Guest Kernel]
    end

    subgraph "Host Userspace (Ring 3)"
        QEMU[QEMU Process]
        Q_DEV[Device Emulation]
        Q_MEM[Memory Management]
    end

    subgraph "Host Kernel (Ring 0)"
        KVM[KVM Kernel Module]
        K_CPU[CPU Virtualization]
        K_MMU[MMU Virtualization]
        LK[Linux Kernel Services]
    end

    subgraph "Physical Hardware"
        CPU[CPU with VT-x/AMD-V]
        MEM[RAM]
        DEV[Devices]
    end

    G_APP --> G_KERN
    G_KERN -.->|VM Entry/Exit| KVM
    QEMU -->|ioctl /dev/kvm| KVM
    QEMU --> Q_DEV
    QEMU --> Q_MEM
    KVM --> K_CPU
    KVM --> K_MMU
    KVM --> LK
    K_CPU --> CPU
    K_MMU --> MEM
    LK --> CPU
    LK --> MEM
    Q_DEV --> DEV

1. 打开设备：
   fd_kvm = open("/dev/kvm", O_RDWR)

2. 创建虚拟机：
   fd_vm = ioctl(fd_kvm, KVM_CREATE_VM, 0)
   // 每个 fd_vm 代表一个独立的虚拟机实例

3. 分配 Guest 内存：
   ioctl(fd_vm, KVM_SET_USER_MEMORY_REGION, &mem)
   // KVM 将连片的 Host 物理内存映射到 Guest 物理地址空间

4. 创建虚拟 CPU：
   fd_vcpu = ioctl(fd_vm, KVM_CREATE_VCPU, vcpu_id)
   // 每个 VCPU 有独立的 fd_vcpu

5. 内存映射 VCPU 运行区域：
   kvm_run = mmap(NULL, size, PROT_READ|PROT_WRITE,
                  MAP_SHARED, fd_vcpu, 0)
   // 这个共享内存区用于 KVM 在 VM Exit 时写入退出原因

6. 主循环（每个 VCPU 一个线程）：
   while (running) {
       ioctl(fd_vcpu, KVM_RUN, 0)       // 阻塞线程，CPU 进入 Guest 模式
       switch (kvm_run->exit_reason) {   // VM Exit 后检查退出原因
           case KVM_EXIT_IO:              // I/O 指令模拟（磁盘/网络等）
               handle_io(kvm_run);
               break;
           case KVM_EXIT_MMIO:            // MMIO 访问
               handle_mmio(kvm_run);
               break;
           case KVM_EXIT_SHUTDOWN:        // Guest 关机
               running = false;
               break;
       }
   }

Host User (QEMU)               Host Kernel (KVM)              Hardware (Guest)
─────────────────              ─────────────────              ────────────────
ioctl(KVM_RUN)
    │                               │
    └──────────────────────────────►│
                                    │ 上下文保存 (Host → VMCS)
                                    │ VMLAUNCH / VMRESUME
                                    │────────────────────────►  Guest Native 执行
                                    │                           (VMX Non-Root)
                                    │
                                    │  ◄────────────────────── VM Exit
                                    │     (EPT Violation /
                                    │      I/O Instruction /
                                    │      External Interrupt)
                                    │
                                    │ 检查 exit_reason
                                    │  ┌─ 可在内核处理 → 直接恢复
                                    │  └─ 需用户态处理 → 返回 QEMU
    ◄───────────────────────────────┘
    检查 kvm_run->exit_reason
    设备模拟 / I/O 处理
    → 下次 ioctl(KVM_RUN)

# 模式 1：QEMU + KVM（硬件加速，接近原生性能）
qemu-system-x86_64 \
  -enable-kvm \
  -cpu host \
  -m 4096 \
  -drive file=disk.qcow2,format=qcow2 \
  -netdev user,id=net0 \
  -device virtio-net,netdev=net0

# 模式 2：QEMU 纯模拟（无硬件加速，非常慢）
qemu-system-aarch64 \
  -M virt \
  -cpu cortex-a57 \
  -m 2048 \
  -drive file=arm64-disk.qcow2,format=qcow2
  # 注意：没有 -enable-kvm，因为这是跨架构模拟

# 架构无关基础模块（必须）
kvm.ko           # KVM 核心框架

# 架构相关模块（二选一）
kvm_intel.ko     # Intel VT-x 支持
kvm_amd.ko       # AMD-V/SVM 支持

# 内核参数（可选调优）
modprobe kvm_intel nested=1    # 启用嵌套虚拟化（在 VM 内再跑 KVM）
# 历史兼容性调试示例；诊断未知 MSR 后才考虑，不作为默认：
# modprobe kvm ignore_msrs=1

# 一个生产环境虚拟机可能需要 30+ 个命令行参数
qemu-system-x86_64 -name guest=prod-db-01 \
  -machine pc-q35-7.2 -accel kvm -cpu host -smp 8 \
  -m 16384 -mem-prealloc -overcommit mem-lock=on \
  -numa node,nodeid=0,cpus=0-3 -numa node,nodeid=1,cpus=4-7 \
  -drive file=/var/lib/libvirt/images/db.qcow2,format=qcow2,if=none,id=drive0 \
  -device virtio-blk-pci,drive=drive0,bootindex=1 \
  -netdev tap,id=net0,ifname=vnet0,script=no,downscript=no \
  -device virtio-net-pci,netdev=net0,mac=<GENERATED_MAC_ADDRESS> \
  -vnc 127.0.0.1:1 -monitor unix:/tmp/qemu-monitor.sock,server,nowait \
  # ... 还有更多参数

# 本地系统级管理连接（通过授权访问；daemon 形态取决于宿主）
virsh -c qemu:///system list --all

# 本地用户会话连接（用户权限，无需 root）
virsh -c qemu:///session list --all

# 远程连接（SSH 隧道）
virsh -c qemu+ssh://user@server.example.com/system list --all

# 远程连接（TLS 加密）
virsh -c qemu+tls://server.example.com/system list --all

# 设置默认 URI（避免每次输入 -c）
export LIBVIRT_DEFAULT_URI="qemu:///system"

# 列出所有 VM（包括未运行的）
virsh list --all

# 启动/关机
virsh start prod-db-01
virsh shutdown prod-db-01    # 优雅关机（发送 ACPI 信号）
virsh destroy prod-db-01     # 强制断电（相当于拔电源）

# 查看 VM 的 libvirt XML 配置
virsh dumpxml prod-db-01
virsh edit prod-db-01        # 在线编辑 XML（有语法校验）

# 控制台连接
virsh console prod-db-01     # 串口控制台（需要 Guest 配置 serial console）

# 资源信息
virsh dominfo prod-db-01     # VM 概览信息
virsh domstats prod-db-01    # CPU/内存/磁盘/网络统计
virsh vcpuinfo prod-db-01    # VCPU 到物理 CPU 的绑定关系

virt-install \
  --name demo-vm \
  --vcpus 2 \
  --memory 2048 \
  --disk size=20,format=qcow2,bus=virtio \
  --network network=default,model=virtio \
  --graphics spice \
  --cdrom /path/to/ubuntu-24.04-server.iso \
  --os-variant ubuntu24.04 \
  --autostart
# 参数说明：
# --disk bus=virtio     使用 virtio 块设备，性能远优于 IDE/SATA 模拟
# --network model=virtio 使用 virtio 网络驱动，同样有更好的性能
# --os-variant           告诉 libvirt Guest OS 类型，以便自动选择最佳默认值
# --autostart            随 Host 启动时自动启动此 VM