发布日期 2020-07-26

QEMUVFIO内存优化探索与实践

原标题:QEMU VFIO 内存优化探索与实践

作者简介高承博, 坐标天津的 Linux 内核虚拟化工程师,热爱底层技术乐于分享。

版权声明本文最先发表于 “泰晓科技” 微信公众号,欢迎转载,转载时请在文章的开头保留本声明。

1 Qemu 使用 VFIO 透传设备时启动慢

在使用 VFIO 透传 PCI 设备时,如果虚机使用普通的 4K 物理页,Qemu 启动速度非常慢。启动 100G 的虚机可能就要几十秒甚至更长时间。

2 通过 Perf 进行性能分析

下面我们通过火焰图来看一下普通内存的 Qemu 启动时间都消耗在哪。

2.1 通过 perf 生成火焰图$ git clone https: //github.com/cobblau/FlameGraph

// 其中 25104 是 qemu 进程号

$ perf record -F 99-p 25104-g -- sleep 10

$ perf | FlameGraph/stackcollapse-perf.pl | FlameGraph/flamegraph.pl > xx.svg

2.2 4K 内存火焰图结果与分析

通过火焰图可以看出,时间按消耗主要在两个方面:

  • 在缺页中断中调用 do_huge_pmd_anonymous_page 申请内存。
  • 使用 clear_huge_page 对内存清零。
3 使用 1G 的巨页内存进行优化

给虚机使用巨页内存可以成功对上面第一条进行优化。

由于云虚机内存都是以 G 为颗粒度的,所以我们可以给虚机提供 1G 的巨页内存。

我们以 450G 内存的虚机为例,使用 1G 巨页内存后,启动时间可以优化到 32s。

再次通过火焰图打印一下使用巨页后的时间消耗。

3.1 巨页内存火焰图结果与分析

可以看到使用巨页后的时间消耗的大头是在内存清零上。

4 通过加速内存清零进行优化4.1 Qemu 内存申请过程简介

如果没有使用 VFIO 透传设备,Qemu 开机时只是 mmap 出来内存并没有真正占用物理内存。真正占用物理内存是虚机在使用时产生的缺页中断中。

如果使用 VFIO 透传虚机,那么虚机的物理内存要事先分配好并且 pin 住不会让内存产生迁移。

当使用巨页内存时同样会在申请后进行预分配操作,并且在预分配内存的内核代码中进行清零操作。

4.2 Qemu 巨页内存申请调用流程

从上图看到 Qemu 在预分配内存是直接写内存,然后通过内核的缺页中断实现的。

前面提到即便给虚机使用了巨页内存,虚机启动时间仍旧有 30 几秒。那么时间消耗到了哪里了呢?

原因是内核在分配内存的时候由于怕原内存中的数据遭到泄露,所以在分配时对内存进行了清零操作。

通过上面的 “巨页内存火焰图”,我们已经可以看到在缺页中断中 clear_page_erms 占据了相当大的时间,并且代码隐藏的相当隐蔽。

4.3 内核内存清零调用流程

4.4 内存清零过程优化

  • 参考 2019OS2AT 大会上《腾讯云虚拟化性能优化实践》一文中蒋彪老师的思路,可以在各个 VCPU 进入 none-root 前分别对自己负责的内存地址段使用 memset 清零。
  • 目前 Qemu 也提供了预分配内存的函数,只要预分配内存的全局变量 mem_prealloc 打开,Qemu 就会创建与 VCPU 数量相当的线程用来对内存清零。可以把 memset 的位置挪到预分配内存的函数中。
  • 可以把内核的 clear_page_erms 函数实现换成 SSE 指令集实现。
  • 还可以让虚机在关机后,主动对内存进行清零,或者在 host 创建巨页时就对内存进行清零。

小伙伴们看看哪种方法适合自己哦。

扫 码 关 注 我 们

再 + 好 友 tinylab

进 泰 晓 技 术 群

泰 晓 科 技

关注“泰晓科技”!点“在看”

聚合阅读