KVM总括虚拟化原理美学原理,偏基础

2.4.1 KSM (Kernel SamePage Merging 或者 Kernel Shared Memory)

KSM 是基本中的守护进度(称为
ksmd),它会定期举行页面扫描,将副本页面进行统一,然后释放多余的页面。KVM使用KSM来压缩多少个一般的虚拟机的内存占用,升高内存的使用频率,在虚拟机使用同一镜像和操作系统时,效果更为明显。不过会追加基础开发,所以为了进步效能,能够将此特性关闭。

2.4.2 KVM Huge Page Backed Memory (巨页内存技术)

英特尔 的 x86 CPU 平日选拔4Kb内存页,当是经过布置,也可以利用巨页(huge
page): (4MB on x86_32, 2MB on x86_64 and x86_32
PAE)使用巨页,KVM的虚拟机的页表将利用更少的内存,并且将抓实CPU的效用。最高景况下,可以升高20%的功效!

2.3 内存虚拟化原理

内存虚拟化指的是共享物理系统内存,动态分配给虚拟机。虚拟机的内存虚拟化很象虚拟内存方式

虚拟内存是电脑连串内存管理的一种技术,目标是让应用程序认为它富有一而再的可用的内存(一个总是完整的地方空间)。其实就是操作系统将内存资源的虚拟化,屏蔽了内存调用的底细,对应用程序而言,不必要关切内存访问的底细,可以把内存当作线性的内存池。

x86 CPU 都包含了一个称为内存管理的模块MMU(Memory Management Unit)和
TLB(Translation Lookaside Buffer),通过MMU和TLB来优化虚拟内存的属性。

OS将内存根据4KB为单位展开分页,形成虚拟地址和情理地址的映射表。假若OS在物理机上运行,只要OS提供那么些页表,MMU会在访存时自动做虚拟地址(Virtual
address, VA)到大体地址(Physical address, PA)的转折。

不过只要虚拟机上运行OS,Guest
OS经过地方转化到的“物理地址”实际上是QEMU的逻辑地址,因而还索要利用软件将其转化为实在物理内存地址

对于OS运行在物理机上的情状

美学原理 1

借使经过访问内存的时候,发现映射表中还从未物理内存举办相应。如下图

美学原理 2

那会儿MMU向CPU发出缺页中断,操作系统会基于页表中的外存地址,在外存中找到所缺的一页,将其调入内存。同时革新页表的映射关系。下一遍访问的时候可以间接命中物理内存。

美学原理 3

对此OS在虚拟机中的景况,进程就要复杂很多。

对此虚拟机内的进度的转换,需求开展两次更换。也就是说首先将使用的逻辑地址转换为虚拟机的大体地址,而那实则是QEMU进度的逻辑地址,所以要映射到实在内存的物理地址还索要做一遍转换。

美学原理 4

  • VA:应用的虚拟地址
  • PA:虚拟机物理地址,也是QEMU进度的逻辑地址
  • MA:物理机的物理地址

足见,KVM
为了在一台机械上运行多个虚拟机,须求追加一个新的内存虚拟化层,也就是说,必须虚拟
MMU 来协助客户OS,达成 VA -> PA -> MA 的翻译。

客户操作系统继续控制虚拟地址到客户内存物理地址的映射 (VA ->
PA),不过客户操作系统无法直接访问实际机器内存,由此VMM
须要承担映射客户物理内存到实际机器内存 (PA -> MA)。

美学原理 5

VMM 内存虚拟化的兑现格局:

  • 软件方式:通过软件落成内存地址的翻译,比如 Shadow page table
    (影子页表)技术
  • 硬件达成:基于 CPU 的相助虚拟化作用,比如 英特尔 的 NPT 和 AMD 的 EPT
    技术
2.7.1 主流的Hypervisor总结

Hypervisor的类别

KVM

Xen

Hyper-v

ESX/ESXi

内核类型

Linux

Linux(修改)&Nemesis

Windows&Hyper-V

Linux&VMernel

内核

单核

外内核

外内核

混合内核

I/O虚拟化方式

类Service VM Model

Service VM Model

Service VM Model

Monolithic Model

特点

集成在Linux内核中

有被KVM取代之势,性能低于KVM

捆绑Windows Server

技术积累深厚,Vmkernel是核心竞争力

2.6 网卡虚拟化

VM发出的流量一般有二种

  • 到物理机外部的设施,
  • 到当地物理服务器上的虚拟机。

故而大家要求确保差距虚拟机流量的交互隔离,同时又要考虑情理设备内虚拟机的互联互通。

解决方法:
对于对物理机外部的流量,给各种VM分配一个专用通道,共享物理网卡资源。
第一有如下两种格局:

  • Bridge桥接情势:把物理主机上的网卡当沟通机,然后虚拟出一个Bridge来接收发往物理机的包。
    美学原理 6
  • isolation mode:仅guest OS之间通讯;不与表面网络和宿主机通讯。
    美学原理 7
  • routed mode:与表面主机通讯,通过静态路由使得各Guest OS
    的流量需通过物理网卡
    美学原理 8
  • nat:地址转换;在编造网卡和物理网卡之间创建一个nat转发服务器;对数码包进行源地址转换。
    美学原理 9

对里面流量:

  • 在hypervisor上创造virtual
    switch,但是会消耗CPU资源,而且存在较大安全隐患。(intel的VT-c用VMDq技术使网卡芯片处理局地vswitch的劳作,同时用vFW来有限支撑平安)
  • 可以先让流量出服务器通过安全设备区域拓展数据清洗将来再重返。主流方式利用硬件SR-IOV对VM流量举办识别和拍卖

总结

美学原理 10

2.3.2 通过INTEL EPT技术来促成

KVM 中,虚机的情理内存即为 qemu-kvm 进度所占用的内存空间。KVM 使用
CPU 支持的内存虚拟化格局。在 Intel 和 AMD平台,其内存虚拟化的兑现方式分别为:

  • 英特尔 平台上的 NPT (Nested Page Tables) 技术
  • 速龙 平台上的 EPT (Extended Page Tables)技术
    EPT 和 NPT采取类似的法则,都是用作 CPU
    中新的一层,通过硬件用来将客户机的大体地址翻译为主机的情理地址。也就是说Guest
    OS已毕虚拟机虚拟地址–>虚拟机物理地址第一层转化,硬件同时到位虚拟机物理地址到物理机物理地址那第二层转化。第二层转换对Guest
    OS来说是透明的,Guest
    OS访问内存时和在物理机运行时是同一的。那种艺术又称之为内存匡助虚拟化。

因此内存协理虚拟化就是一直用硬件来完结虚拟机的物理地址到宿主机的大体地址的一步到位映射。VMM不用再保留一份
SPT (Shadow Page
Table),通过EPT技术,不再须求一块五个页表,虚拟机内部的切换也不需求qemu过程切换,所须要的是只是两遍页表查找,而且是由此硬件来成功的,品质损耗低。

流程如下:

  • VM中的应用发现页没有分片,MMU发起中断,从虚拟机的情理地址(QEMU的逻辑地址)中分红一页,然后更新页表。
    美学原理 11
  • 此刻虚拟机页的情理地址还没对应物理内存的地址,所以触发了qemu进程在宿主机的page
    fault。宿主机内核分配内存页,并更新页表。
    美学原理 12
  • 下次造访就可以借助EPT来开展,只须求查三遍表即可。

美学原理 13

总结:
美学原理 14

2.2.1 CPU虚拟化技术解决办法
  • 全虚拟化:客户操作系统运行在 Ring
    1,它在实施特权指令时,会接触非常,然后
    hypervisor捕获这几个很是,在非常里面做翻译,最终回来到客户操作系统内,客户操作系统认为自己的特权指令工作健康,继续运行。所以也叫二进制翻译技术(Binary
    Translate)。
    可是那些特性损耗极度的大,简单的一条指令现在却要因此复杂的那多少个处理进程
    美学原理 15

    • 优点:不用修改GuestOS内核可以直接行使
    • 缺点:在VMM捕获特权指令和翻译进度会招致品质的降落。
      美学原理 16
      从上图能够看来,当虚拟机中的应用要运行在内核态的时候,会经过Hypervisor层的效仿,通过二进制翻译技术,将下令替换为此外的下令。
  • 半虚拟化:修改操作系统内核,替换掉不可以虚拟化的通令,通过一级调用(hypercall)直接和底部的虚拟化层hypervisor来广播公布,
    相对于完全虚拟化品质更高,因为省去了翻译的历程。然而须要对Guest
    OS进行修改,应用场景不多。
    美学原理 17
  • 硬件协助虚拟化: 二零零五年后,CPU厂商英特尔 和 速龙 起始援救虚拟化了。
    速龙 引入了 英特尔-VT (Virtualization Technology)技术
    重在的完结形式是增添了一个VMX
    non-root操作方式,运行VM时,客户机OS运行在non-root方式,依旧有Ring0~ring3等级别
    当运行特权指令时仍然爆发中断的时候,通过VM_EXIT就可以切换来root形式,拦截VM对虚拟硬件的拜会。执行完成,通过VM_ENTRY回到non-root即可。
    美学原理 18
    那种技术主要代表为intel VT-X,英特尔的AMD-V
    美学原理 19

全虚拟化

半虚拟化

硬件辅助虚拟化

实现技术

BT和直接执行

Hypercall

客户操作系统修改/兼容性

无需修改客户操作系统,最佳兼容性

客户操作系统需要修改来支持hypercall,因此它不能运行在物理硬件本身或其他的hypervisor上,兼容性差,不支持Windows

性能

好。半虚拟化下CPU性能开销几乎为0,虚机的性能接近于物理机。

应用厂商

VMware Workstation/QEMU/Virtual PC

Xen

KVM 是基于CPU
赞助的全虚拟化方案,它要求CPU虚拟化特性的支撑。
总结:
美学原理 20

第一章 服务器虚拟化概述

1.2 虚拟化发展历史

  • 提议概念:1959年8月指出,在国际音信处理大会上刊出的《大型高速总计机中的时间共享》杂文中指出
  • 开发技术:20世纪60年间开首,IBM操作系统虚拟化技术利用在了大型机和小型机上
  • 蓬勃发展:20世纪90年代,VMware公司第一已毕了X86架构上的虚拟化,于1999年生产了x86平台上的率先款虚拟化商业软件VMware
    workstation。
  • 群雄逐鹿:更加多的厂商参预了虚拟化技术的武装部队

第二章 服务器虚拟化

服务器虚拟化紧要有二种艺术:

  • 硬件虚拟化:通过Hypervisor层虚拟出硬件系统环境,将硬件系统CPU发出的授命经过处理后传到大体CPU上。

硬件虚拟化的关键在于Hypervisor层。

所谓Hypervisor层就是在物理服务器和操作系统中间运行的软件层,可以对模拟硬件系统,将次第对那几个硬件系统CPU发送的一声令下经过处理将来,加以虚拟传到物理CPU上。同时它可以协调访问服务器上的情理设备和虚拟机,也叫虚拟机监视器(VMM
)。

  • 容器:只是虚拟化出利用运行时的环境,是相比较轻量的虚拟化,层次相比较浅。

2.5 IO虚拟化

  • 仿照(完全虚拟):使用 QEMU 纯软件的不二法门来模拟 I/O
    设备。使用一个Service VM来模拟真实硬件,品质很差。
    客户机的设施驱动程序发起 I/O
    请求操作请求,KVM会捕获此IO请求,然后嵌入IO共享页,同时用户空间的QEMU进度,QEMU模拟出本次IO操作,同样置于共享页中并同时KVM举办结果的取回。

小心:当客户机通过DMA (Direct Memory Access)访问大块I/O时,QEMU
模拟程序将不会把结果放进共享页中,而是经过内存映射的法子将结果直接写到客户机的内存中,然后通告KVM模块告诉客户机DMA操作已经达成。

美学原理 21

  • 半虚拟化: KVM/QEMU就应用那种形式,它在 Guest OS 内核中设置前端驱动
    (Front-end driver)和在 QEMU
    中完结后端驱动(Back-end)的方法。前后端驱动通过 vring
    (落成虚拟队列的环形缓冲区)直接通讯,那就绕过了经过 KVM
    内核模块的进度,提升了IO品质,相对于完全虚拟的形式,
    省去了纯模仿形式下的格外捕获环节,Guest OS 可以和 QEMU 的 I/O
    模块直接通讯。

美学原理 22

  • IO-through:直接把机物理设备分配给虚拟机,不过必要硬件具备IO透传技术;,AMD定义的 I/O 虚拟化技术变为 VT-d,英特尔 的称之为 英特尔-V。
    KVM 扶助客户机以垄断格局访问这么些宿主机的 PCI/PCI-E
    设备。通过硬件扶助的 VT-d
    技术将装备分给客户机后,在客户机看来,设备是情理上两次三番在PCI或者PCI-E总线上的
    差不多拥有的 PCI 和 PCI-E
    设备都协理直接分配,除了显卡以外(显卡的特殊性在此间)。PCI
    Pass-through 必要硬件平台 速龙 VT-d 或者 英特尔 IOMMU
    的支持。那几个特点必须在 BIOS 中被启用
    美学原理 23

    • 好处:减弱了 VM-Exit 陷入到 Hypervisor
      的进程,极大地提升了品质,可以达到大概和原生系统一样的习性。而且VT-d
      战胜了 virtio 包容性糟糕和 CPU 使用效能较高的标题。
    • 不足:独占设备的话,不可能落到实处设备的共享,开销增加。
    • 不足的化解方案:(1)在一台物理宿主机上,仅少数 I/O
      如网络质量要求较高的客户机使用
      VT-d直接分配设备,其余的运用纯模仿或者 virtio
      已完结三个客户机共享同一个装置的目的(2)对于互联网I/O的解决办法,可以挑选 SR-IOV
      是一个网卡爆发几个独立的虚拟网卡,将各样虚拟网卡分配个一个客户机使用。

总结
美学原理 24

1.1 为何必要服务器虚拟化

只要物理机上只安顿一种业务,资源利用率太低,不便于节约本钱。若是说生产区域须要动用物理机来有限支撑平稳,对于开发测试区使用虚拟机不但能够省去有限的物理机资源,仍能迅猛上线。

Technorati 标签:
云计算,虚拟化

2.1 服务器虚拟化架构

  • 裸金属架构:Hypervisor层直接运行在硬件系统上。典型事例是KVM。KVM其实就是Linux内核提供的虚拟化架构,可将根本直接担任Hypervisor,KVM一般要求处理器本身帮衬虚拟化增添技术,如IntelVT等。KVM使用内核模块kvm.ko来已毕大旨虚拟化功用,然则只提供了CPU和内存的虚拟化,必须结合QEMU才能结成完整的虚拟化技术。

美学原理 25

  • 宿主架构:典型的就是QEMU,它可以经过二进制转换到模拟CPU,使Guest
    OS认为自己再与硬件打交道。
    美学原理 26
2.3.1 软件格局

黑影页表(SPT,shadow page
table):Hypervisor为虚拟机保安了一个虚拟机的虚拟地址到宿主机物理地址炫耀的的页表。也就是说,在原来的两层地址层次基础上加了一层伪物理地址层次,通过那张表可以将客户机虚拟地址宿主机物理地址以内开展映射。

客户OS创制之后,Hypervisor创设其对应影子页表。刚开首影子页表是空的,此时其余客户OS的访存操作都会时有发生缺页中断,然后Hypervisor捕获缺页万分

美学原理 27

由此一回地址映射转换得到虚拟机虚拟地址物理机物理地址的投射关系,写入黑影页表,逐步到位具有虚拟地址到宿主机机器地址的照耀。
美学原理 28

代价是亟需保持虚拟机的页表和宿主机的阴影页表的一道。

2.2 CPU虚拟化

经过的进行有三种情景

  • 内核态:紧要用以硬件访问,修改重点参数,
  • 用户态:用户运行应用程序。

二种情状的权限不相同,对硬件的拜会必须在内核态,能够有限支撑系统的可看重性,只给使用人员开放用户态,不会对OS的运行带来大的熏陶。避免系统被人工攻击。

OS内核数据和代码区应该与用户区完全隔离,也就是说程序可以见到的地址都是用户态地址,当程序执行系统调用的时候,进程会切入内核态举办基本访问,那会儿页表也急需切换来内核态的页表,带来的题材是性质比较差。因为页表在内存中,切换会带来质量的降落。

因此方今主流的OS的做法是将根本代码和数据区放到用户进度虚拟地址控制器的高位区,32bit系统放到3~4G,windows默许占用2~4G区,64bit系统也放在高位。这样带来的便宜是,进度空间的内核区也被映射到大体内存区,进度的切换不会招致TLB中之前缓存的针对性内核区页表失效,有限帮忙了性能。

实质上进度是不可以访问内核区,因为强行访问的话,页表条目有权限位(进度方今权限保存在寄存器的CPL字段,为Ring3,而根本页表的权限为Ring0,所以CPU会禁止访问。)

计算一下就是x86 架构提供七个特权级别给操作系统和应用程序来拜会硬件。
Ring 是指 CPU 的运转级别,Ring 0是最高级别,Ring1次之,Ring2更次之……

  • 根本须求间接访问硬件和内存,由此它的代码需求周转在高高的运行级别
    Ring0上,那样它可以动用特权指令比如控制中断、修改页表、访问设备等等。
  • 应用程序的代码运行在低于运行级别上Ring3上,怎样要拜访磁盘,那就需求执行系统调用,此时CPU的运作级别会生出从ring3到ring0的切换,并跳转到系统调用对应的根本代码地点执行,那样基本就为您完了了配备访问,完毕将来再从ring0重回ring3。那么些进度也称功效户态和内核态的切换。

美学原理 29

对于非虚拟化操作系统而言,应用程序和系统发出的日常指令都运作在用户级别指令中,唯有特权指令运行在着力级别中,这样操作系统与使用解耦合。

那么,虚拟化在此间就遇上了一个难点,因为物理机OS是干活在 Ring0
的,虚拟机的操作系统就不可能也在 Ring0
了,所以部分特权指令是未曾履行权限的

CPU虚拟化的章程就是

  • 特权解除:让Guest
    OS运行在用户级别,让hypervisor运行在主导级别,那样就免去了Guest
    OS的特权级别。
  • 沦为模拟:运作在Guest
    OS的常见指令像过去一样运行,当运行到特权指令时,会发出万分并被hypervisor捕获。
    美学原理 30

那么困难在于:

  • 什么样模拟x86爱护方式
  • 怎么堵住并举行虚拟机的Ring0指令。
    缓解格局如下

2.4 KVM其他内存管理技术

2.7 Hypervisor层的虚拟化完成

操作系统是用户和物理机的接口,也是应用和大体硬件的接口。要旨职能在于义务调度和硬件抽象。

不等操作系统的最大不一致在于内核。

单内核、混合内核、微内核、外内核的界别
美学原理 31

  • 单内核:内核所有的功用代码全体都运行在同一个内核空间内,优点是性质质量很高,缺点是规划复杂,稳定性不够好;
  • 微内核:类似C/S服务形式,唯有最基础的代码会运行于内核空间,其余的都运作于用户空间,优点是平静高,缺点质量较低;
  • 掺杂内核:质量与稳定的低头产物,完全由设计者举办用户自定义;
  • 外内核:比微内核越发极端,连硬件抽象工作都交给用户空间,内核只需求保障应用程序访问硬件资源时,硬件是悠闲的

美学原理 32

本文基于网上的素材整理而成。