在操作系统与计组学习中,我们会学习到页表这个概念,可以说,如今计算机的函数内存调用有很大一部分都离不开页表的调用,本文旨在详解页表的概念应用以及操作系统中的三级页表,三级页表对于节省空间起了至关重要的作用 三级页表 所谓三级页表,就是将原来的虚拟地址的页码27位分为三级,每一级9位: 而原来的页表工作流程也变为下图: 通过虚拟地址转换时,首先通过前9位页码找到第一层页目录,第一层页目录中包含了中间页表的物理地址 : 物理地址(56位) = 底层页表PPN(44位) + 虚拟地址offset(12位) 在三级页表的基础上,假设只使用了几个页面,那么中间层页表只需要加载0号页表即可,底层页表只需要加载要使用的几个页表项即可 ,中间层页表省了511个页面,底层页表省下了511*512个页面 简单理解,其实单级页表就是用长宽高之积来描述长方体,而三级页表就是用长、宽、高三个坐标来描述长方体,这样做的目的就是大大节省了加载页表所需要的空间 至此,有关于页表与三级页表的介绍就到这里了,页表的存在对于内核区与用户区加载代码起了至关重要的作用,真正理解页表的转换机制有助于我们对操作系统的虚拟内存有更深刻的认识
后引入页表机制,把虚拟地址送往MMU,MMU查TLB不中的情况下,依次查页表就可以找到对应的物理地址。 二.影子页表 (Shadow page table) 影子页表我用一句话来描述就是:VMM把Guest和Host中的页表合并成一个页表,称为影子页表,来实现GVA->HPA映射。 4, 把GVA -> HPA,这一路的映射关系记录到页表中,这个页表就是影子页表。 虚拟机页表和影子页表通过一个哈希表建立关联(当然也有其他的关联方式),客户机操作系统把当前进程的页表基址载入PDBR时而VMM将会截获这一特权指令,将进程的影子页表基址载入客户机PDBR,使客户机在恢复运行时 硬件层面引入EPTP寄存器,来指向EPT页表基地址。Guest运行时,Guest页表被载入PDBR,而 EPT 页表被载入专门的EPT 页表指针寄存器 EPTP。
一、配置内核 首先配置内核,使其支持导出内核页表到debugfs下面: Kernel hacking ---> ---> [*] Export kernel pagetable layout to 而为了快速方便找到对应物理页而将所有的页帧结构体映射到此区域,后续只需使用virt_to_page, phys_to_page等宏实现虚拟地址,物理地址到对应页结构体的快速查询。 地址空间port属性说明 第一列 当前页表的映射范围地址 第二列 代表此映射范围大小 PMD PUD PTE 当标识为PMD PUD表示当前映射为block映射,如当前页表为4K,则pud的block映射一次性可映射 当标识为PTE表示为页表映射即PAGE_SIZE大小4K。 USR AP标记,用于标识当前范围是否在用户空间还是内核空间可读可写或者仅读。 x表述当前范围特权级别模式可执行,就是内核的可执行代码段,在内核中这段一般指向内核的text*段 SHD 表示可共享属性,在arm64上表述为多核之间可共享其页表可见 AF 访问标志,当首次映射页表时,
,如果只使用了一个页表,一个表项的大小为4byte,32位系统有4GB的物理空间(一个进程看到是4GB大小的虚拟空间),每一个表项对应着物理空间的第xxx页(4KB大小的页),那么应该有4GB/4KB= 如果是二级页表,规则就会改变,让二级页表对应到物理内存上的4KB大小的页,一级页表此时变成映射为物理地址的4MB(这样子是无法定位到具体的页(4KB)的,所以二级页表再去找),这样先找到一级页表,一级页表再和二级页表进行结合 ,二级页表相当于一级页表4MB分成了1024个(1KB个)4KB,找完后二级页表充当了offset的角色,此时定位到具体的4KB的页面,再用一级页表的offset一结合定位到具体物理地址。 这样一个进程浪费掉的空间是一级页表占用的:(4GB/4MB)*4byte=4KB,二级页表浪费掉的是1kb(1个一级页表占用这么多)*1kb(此时有1kb(4GB/4MB)个一级页表)=4MB,加起来是 4MB+4KB,比光用一级页表要多4KB,但是2级页表是可以不存在的,比如此时程序只用了%20的页,那么4MB就需要乘以%20,这样一下子就比只有一级页表时少了。
内核知识第八讲,PDE,PTE,页目录表,页表的内存管理 一丶查看GDT表. 首先我们的CR3寄存器保存了表的首地址. 这里有一个页目录表,还有页表的关键词. 页目录表: 也称为PDE,而页表称之为PTE. CPU会通过虚拟地址,当作下表.去页目录表中查询.然后查到的结果再去页表中查询.这样就查到对应的物理地址了. PDE表的大小: 页目录表,存储在一个4K字节的物理页中,其中每一项是4个字节.保存了页表的地址. 而最大是1M个页. PTE表的大小. PTE的大小也和PDE一样的. 但是通过两个表查询.可以映射4G内存.而上面的设计方法不行. 首先前边20位保存了页表或者物理地址的基地址. 比如我们的页目录表. 查到了第5项.那么从中取出千20位来,加上000就等于页表了.
通俗解释进程-科学家做蛋糕 科学家做蛋糕 然后女儿被蜜蜂蛰了 进程表–在内核 内存管理 经典 老式 管理方法: 基址寄存器(程序开始的地方) + 界限寄存器(程序长度) 空闲内存管理 每个页框有一个编号,即“页框号”(页框号=页帧号=内存块号=物理块号=物理页号),页框号从0开始 将进程的逻辑地址空间也分为与页框大小相等的一个个部分,每个部分称为一个“页”或“页面”。 操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应的关系。 各个页面不必连续存放,可以放到不相邻的各个页框中。 重要的数据结构——页表 为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表。 注:页表通常存在PCB中 一个进程对应一张页表 进程的每个页面对应一个页表项 每个页表项由“页号”和“块号”组成 页表记录进程页面和实际存放的内存块之间的映射关系
32bit虚拟地址的高12bit(bit[31:20])作为访问一级页表的索引值,找到相应的表项,每个表项指向一个二级页表。 我们从ARM linux内核建立具体内存区间的页表映射过程中来看页表映射是如何实现的。 首先通过init_mm结构体得到页表的基地址,然后通过addr右移PGDIR_SHIFT得到pgd的索引值,最后在一级页表中找到页表项pgd指针。 ,注意ARM Linux中实现了两份页表,硬件页表的地址r0+2048。 在x86的页表中有3个标志位是ARM32硬件页面表没有提供的。
操作系统多级页表与快表--12 为了提高内存空间利用率,页应该小,但是页小了页表就大了... 页表会很大,页表放置就成了问题... 第一种尝试,只存放用到的页 第二种尝试:多级页表,即页目录表(章)+页表(节) 多级页表提高了空间效率,但在时间上? TLB得以发挥作用的原因 为什么TLB条目数可以在64-1024之间? ---- 页表会很大,页表放置就成了问题… 页面尺寸通常为4K,而地址是32位的,所以32地址能够表示2的20次方个页面。 用书的章目录和节目录来类比思考… ---- 第二种尝试:多级页表,即页目录表(章)+页表(节) 对于书本而言,普通图书的目录结构通过是由章加小节构成的,如下: 假设我们需要去看看链表的相关知识点, 为了保证页表项连续,并且还要减少页表对内存的浪费,就必须采用多级页表的形式,但是多级页表时间上的不足,应该由什么来弥补呢?
本篇文章谈一下 C 语言中的指针数组和 CPU 的页表的类比。 0x01:C 语言中的几个简单概念 以前学习 C 语言的时候,有一些概念好像很绕,但是仔细想想,与其说是绕,不如说是语文的理解能力有限。 0x03:指针数组和页表的类比 CPU 的分页机制其实和 C 语言的指针数组几乎就是同一个东西,其实就是同一个东西。除了像是指针数组外,如果用过在 CE 下找基址的话,其实我感觉也和这个很类似。 CR3 是 CPU 的一个控制寄存器,指向了顶级页表的基址,它其实就是一个数组指针。 至于 PML4、PDPT、PD、PT 就是数组,前面三个就是指针数组,依次指向它们的下级,它们是有层级关系的。 页表的整个层级只有 4 层吧,就是 4 级页表,主流的 Linux 好像也是四级页表吧。不过,新版的 Linux 中要更新到 5 级了~! 比如 C 语言的指针、汇编的寻址、上面提到的页表之类的。
两级页表 单级页表的问题 某计算机系统按字节寻址,支持32位的逻辑地址,采用分页存储管理,页面大小为4KB,页表项长度为4B。 相应的,一个进程的页表中,最多会有220 = 1M = 1,048,576个页表项,所以一个页表最大需要220*4B=2^{22}B,共需要2^{22}/2^{12}=2^{10}个页框存储该页表。 根据页号查询页表的方法:K号页对应的页表项存放位置=页表始址+K*4要在所有的页表项都连续存放的基础上才能用这种方法找到页表项 需要专门给进程分配2^{10}=1024个连续的页框来存放它的页表 同时根据局部性原理可知 因此没有必要让整个页表都常驻内存。 问题一:页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框。 个页表项,因此每1K个连续的页表项为一组,每组刚好占一个内存块,再讲各组离散地放到各个内存块中) 另外,要为离散分配的页表再建立一张页表,称为页目录表,或称外层页表,或称顶层页表 问题二:没有必要让整个页表常驻内存
1.概述 armv8 mmu页表结构比较复杂,总体说来可以将MMU分为以下几个部分: (1)虚拟地址(VA)为48位,而一般只使用到39位(512G内核,512G用户) (2)可以配置成3级页表(64K 页)或者4级页表(4K页) 最高的地址位是48为的地址,用4级页表进行管理。 2.虚拟地址格式 按照虚拟地址格式可以分为以下几种: 4K时页表的映射 ? 64K时页表的映射 ? 由于需要进行4K页表的映射,所以需要3个512字节的数组用来存放表项。 ? 那么我们相信分析一下页表的映射过程: 第一步:定义一个表的开始地址 main_tll[0]=(unsigned long)((unsigned char*)&T0_L1[0]) | // physical
页表的一些术语 现在Linux内核中支持四级页表的映射,我们先看下内核中关于页表的一些术语: 全局目录项,PGD(Page Global Directory) 上级目录项,PUD(Page Upper 中间的8个bit位叫做L2索引,在Linux内核中叫做PT,页表。最低的12位叫做页索引。 在ARM处理器中,TTBRx寄存器存放着页表基地址,我们这里的一级页表有4096个页表项。 MMU访问页表是硬件实现的,但页表的创建和填充需要Linux内核来填充。通常,一级页表和二级页表存放在主存储器中。 ARM32 一级页表的页表项 下面这张图来自ARMV7的手册。 一套页表是为了迎合ARM硬件的真实页表,另一套页表是为了迎合Linux真实的页表。 对于PTE页表来说,一下子就多出了一套页表,一套页表256表项,每个表项占用4字节。 为了软件实现的方便,软件会把两个页表合并成一个页表。4套页表正好占用256 * 4 * 4 = 4K的空间。因此,Linux实现的时候,就分配了一个page 来存放这些页表。
,9 bit 一级索引找到二级页表,9 bit 二级索引找到三级页表,9 bit 三级索引找到内存页,最低 12 bit 为页内偏移(即一个页 4096 bytes)。 ,还会把页表内所有的叶节点对应的物理页也释放掉。 // 递归释放进程独享的页表,释放页表本身所占用的空间,但**不释放页表指向的物理页** kvm_free_kernelpgtbl(p->kernelpgtbl); p->kernelpgtbl 要实现这样的效果,我们需要在每一处内核对用户页表进行修改的时候,将同样的修改也同步应用在进程的内核页表上,使得两个页表的程序段(0 到 PLIC 段)地址空间的映射同步。 // 将 src 页表的一部分页映射关系拷贝到 dst 页表中。 // 只拷贝页表项,不拷贝实际的物理页内存。
而在Linux中存储虚拟地址到物理地址转化的关系的表称为页表。 目前最新的linux内核已经支持了5级页表。下图是一个4级页表的转化关系图。 ? Table Entry) 页表 如果是5级页表的话,会在PGD和PUD之间增加一个level叫P4D。 LINUX目前是支持5级页表,当然也可以通过config(CONFIG_PAGE_LEVELS)去配置的,目前手上的模拟板使用的是三级页表,如果使用三级页表的话,PUD等于PMD。 前期条件是目前配置的是3级页表。 目前此地址是线性地址,转化关系比较简单。 PMD_SHIFT ==> 页中级目录索引的偏移 PAGE_SHIFT ==> 页表内的偏移 当前模拟板是只有三级页表,则就没有P4D和PUD,这样的话PGD=PMD了。
修改struct proc来为每一个进程维护一个内核页表,修改调度程序使得切换进程时也切换内核页表。 对于这个步骤,每个进程的内核页表都应当与现有的的全局内核页表完全一致。 ---- 代码解析 注意一点: 实验二的要求是让每个进程在内核中执行时,使用自己的页表副本 本实验主要是让每个进程都有自己的内核页表,这样在内核中执行时使用它自己的内核页表的副本。 (1). 如下,历遍整个内核页表,然后将所有有效的页表项清空为零。如果这个页表项不在最后一层的页表上,需要继续进行递归。 不要忘记在userinit的内核页表中包含第一个进程的用户页表 用户地址的PTE在进程的内核页表中需要什么权限? ---- 代码解析 本实验是实现将用户空间的映射添加到每个进程的内核页表,将进程的用户态页表复制一份到进程的内核态页表就好。 首先添加复制函数。
并且页目录和页表“们”自身,都占用一个物理页的空间,所以它们都有自己的物理地址。 二级查表:构造线性地址的中间 10 位,来确定“普通页”的物理地址 二级查表:查找的对象是页表,也就是一级查表得到的那个“页表”。 虽然一级查表的结果是页目录自己,但是处理器不管这些,它会把这个表当做页表来使用。 现在,来考虑线性地址addr的中间10位,它决定了页表中的索引号。 对页表进行寻址 既然已经弄明白了操作系统是如何操作页目录的,那么对页表的操作就不是什么大问题了。 二级查表 利用这个页表的最后一个表项(index = 1023),预先填写一个地址(0x08000),让它指向这个页表自己的开始物理地址。
当今操作系统普遍采用64位架构,CPU最大寻址能力虽然达到了64位,但其实仅仅只是用到了48位进行寻址,其内存管理采用了9-9-9-9-12的分页模式,9-9-9-9-12分页表示物理地址拥有四级页表, 9-9-9-9-12的分页模式是一种常见的分页方案,其中物理地址被分成四级页表:PXE(Page Directory Pointer Table Entry)、PPE(Page Directory Entry 每个级别的页表都负责将虚拟地址映射到更具体的物理地址。通过这种层次化的页表结构,操作系统可以更有效地管理和分配内存。 PTE 0即可解析,如下所示,当前地址0位置处的PTE基址是FFFF898000000000,由于PTE的一个页大小是0x1000所以当内存地址高于0x1000时将会切换到另一个页中,如下FFFF898000000008 则是另一个页中的地址。
每个进程有它自己的PGD( Page Global Directory),它是一个物理页,并包含一个pgd_t数组。 关键字: PTE: 页表项(page table entry) PGD(Page Global Directory) PUD(Page Upper Directory) PMD(Page Middle 每一个页表项指向一个页框,页框就是真正的物理内存页。
当今操作系统普遍采用64位架构,CPU最大寻址能力虽然达到了64位,但其实仅仅只是用到了48位进行寻址,其内存管理采用了9-9-9-9-12的分页模式,9-9-9-9-12分页表示物理地址拥有四级页表, 9-9-9-9-12的分页模式是一种常见的分页方案,其中物理地址被分成四级页表:PXE(Page Directory Pointer Table Entry)、PPE(Page Directory Entry 每个级别的页表都负责将虚拟地址映射到更具体的物理地址。通过这种层次化的页表结构,操作系统可以更有效地管理和分配内存。 PTE 0即可解析,如下所示,当前地址0位置处的PTE基址是FFFF898000000000,由于PTE的一个页大小是0x1000所以当内存地址高于0x1000时将会切换到另一个页中,如下FFFF898000000008 则是另一个页中的地址。