首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    认识 Linux 内存构成:Linux 内存调优之虚拟内存与物理内存认知

    写在前面 博文内容涉及 Linux 内存构成基本认知 包括虚拟内存和物理内存映射,多级页表和MMU简单认知 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。...所有其它的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是对内心的恐惧 ——赫尔曼·黑塞《德米安》 认识 Linux 内存构成:虚拟内存与物理内存 计算机中的进程小伙伴一定不陌生,...但实际实现中受硬件架构和操作系统设计的限制,仅部分地址位被有效利用,硬件层面通过符号扩展机制仅支持 48 位虚拟地址(低 48 位),高 16 位(48-63)需填充为第 47 位的值,形成规范地址(Canonical...系统默认使用完整的 48 位地址,但用户进程实际可用空间通常更小(如通过 TASK_SIZE_MAX 限制为 128 TB 减去保护页) 在 Linux 系统中查看 /proc/cpuinfo 时,address...通过页表项获得物理页帧基地址,加上虚拟地址中的页内偏移,得到最终物理地址。MMU 将物理地址发送到内存总线,CPU 读取或写入物理内存。

    1.5K00

    如何查看linux系统中空闲内存物理内存使用剩余内存

    查看linux系统中空闲内存/物理内存使用/剩余内存 查看系统内存有很多方法,但主要的是用top命令和free 命令 当执行top命令看到结果,要怎么看呢?...一些简单的计算方法:  物理已用内存 = 实际已用内存 - 缓冲 - 缓存 = 6811M - 350M - 5114M 物理空闲内存 = 总物理内存 - 实际已用内存 + 缓冲 + 缓存  应用程序可用空闲内存...= 总物理内存 - 实际已用内存  应用程序已用内存 = 实际已用内存 - 缓冲 - 缓存 top命令的结果详解 top命令 是Linux下常用的性能 分析工具 ,能够实时显示系统 中各个进程的资源占用状况...内容如下: Mem: 191272k total  物理内存总量   173656k used  使用的物理内存总量   17616k free  空闲内存总量   22052k buffers  ...测量一个进程占用了多少内存,linux为我们提供了一个很方便的方法,/proc目录为我们提供了所有的信息,实际上top等工具也通过这里来获取相应的信息。

    23.7K41

    kmalloc分配物理内存与高端内存映射--Linux内存管理(十八)

    虚拟内存中连续、但物理内存中不连续的内存区,可以在vmalloc区域分配. 该机制通常用于用户过程, 内核自身会试图尽力避免非连续的物理地址。...它与通过固定公式与物理内存关联的直接映射页相反,虚拟固定映射地址与物理内存位置之间的关联可以自行定义,关联建立后内核总是会注意到的. ?...他们定义在tools/virtio/linux/kernel.h?v=4.7, line 46 这两个函数返回一个指向内存块的指针, 其内存块至少要有size大小. 所分配的内存区在物理上是连续的....它限制只在分配到当前进程的各个CPU所关联的结点分配内存。如果进程允许在所有CPU上运行(默认情况),该标志是无意义的。...与内存域修饰符相反, 这些额外的标志并不限制从哪个物理内存段分配内存, 但确实可以改变分配器的行为. 例如, 它们可以修改查找空闲内存时的积极程度.

    7.7K21

    【Linux 内核 内存管理】物理内存组织结构 ⑥ ( 物理页 page 简介 | 物理页 page 与 MMU 内存管理单元 | 内存节点 pglist_data 与 物理页 page 联系 )

    文章目录 一、物理页 page 简介 1、物理页 page 引入 2、物理页 page 与 MMU 内存管理单元 3、物理页 page 结构体 4、Linux 内核源码中的 page 结构体 二、内存节点...pglist_data 与 物理页 page 联系 内存管理系统 3 级结构 : ① 内存节点 Node , ② 内存区域 Zone , ③ 物理页 Page , Linux 内核中 , 使用 上述..., 就是 " 内存区域 " zone , " 内存区域 " 再向下划分 , 就是 " 物理页 " page ; 2、物理页 page 与 MMU 内存管理单元 在 Linux 内核中 , MMU 内存管理单元...结构体 " 物理页 " page 是 Linux 内核 " 内存管理 " 中的 最小单位 , 物理页 中的 " 物理地址 " 是连续的 , 每个 " 物理页 " 使用 struct page 结构体...SPARSEMEM */ // 页描述数组 struct page *node_mem_map; #endif } 参考 【Linux 内核 内存管理】物理内存组织结构 ③ ( 内存管理系统三级结构

    7.8K10

    虚拟地址空间与物理内存(Linux系统)

    一、什么是虚拟内存 如果一个物理内存总大小为4G,那么每个进程都会创建一个自己的虚拟内存,大小和物理内存大小一样是4G,用来接收物理内存给它分配的内存。...在虚拟内存与物理内存之间存在着一个媒介,它就是页表,起到一个交通枢纽的作用,它实际上是一个映射关系,把虚拟内存上的值通过页表映射得到对应的物理内存。...二、虚拟内存的描述与组织 进程有自己的虚拟内存,那么就需要对它进行管理,既然要管理就需要对它进行描述与组织,所以在Linux中就有了mm_struct结构体对虚拟内存进行描述。...不直接从虚拟内存去与物理内存匹配,而是在此之间加一个页表,这样可以使得虚拟内存和物理内存保持自己的独立性,从而起到一个解耦合的作用。 这个解耦合的意义是非常的大的。...linux内核使⽤ vm_area_struct 结构来表⽰⼀个独⽴的虚拟内存区域(VMA),由于每个不同质的虚拟内存区域功能和内部机制都不同,因此⼀个进程使⽤多个vm_area_struct结构来分别表

    76510

    物理内存管理

    前言: 书接上回《内存映射技术分析》,继续来分析一下linux的物理内存管理。 分析: 1,物理内存 PC上的内存条,或者手机上的内存芯片,物理上实实在在的内存,就是物理内存。...所以kernel把高于896M的物理内存标记为High Memory Zone,访问High Memory Zone的内存就不能使用固定映射了,需要动态映射。...如果低于watermark了,说明系统内存不太多了,要适当回收。 6,buddy system Linux的内存管理的核心算法,就是“伙伴系统”。...这里需要说明一下,对于Linux来说,一般都不需要连续的内存,因为系统跑起来之后,CPU在protected mode下访问的是虚拟地址,MMU把不连续的物理地址映射成连续的虚拟地址就可以了。...10,sparse mem 物理内存上,如果存在巨大的hole,可以考虑使用sparse mem。

    3.4K70

    Linux释疑:物理内存占用80%以上,正常吗?

    在 Linux 系统(比如 CentOS/RadHat、Debian/Ubuntu)上配置 lnmp环境,通过探针查看物理内存使用率: 当然,也可以使用 top 命令查看: 从上面的图片可以看出 物理内存...Linux 特性: 充分利用物理内存,加快数据访问 在Linux中经常发现空闲内存很少,似乎所有的内存都被系统占用了,表面感觉是内存不够用了,其实不然。...主要特点是,无论物理内存有多大,Linux 都将其充份利用,将一些程序调用过的硬盘数据读入内存,利用内存读写的高速特性来提高Linux系统的数据访问性能。...换句话说,每增加一些物理内存,Linux 都将能充分利用起来,发挥了硬件投资带来的好处,而Windows只将其做为摆设,即使增加8GB甚至更大。...Linux 的这一特性,主要是利用空闲的物理内存,划分出一部份空间,做为 cache 和 buffers ,以此提高数据访问性能。 页高速缓存(cache)是 Linux内核实现的一种主要磁盘缓存。

    6.6K10

    Linux下使用earlyoom限制内存使用量,提前释放内存

    为什么要检查“可用”内存而不是“空闲”内存?在健康的 Linux 系统上,“空闲”内存应该接近于零,因为 Linux 使用所有可用的物理内存来缓存磁盘访问。...当需要将内存用于其他用途时,这些缓存可以随时被删除。“可用”内存就是为了解决这个问题。它总结了所有未使用或可立即释放的内存。...这些补丁已合并到 Linux 4.20 中。为什么不触发内核 oom killer?...该问题已在 Linux v5.17 中修复(提交 f530243a)。就像 Linux 内核一样,earlyoom 通过阅读来找到它的受害者/proc/*/oom_score。.../earlyoom它会告诉您有多少内存和交换空间、最小值是多少、有多少可用内存以及有多少空闲交换空间。.

    61400

    Linux 内存调优之如何限制进程、系统级别内存资源

    ^_^ 限制内存使用量 今天和小伙伴分享一些Linux 内存限制相关知识,主要涉及如何配置以及什么情况下需要配置,我们知道内存属于不可压缩资源,当没有那么多的物理内存可以映射,进程都无法启动,所以为了公平...,按照限制类型划分,一般分为 系统内存限制: 比如修改内核参数sysctl -w vm.overcommit_memory=2 禁止过度分配虚拟内存 进程内存限制: Systemd 单元限制进程物理内存不超过...(地址空间)为 2 GB 如果按照具体的内存种类划分,可以分为: 物理、虚拟内存限制: 硬限制物理内存大小 memory.limit_in_bytes, 会话级别虚拟内存限制 ulimit -v 数据段...脏页相关内存页限制:大页大小 vm.nr_hugepages Cgroup Cgroup(Control Groups)最早由 google 开发,后来内置到了 Linux 内核中,是Linux kernel...下面这组内核参数用于限制内存的超售问题,内存的分配和使用是两个阶段,在分配的时候是虚拟内存,而且实际使用才会分配物理内存,对于虚拟内存的分配,可以是一个很大的值,但是物理内存的分配,是有限制的,如果分配的虚拟内存大于物理内存

    1.9K10

    【Linux 内核 内存管理】物理页释放 ( 物理页释放 __free_pages 函数 )

    文章目录 一、物理页释放 __free_pages 函数 一、物理页释放 __free_pages 函数 ---- 页分配器 提供了 释放 物理页的 函数 __free_pages , 该函数定义在 Linux...内核源码的 linux-4.12\mm\page_alloc.c#4083 位置 ; __free_pages 函数参数分析 : struct page *page 参数 表示 要释放的 物理页 page...的 虚拟空间地址 ; unsigned int order 参数 表示 要释放的 物理页 的 " 阶数 " , 也就是 要释放的物理页大小 ; 阶 ( Order ) : 物理页 的 数量单位 ,...n 阶页块 指的是 2^n 个 连续的 " 物理页 " ; 参考 【Linux 内核 内存管理】伙伴分配器 ① ( 伙伴分配器引入 | 页块、阶 | 伙伴 ) __free_pages 函数源码...order == 0) free_hot_cold_page(page, false); else __free_pages_ok(page, order); } } 源码路径 : linux

    13.7K20

    OpenHarmony 内核源码分析(物理内存篇) | 怎么管理物理内存

    如何初始化物理内存?鸿蒙内核物理内存采用了段页式管理,先看两个主要结构体.结构体的每个成员变量的含义都已经注解出来,请结合源码理解....,尤其是 LosVmPage ,鸿蒙内存模块代码通篇都能看到它的影子.内核默认最大允许管理32个段.段页式管理简单说就是先将物理内存切成一段段,每段再切成单位为 4K 的物理页框, 页是在内核层的操作单元..., 物理内存的分配,置换,缺页,内存共享,文件高速缓存的读写,都是以页为单位的,所以LosVmPage 很重要,很重要!...OsVmPageStartup 是对物理内存的初始化, 它被整个系统内存初始化 OsSysMemInit所调用. ...1.申请大块内存g_vmPageArray存放LosVmPage,按4K一页划分物理内存存放在数组中.

    79120

    物理内存与虚拟内存

    物理内存就是你的机器本身内存了(如内存条的大小)。物理内存就是CPU的地址线可以直接进行寻址的内存空间大小。...当物理内存用完后,虚拟内存管理器选择最近没有用过的,低优先级的内存部分写到交换文件(页面文件)上,并将需要访问内存的程序的内容从页面文件中换入到物理内存。...所以,虚拟内存是进程运行时所有内存空间的总和,并且可能有一部分不在物理内存中,而物理内存就是我们平时所了解的内存条。有的地方呢,也叫这个虚拟内存为内存交换区。...的内存管理单元)组成一个物理上真正存在的地址,接着就是访问物理内存中的数据了。...总结起来说,虚拟内存地址的大小是与地址总线位数相关,物理内存地址的大小跟物理内存条的容量相关。

    3.4K31

    深入理解 Linux 物理内存分配全链路实现

    前文回顾 在上篇文章 《深入理解 Linux 物理内存管理》中,笔者详细的为大家介绍了 Linux 内核如何对物理内存进行管理以及相关的一些内核数据结构。...在介绍物理内存管理之前,笔者先从 CPU 的角度开始,介绍了三种 Linux 物理内存模型:FLATMEM 平坦内存模型,DISCONTIGMEM 非连续内存模型,SPARSEMEM 稀疏内存模型。...通过以上内容的介绍,笔者觉得大家已经在架构层面上对 Linux 物理内存管理有了一个较为深刻的认识,现在物理内存管理的架构我们已经建立起来了,那么内核如何根据这个架构层次来分配物理内存呢?...,内核还定义了一些规范内存分配行为的修饰符,这些行为修饰符并不会限制内核从哪个物理内存区域中分配内存,而是会限制物理内存分配的行为,那么具体会限制哪些内存分配的行为呢?...关于物理内存区域中的紧急预留内存相关内容,笔者在之前文章 《深入理解 Linux 物理内存管理》一文中的 “ 5.1 物理内存区域中的预留内存 ” 小节中已经详细介绍过了。

    2K10

    Docker容器内存限制

    但是在容器的使用过程中,经常需要对容器可以使用的主机资源进行限制,本文介绍如何限制容器可以使用的主机内存。 为什么要限制容器内存? ​ 限制容器不能过多的使用主机的内存是非常重要的。...对于 linux 主机来说,一旦内核检测到没有足够的内存可以分配,就会扔出 OOME(Out Of Memmory Exception),并开始杀死一些进程用于释放内存空间。...内存限制 查看容器使用的内存 docker stats 添加内存限制 docker run -d -p 8081:8080 -m 512M --memory-swap -1 --name tomcat01...–memory=”300m” –memory-swap=”1g” 的含义为: 容器可以使用 300M 的物理内存,并且可以使用 700M(1G -300M) 的 swap。...–memory-swap 居然是容器可以使用的物理内存和可以使用的 swap 之和!

    12.4K20
    领券