Linux内存的使用

一提到内存管理&＃xff0c;我们头脑中闪出的两个概念&＃xff0c;就是虚拟内存&＃xff0c;与物理内存。这两个概念主要来自于linux内核的支持。

Linux在内存管理上份为两级&＃xff0c;一级是线性区&＃xff0c;类似于00c73000-00c88000&＃xff0c;对应于虚拟内存&＃xff0c;它实际上不占用实际物理内存&＃xff1b;一级是具体的物理页面&＃xff0c;它对应我们机器上的物理内存。

这里要提到一个很重要的概念&＃xff0c;内存的延迟分配。Linux内核在用户申请内存的时候&＃xff0c;只是给它分配了一个线性区&＃xff08;也就是虚存&＃xff09;&＃xff0c;并没有分配实际物理内存&＃xff1b;只有当用户使用这块内存的时候&＃xff0c;内核才会分配具体的物理页面给用户&＃xff0c;这时候才占用宝贵的物理内存。内核释放物理页面是通过释放线性区&＃xff0c;找到其所对应的物理页面&＃xff0c;将其全部释放的过程。

char *p&＃61;malloc(2048) //这里只是分配了虚拟内存2048&＃xff0c;并不占用实际内存。

strcpy(p,”123”) //分配了物理页面&＃xff0c;虽然只是使用了3个字节&＃xff0c;但内存还是为它分配了2048字节的物理内存。

free(p) //通过虚拟地址&＃xff0c;找到其所对应的物理页面&＃xff0c;释放物理页面&＃xff0c;释放线性区。

我们知道用户的进程和内核是运行在不同的级别&＃xff0c;进程与内核之间的通讯是通过系统调用来完成的。进程在申请和释放内存&＃xff0c;主要通过brk,sbrk,mmap,unmmap这几个系统调用&＃xff0c;传递的参数主要是对应的虚拟内存。

注意一点&＃xff0c;在进程只能访问虚拟内存&＃xff0c;它实际上是看不到内核物理内存的使用&＃xff0c;这对于进程是完全透明的。

glibc内存管理器

那么我们每次调用malloc来分配一块内存&＃xff0c;都进行相应的系统调用呢&＃xff1f;

答案是否定的&＃xff0c;这里我要引入一个新的概念&＃xff0c;glibc的内存管理器。

我们知道malloc和free等函数都是包含在glibc库里面的库函数&＃xff0c;我们试想一下&＃xff0c;每做一次内存操作&＃xff0c;都要调用系统调用的话&＃xff0c;那么程序将多么的低效。

实际上glibc采用了一种批发和零售的方式来管理内存。glibc每次通过系统调用的方式申请一大块内存&＃xff08;虚拟内存&＃xff09;&＃xff0c;当进程申请内存时&＃xff0c;glibc就从自己获得的内存中取出一块给进程。

内存管理器面临的困难

我们在写程序的时候&＃xff0c;每次申请的内存块大小不规律&＃xff0c;而且存在频繁的申请和释放&＃xff0c;这样不可避免的就会产生内存碎块。而内存碎块&＃xff0c;直接会导致大块内存申请无法满足&＃xff0c;从而更多的占用系统资源&＃xff1b;如果进行碎块整理的话&＃xff0c;又会增加cpu的负荷&＃xff0c;很多都是互相矛盾的指标&＃xff0c;这里我就不细说了。

我们在写程序时&＃xff0c;涉及内存时&＃xff0c;有两个概念heap和stack。传统的说法stack的内存地址是向下增长的&＃xff0c;heap的内存地址是向上增长的。

函数malloc和free&＃xff0c;主要是针对heap进行操作&＃xff0c;由程序员自主控制内存的访问。

在这里heap的内存地址向上增长&＃xff0c;这句话不完全正确。

glibc对于heap内存申请大于128k的内存申请&＃xff0c;glibc采用mmap的方式向内核申请内存&＃xff0c;这不能保证内存地址向上增长&＃xff1b;小于128k的则采用brk&＃xff0c;对于它来讲是正确的。128k的阀值&＃xff0c;可以通过glibc的库函数进行设置。

这里我先讲大块内存的申请&＃xff0c;也即对应于mmap系统调用。

对于大块内存申请&＃xff0c;glibc直接使用mmap系统调用为其划分出另一块虚拟地址&＃xff0c;供进程单独使用&＃xff1b;在该块内存释放时&＃xff0c;使用unmmap系统调用将这块内存释放&＃xff0c;这个过程中间不会产生内存碎块等问题。

针对小块内存的申请&＃xff0c;在程序启动之后&＃xff0c;进程会获得一个heap底端的地址&＃xff0c;进程每次进行内存申请时&＃xff0c;glibc会将堆顶向上增长来扩展内存空间&＃xff0c;也就是我们所说的堆地址向上增长。在对这些小块内存进行操作时&＃xff0c;便会产生内存碎块的问题。实际上brk和sbrk系统调用&＃xff0c;就是调整heap顶地址指针。

那么heap堆的内存是什么时候释放呢&＃xff1f;

当glibc发现堆顶有连续的128k的空间是空闲的时候&＃xff0c;它就会通过brk或sbrk系统调用&＃xff0c;来调整heap顶的位置&＃xff0c;将占用的内存返回给系统。这时&＃xff0c;内核会通过删除相应的线性区&＃xff0c;来释放占用的物理内存。

下面我要讲一个内存空洞的问题&＃xff1a;

一个场景&＃xff0c;堆顶有一块正在使用的内存&＃xff0c;而下面有很大的连续内存已经被释放掉了&＃xff0c;那么这块内存是否能够被释放&＃xff1f;其对应的物理内存是否能够被释放&＃xff1f;

很遗憾&＃xff0c;不能。

这也就是说&＃xff0c;只要堆顶的部分申请内存还在占用&＃xff0c;我在下面释放的内存再多&＃xff0c;都不会被返回到系统中&＃xff0c;仍然占用着物理内存。为什么会这样呢&＃xff1f;

这主要是与内核在处理堆的时候&＃xff0c;过于简单&＃xff0c;它只能通过调整堆顶指针的方式来调整调整程序占用的线性区&＃xff1b;而又只能通过调整线性区的方式&＃xff0c;来释放内存。所以只要堆顶不减小&＃xff0c;占用的内存就不会释放。

提一个问题&＃xff1a;   

char *p&＃61;malloc(2);

free(p)

为什么申请内存的时候&＃xff0c;需要两个参数&＃xff0c;一个是内存大小&＃xff0c;一个是返回的指针&＃xff1b;而释放内存的时候&＃xff0c;却只要内存的指针呢&＃xff1f;

这主要是和glibc的内存管理机制有关。glibc中&＃xff0c;为每一块内存维护了一个chunk的结构。glibc在分配内存时&＃xff0c;glibc先填写chunk结构中内存块的大小&＃xff0c;然后是分配给进程的内存。   

chunk ------size

p------------ content

在进程释放内存时&＃xff0c;只要 指针-4 便可以找到该块内存的大小&＃xff0c;从而释放掉。

注&＃xff1a;glibc在做内存申请时&＃xff0c;最少分配16个字节&＃xff0c;以便能够维护chunk结构。

glibc提供的调试工具&＃xff1a;

为了方便调试&＃xff0c;glibc 为用户提供了 malloc 等等函数的钩子&＃xff08;hook&＃xff09;&＃xff0c;如 __malloc_hook

对应的是一个函数指针&＃xff0c;

void *function (size_t size, const void  *caller)

其中 caller 是调用 malloc 返回值的接受者&＃xff08;一个指针的地址&＃xff09;。另外有 __malloc_initialize_hook函数指针&＃xff0c;仅仅会调用一次&＃xff08;第一次分配动态内存时&＃xff09;。&＃xff08;malloc.h&＃xff09;

一些使用 malloc 的统计量&＃xff08;SVID 扩展&＃xff09;可以用 struct mallinfo 储存&＃xff0c;可调用获得。   

struct mallinfo mallinfo (void)

如何检测 memory leakage&＃xff1f;glibc 提供了一个函数

void mtrace (void)及其反作用void muntrace (void)

这时会依赖于一个环境变量 MALLOC_TRACE 所指的文件&＃xff0c;把一些信息记录在该文件中用于侦测 memory leakage&＃xff0c;其本质是安装了前面提到的 hook。一般将这些函数用#ifdef DEBUGGING 包裹以便在非调试态下减少开销。产生的文件据说不建议自己去读&＃xff0c;而使用 mtrace 程序&＃xff08;perl 脚本来进行分析&＃xff09;。下面用一个简单的例子说明这个过程&＃xff0c;这是

源程序&＃xff1a;

#include

#include

#include

intmain( int argc, char *argv[] )

{

  int *p, *q ;

  #ifdef DEBUGGING

  mtrace( ) ;

  #endif

  p &＃61; malloc( sizeof( int ) ) ;

  q &＃61; malloc( sizeof( int ) ) ;

  printf( "p &＃61; %p\nq &＃61; %p\n", p, q ) ;

  *p &＃61; 1 ;

  *q &＃61; 2 ;

  free( p ) ;

  return 0 ;

}

很简单的程序&＃xff0c;其中 q 没有被释放。我们设置了环境变量后并且 touch 出该文件

执行结果如下&＃xff1a;

p &＃61; 0x98c0378q &＃61; 0x98c0388

该文件内容如下

&＃61; Start

&＃64;./test30:[0x8048446] &＃43; 0x98c0378 0x4

&＃64;./test30:[0x8048455] &＃43; 0x98c0388 0x4

&＃64;./test30:[0x804848f] - 0x98c0378

到这里我基本上讲完了&＃xff0c;我们写程序时&＃xff0c;数据部分内存使用的问题。

代码占用的内存

数据部分占用内存&＃xff0c;那么我们写的程序是不是也占用内存呢&＃xff1f;

在linux中&＃xff0c;程序的加载&＃xff0c;涉及到两个工具&＃xff0c;linker 和loader。Linker主要涉及动态链接库的使用&＃xff0c;loader主要涉及软件的加载。

1.  exec执行一个程序

2. 2. elf为现在非常流行的可执行文件的格式&＃xff0c;它为程序运行划分了两个段&＃xff0c;一个段是可以执行的代码段&＃xff0c;它是只读&＃xff0c;可执行&＃xff1b;另一个段是数据段&＃xff0c;它是可读写&＃xff0c;不能执行。

3.  loader会启动&＃xff0c;通过mmap系统调用&＃xff0c;将代码端和数据段映射到内存中&＃xff0c;其实也就是为其分配了虚拟内存&＃xff0c;注意这时候&＃xff0c;还不占用物理内存&＃xff1b;只有程序执行到了相应的地方&＃xff0c;内核才会为其分配物理内存。

4. loader会去查找该程序依赖的链接库&＃xff0c;首先看该链接库是否被映射进内存中&＃xff0c;如果没有使用mmap&＃xff0c;将代码段与数据段映射到内存中&＃xff0c;否则只是将其加入进程的地址空间。这样比如glibc等库的内存地址空间是完全一样。

因此一个2M的程序&＃xff0c;执行时&＃xff0c;并不意味着为其分配了2M的物理内存&＃xff0c;这与其运行了的代码量&＃xff0c;与其所依赖的动态链接库有关。

运行过程中链接动态链接库与编译过程中链接动态库的区别

我们调用动态链接库有两种方法&＃xff1a;一种是编译的时候&＃xff0c;指明所依赖的动态链接库&＃xff0c;这样loader可以在程序启动的时候&＃xff0c;来所有的动态链接映射到内存中&＃xff1b;一种是在运行过程中&＃xff0c;通过dlopen和dlfree的方式加载动态链接库&＃xff0c;动态将动态链接库加载到内存中。

这两种方式&＃xff0c;从编程角度来讲&＃xff0c;第一种是最方便的&＃xff0c;效率上影响也不大&＃xff0c;在内存使用上有些差别。

第一种方式&＃xff0c;一个库的代码&＃xff0c;只要运行过一次&＃xff0c;便会占用物理内存&＃xff0c;之后即使再也不使用&＃xff0c;也会占用物理内存&＃xff0c;直到进程的终止。

第二中方式&＃xff0c;库代码占用的内存&＃xff0c;可以通过dlfree的方式&＃xff0c;释放掉&＃xff0c;返回给物理内存。

这个差别主要对于那些寿命很长&＃xff0c;但又会偶尔调用各种库的进程有关。如果是这类进程&＃xff0c;建议采用第二种方式调用动态链接库。

占用内存的测量

测量一个进程占用了多少内存&＃xff0c;linux为我们提供了一个很方便的方法&＃xff0c;/proc目录为我们提供了所有的信息&＃xff0c;实际上top等工具也通过这里来获取相应的信息。

/proc/meminfo 机器的内存使用信息

/proc/pid/maps pid为进程号&＃xff0c;显示当前进程所占用的虚拟地址。

/proc/pid/statm 进程所占用的内存

[root&＃64;localhost ~]# cat /proc/self/statm

654 57  44  0  0  334  0

输出解释

CPU 以及CPU0。。。的每行的每个参数意思&＃xff08;以第一行为例&＃xff09;为&＃xff1a;

参数 解释 /proc//status

Size (pages) 任务虚拟地址空间的大小 VmSize/4

Resident(pages) 应用程序正在使用的物理内存的大小 VmRSS/4

Shared(pages) 共享页数 0

Trs(pages) 程序所拥有的可执行虚拟内存的大小 VmExe/4

Lrs(pages) 被映像到任务的虚拟内存空间的库的大小 VmLib/4

Drs(pages) 程序数据段和用户态的栈的大小 &＃xff08;VmData&＃43; VmStk &＃xff09;4

dt(pages) 04

查看机器可用内存   

/proc/28248/>free

total used free shared buffers cached

Mem: 1023788 926400  97388  0  134668  503688

-/&＃43; buffers/cache: 288044 735744

Swap: 1959920 89608  1870312

我们通过free命令查看机器空闲内存时&＃xff0c;会发现free的值很小。这主要是因为&＃xff0c;在linux中有这么一种思想&＃xff0c;内存不用白不用&＃xff0c;因此它尽可能的cache和buffer一些数据&＃xff0c;以方便下次使用。但实际上这些内存也是可以立刻拿来使用的。

所以 空闲内存&＃61;free&＃43;buffers&＃43;cached&＃61;total-used

查看进程使用的内存

查看一个进程使用的内存&＃xff0c;是一个很令人困惑的事情。因为我们写的程序&＃xff0c;必然要用到动态链接库&＃xff0c;将其加入到自己的地址空间中&＃xff0c;但是/proc/pid/statm统计出来的数据&＃xff0c;会将这些动态链接库所占用的内存也简单的算进来。

这样带来的问题&＃xff0c;动态链接库占用的内存有些是其他程序使用时占用的&＃xff0c;却算在了你这里。你的程序中包含了子进程&＃xff0c;那么有些动态链接库重用的内存会被重复计算。

因此要想准确的评估一个程序所占用的内存是十分困难的&＃xff0c;通过写一个module的方式&＃xff0c;来准确计算某一段虚拟地址所占用的内存&＃xff0c;可能对我们有用。