|
在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方面，区别于 Windows的内存管理。主要特点是，无论物理内存有多大，Linux 都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性来提高Linux系统的数据访问性能。而Windows 是只在需要内存时，才为应用程序分配内存，并不能充分利用大容量的内存空间。换句话说，每增加一些物理内存，Linux 都将能充分利用起来，发挥了硬件投资带来的好处，而Windows只将其做为摆设，即使增加8GB甚至更大。 Linux 的这一特性，主要是利用空闲的物理内存，划分出一部份空间，做为 cache 和 buffers ，以此提高数据访问性能。 1、什么是 cache ？ 页高速缓存（cache）是 Linux内核实现的一种主要磁盘缓存。它主要用来减少对磁盘的I/O操作。具体地讲，是通过把磁盘中的数据缓存到物理内存中，把对磁盘的访问变为对物理内存的访问。 磁盘高速缓存的价值在于两个方面：第一，访问磁盘的速度要远远低于访问内存的速度，因此，从内存访问数据比从磁盘访问速度更快。第二，数据一旦被访问，就很有可能在短期内再次被访问到。 页高速缓存是由内存中的物理页组成的，缓存中每一页都对应着磁盘中的多个块。每当内核开始执行一个页I/O操作时（通常是对普通文件中页大小的块进行磁盘操作），首先会检查需要的数据是否在高速缓存中，如果在，那么内核就直接使用高速缓存中的数据，从而避免访问磁盘。 举个例子，当使用文本编辑器打开一个源程序文件时，该文件的数据就被调入内存。编辑该文件的过程中，越来越多的数据会相继被调入内存页。最后，当你编译它的时候，内核可以直接使用页高速缓存中的页，而不需要重新从磁盘读取该文件了。因为用户往往会反复读取或操作同一个文件，所以页高速缓存能减少大量的磁盘操作。 2、cache 如何更新？ 由于页高速缓存的缓存作用，写操作实际上会被延迟。当页高速缓存中的数据比后台存储的数据更新时，那么该数据就被称做脏数据。在内存中累积起来的脏页最终必须被写回磁盘。在以下两种情况发生时，脏页被写回磁盘： ◆当空闲内存低于一个特定的阈值时，内核必须将脏页写回磁盘，以便释放内存。 ◆当脏页在内存中驻留时间超过一个特定的阈值时，内核必须将超时的脏页写回磁盘，以确保脏页不会无限期地驻留在内存中。 在2.6内核中，由一群内核线程—pdflush后台回写例程统一执行两种工作。 首先，pdflush线程在系统中的空闲内存低于一个特定的阈值时，将脏页刷新回磁盘。该后台回写例程的目的在于在可用物理内存过低时，释放脏页以重新获得内存。特定的内存阈值可以通过dirty_background_ratio sysctl系统调用设置。当空闲内存比阈值：dirty_background_raTIo还低时，内核便会调用函数wakeup_bdflush（）唤醒一个pdflush线程，随后pdflush线程进一步调用函数background_writeout（）开始将脏页写回磁盘。函数background_ writeout（）需要一个长整型参数，该参数指定试图写回的页面数目。函数background_writeout（）会连续地写出数据，直到满足以下两个条件： ◆已经有指定的最小数目的页被写出到磁盘。 ◆空闲内存数已经回升，超过了阈值dirty_background_raTIo。 上述条件确保了pdflush操作可以减轻系统中内存不足的压力。回写操作不会在达到这两个条件前停止，除非pdflush写回了所有的脏页，没有剩下的脏页可再被写回了。 为了满足第二个目标，pdflush后台例程会被周期性唤醒（和空闲内存是否过低无关），将那些在内存中驻留时间过长的脏页写出，确保内存中不会有长期存在的脏页。如果系统发生崩溃，由于内存处于混乱之中，所以那些在内存中还没来得及写回磁盘的脏页就会丢失，所以周期性同步页高速缓存和磁盘非常重要。在系统启动时，内核初始化一个定时器，让它周期地唤醒pdflush线程，随后使其运行函数wb_kupdate（）。 当需要立即手动释放脏页 #sync #cache echo 3 》 /proc/sys/vm/drop_caches 设置空闲内存的最小阈值 echo 1024 》 /proc/sys/vm/min_free_kbytes 当低于1024K的时候将会释放脏页 一 物理内存和虚拟内存 我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。 要深入了解linux内存运行机制，需要知道下面提到的几个方面： 首先，Linux系统会不时的进行页面交换操作，以保持尽可能多的空闲物理内存，即使并没有什么事情需要内存，Linux也会交换出暂时不用的内存页面。这可以避免等待交换所需的时间。 其次，linux进行页面交换是有条件的，不是所有页面在不用时都交换到虚拟内存，linux内核根据”最近最经常使用“算法，仅仅将一些不经常使用的页面文件交换到虚拟内存，有时我们会看到这么一个现象：linux物理内存还有很多，但是交换空间也使用了很多。其实，这并不奇怪，例如，一个占用很大内存的进程运行时，需要耗费很多内存资源，此时就会有一些不常用页面文件被交换到虚拟内存中，但后来这个占用很多内存资源的进程结束并释放了很多内存时，刚才被交换出去的页面文件并不会自动的交换进物理内存，除非有这个必要，那么此刻系统物理内存就会空闲很多，同时交换空间也在被使用，就出现了刚才所说的现象了。关于这点，不用担心什么，只要知道是怎么一回事就可以了。 最后，交换空间的页面在使用时会首先被交换到物理内存，如果此时没有足够的物理内存来容纳这些页面，它们又会被马上交换出去，如此以来，虚拟内存中可能没有足够空间来存储这些交换页面，最终会导致linux出现假死机、服务异常等问题，linux虽然可以在一段时间内自行恢复，但是恢复后的系统已经基本不可用了。 因此，合理规划和设计linux内存的使用，是非常重要的。 二 内存的监控作为一名linux系统管理员，监控内存的使用状态是非常重要的，通过监控有助于了解内存的使用状态，比如内存占用是否正常，内存是否紧缺等等，监控内存最常使用的命令有free、top等，下面是某个系统free的输出： ［haixigov@WEBServer ~］$ free total used free shared buffers cached Mem： 16402432 16360492 41940 0 465404 12714880 -/+ buffers/cache： 3180208 13222224 Swap： 8193108 264 8192844 我们解释下输出结果中每个选项的含义： 首先是第一行：
第二行Mem：代表物理内存使用情况。 第三行（-/+ buffers/cached）：代表磁盘缓存使用状态。 第四行：Swap表示交换空间内存使用状态。 free命令输出的内存状态，可以通过两个角度来查看：一个是从内核的角度来看，一个是从应用层的角度来看的。 1．从内核的角度来查看内存的状态 就是内核目前可以直接分配到，不需要额外的操作，即为上面free命令输出中第二行Mem项的值，可以看出，此系统物理内存有16G，空闲的内存只有41940K，也就是40M多一点，我们来做一个这样的计算： 16402432－16360492＝41940 其实就是总的物理内存减去已经使用的物理内存得到的就是空闲的物理内存大小，注意这里的可用内存值41940并不包含处于buffers和cached状态的内存大小。 如果你认为这个系统空闲内存太小，那你就错了，实际上，内核完全控制着内存的使用情况，linux会在需要内存的时候，或在系统运行逐步推进时，将buffers和cached状态的内存变为free状态的内存，以供系统使用。 2．从应用层的角度来看系统内存的使用状态 也就是linux上运行的应用程序可以使用的内存大小，即free命令第三行“（-/+ buffers/cached）”的输出，可以看到，此系统已经使用的内存才3180208K，而空闲的内存达到13222224K，继续做这样一个计算： 41940＋（465404＋12714880）＝13222224 通过这个等式可知，应用程序可用的物理内存值是Mem项的free值加上buffers和cached值之和，也就是说，这个free值是包括buffers和cached项大小的， 对于应用程序来说，buffers/cached占有的内存是可用的，因为buffers/cached是为了提高文件读取的性能，当应用程序需要用到内存的时候，buffers/cached会很快地被回收，以供应用程序使用。 3．buffers与cached的异同 在 Linux 操作系统中，当应用程序需要读取文件中的数据时，操作系统先分配一些内存，将数据从磁盘读入到这些内存中，然后再将数据分发给应用程序；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写到磁盘上。然而，如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时，系统的读写性能就变得非常低下，因为无论是从磁盘读数据，还是写数据到磁盘，都是一个很消耗时间和资源的过程，在这种情况下，linux引入了buffers和cached机制。 buffers与cached都是内存操作，用来保存系统曾经打开过的文件以及文件属性信息，这样当操作系统需要读取某些文件时，会首先在buffers与cached内存区查找，如果找到，直接读出传送给应用程序，如果没有找到需要数据，才从磁盘读取，这就是操作系统的缓存机制，通过缓存，大大提高了操作系统的性能。但buffers与cached缓冲的内容却是不同的。 buffers是用来缓冲块设备做的，它只记录文件系统的元数据（metadata）以及 tracking in-flight pages，而cached是用来给文件做缓冲。更通俗一点说：buffers主要用来存放目录里面有什么内容，文件的属性以及权限等等。而cached直接用来记忆我们打开过的文件和程序。 为了验证我们的结论是否正确，可以通过vi打开一个非常大的文件，看看cached的变化，然后再次vi这个文件，感觉一下两次打开的速度有何异同，是不是第二次打开的速度明显快于第一次呢？ 接着执行下面的命令： find /* -name *.conf 看看buffers的值是否变化，然后重复执行find命令，看看两次显示速度有何不同。 Linux操作系统的内存运行原理，很大程度上是根据服务器的需求来设计的，例如系统的缓冲机制会把经常使用到的文件和数据缓存在cached中，linux总是在力求缓存更多的数据和信息，这样再次需要这些数据时可以直接从内存中取，而不需要有一个漫长的磁盘操作，这种设计思路提高了系统的整体性能。 三 交换空间swap的使用虽然现在的内存已经变得非常廉价，但是swap仍然有很大的使用价值，合理的规划和使用swap分区，对系统稳定运行至关重要。Linux下可以使用文件系统中的一个常规文件或者一个独立分区作为交换空间使用。同时linux允许使用多个交换分区或者交换文件。 1．创建swap交换空间 创建交换空间所需的交换文件是一个普通的文件，但是，创建交换文件与创建普通文件不同，必须通过dd命令来完成，同时这个文件必须位于本地硬盘上，不能在网络文件系统（NFS）上创建swap交换文件。例如： ［root@localhost ~］# dd if=/dev/zero of=/data/swapfile bs=1024 count=65536 65536+0 records in 65536+0 records out 这样就创建一个有连续空间的交换文件，大小为60M左右，关于dd命令做简单的讲述： if＝输入文件，或者设备名称。 of＝输出文件或者设备名称。 ibs=bytes 表示一次读入bytes 个字节（即一个块大小为 bytes 个字节）。 obs=bytes 表示一次写bytes 个字节（即一个块大小为 bytes 个字节）。 bs＝bytes，同时设置读写块的大小，以bytes为单位，此参数可代替 ibs 和 obs。 count=blocks 仅拷贝blocks个块。 skip=blocks 表示从输入文件开头跳过 blocks 个块后再开始复制。 seek=blocks表示从输出文件开头跳过 blocks 个块后再开始复制。（通常只有当输出文件是磁盘或磁带时才有效） 这里的输入设备/dev/zero代表一个输出永远为0的设备文件，使用它作输入可以得到全为空的文件。 2．激活和使用swap 首先通过mkswap命令指定作为交换空间的设备或者文件： ［root@localhost ~］#mkswap /data/swapfile SetTIng up swapspace version 1， size = 67104 kB ［root@localhost backup］# free total used free shared buffers cached Mem： 2066632 1998188 68444 0 26160 1588044 -/+ buffers/cache： 383984 1682648 Swap： 4088500 101036 3987464 从上面输出可知，我们指定了一个67104 kB的交换空间，而此时新建的交换空间还未被使用，下面简单介绍下mkswap命令，mkswap的一般使用格式为： mkswap ［参数］ ［设备名称或文件］［交换区大小］ 参数： -c：建立交换区前，先检查是否有损坏的区块。 -v0：建立旧式交换区，此为预设值。 -v1：建立新式交换区。 交换区大小：指定交换区的大小，单位为1024字节。 设置交换分区后，接着通过swapon命令激活swap： ［root@localhost ~］#/usr/sbin/swapon /data/swapfile ［root@localhost backup］# free total used free shared buffers cached Mem： 2066632 1997668 68964 0 27404 1588880 -/+ buffers/cache： 381384 1685248 Swap： 4154028 100976 4053052 通过free命令可以看出，swap大小已经由4088500k变为4154028k，相差的值是60M左右，刚好等于我们增加的一个交换文件大小，这说明新增的交换分区已经可以使用了，但是如果linux重启，那么新增的swap空间将变得不可用，因此需要在/etc/fstab中添加自动加载设置： /data/swapfile none swap sw 0 0 如此以来，linux在重启后就可以实现自动加载swap分区了。其实linux在启动过程中会执行“swapon -a”命令，此命令会加载列在/etc/fstab中的所有交换空间。 3．移除swap 通过swapoff即可移除一个交换空间 ［root@localhost ~］#/usr/sbin/swapoff /data/swapfile 其实也可以通过“swapoff -a”移除在/etc/fstab中定义的所有交换空间，这里的“swapoff -a”与上面提到的“swapon -a”对应。执行“swapoff -a”后，free命令输出如下： ［root@localhost backup］# free total used free shared buffers cached Mem： 2066632 2048724 17908 0 30352 1642748 -/+ buffers/cache： 375624 1691008 Swap： 0 0 0 |
| thank you for your sharing |
 |
微信公众号
手机版
