一文探討堆外內(nèi)存的監(jiān)控與回收

結(jié)論：變量雖然置為了 null，但內(nèi)存依舊持續(xù)占用。

CASE 2：分配 1G DirectByteBuffer，等待用戶輸入后，賦值為 null，手動(dòng)觸發(fā) GC，之后阻塞持續(xù)觀察堆外內(nèi)存變化

			

				
				

					
					

						public class WriteByDirectByteBufferTest { 
					

				

				

					
					

						 public static void main(String[] args) throws IOException, InterruptedException { 
					

				

				

					
					

						 ByteBuffer buffer = ByteBuffer.allocateDirect(1024 * 1024 * 1024); 
					

				

				

					
					

						 System.in.read(); 
					

				

				

					
					

						 buffer = null; 
					

				

				

					
					

						 System.gc(); 
					

				

				

					
					

						 new CountDownLatch(1).await(); 
					

				

				

					
					

						 } 
					

				

				

					
					

						} 
					

				

			

結(jié)論：GC 時(shí)會(huì)觸發(fā)堆外空閑內(nèi)存的回收。

CASE 3：分配 1G DirectByteBuffer，等待用戶輸入后，手動(dòng)回收堆外內(nèi)存，之后阻塞持續(xù)觀察堆外內(nèi)存變化

			

				
				

					
					

						public class WriteByDirectByteBufferTest { 
					

				

				

					
					

						 public static void main(String[] args) throws IOException, InterruptedException { 
					

				

				

					
					

						 ByteBuffer buffer = ByteBuffer.allocateDirect(1024 * 1024 * 1024); 
					

				

				

					
					

						 System.in.read(); 
					

				

				

					
					

						 ((DirectBuffer) buffer).cleaner().clean(); 
					

				

				

					
					

						 new CountDownLatch(1).await(); 
					

				

				

					
					

						 } 
					

				

				

					
					

						} 
					

				

			

結(jié)論：手動(dòng)回收可以立刻釋放堆外內(nèi)存，不需要等待到 GC 的發(fā)生。

對(duì)于 MappedByteBuffer 這個(gè)有點(diǎn)神秘的類，它的回收機(jī)制大概和 DirectByteBuffer 類似，體現(xiàn)在右邊的 Mapped 之中，我們就不重復(fù) CASE1 和 CASE2 的測(cè)試了，直接給出結(jié)論，在 GC 發(fā)生或者操作系統(tǒng)主動(dòng)清理時(shí) MappedByteBuffer 會(huì)被回收。但也不是不進(jìn)行測(cè)試，我們會(huì)對(duì) MappedByteBuffer 進(jìn)行更有意思的研究。

CASE 4：手動(dòng)回收 MappedByteBuffer。

			

				
				

					
					

						public class MmapUtil { 
					

				

				

					
					

						 public static void clean(MappedByteBuffer mappedByteBuffer) { 
					

				

				

					
					

						 ByteBuffer buffer = mappedByteBuffer; 
					

				

				

					
					

						 if (buffer == null || !buffer.isDirect() || buffer.capacity() == 0) 
					

				

				

					
					

						 return; 
					

				

				

					
					

						 invoke(invoke(viewed(buffer), "cleaner"), "clean"); 
					

				

				

					
					

						 } 
					

				

				

					
					

						


					

				

				

					
					

						 private static Object invoke(final Object target, final String methodName, final Class... args) { 
					

				

				

					
					

						 return AccessController.doPrivileged(new PrivilegedAction<Object>() { 
					

				

				

					
					

						 public Object run() { 
					

				

				

					
					

						 try { 
					

				

				

					
					

						 Method method = method(target, methodName, args); 
					

				

				

					
					

						 method.setAccessible(true); 
					

				

				

					
					

						 return method.invoke(target); 
					

				

				

					
					

						 } catch (Exception e) { 
					

				

				

					
					

						 throw new IllegalStateException(e); 
					

				

				

					
					

						 } 
					

				

				

					
					

						 } 
					

				

				

					
					

						 }); 
					

				

				

					
					

						 } 
					

				

				

					
					

						


					

				

				

					
					

						 private static Method method(Object target, String methodName, Class[] args) 
					

				

				

					
					

						 throws NoSuchMethodException { 
					

				

				

					
					

						 try { 
					

				

				

					
					

						 return target.getClass().getMethod(methodName, args); 
					

				

				

					
					

						 } catch (NoSuchMethodException e) { 
					

				

				

					
					

						 return target.getClass().getDeclaredMethod(methodName, args); 
					

				

				

					
					

						 } 
					

				

				

					
					

						 } 
					

				

				

					
					

						


					

				

				

					
					

						 private static ByteBuffer viewed(ByteBuffer buffer) { 
					

				

				

					
					

						 String methodName = "viewedBuffer"; 
					

				

				

					
					

						 Method[] methods = buffer.getClass().getMethods(); 
					

				

				

					
					

						 for (int i = 0; i < methods.length; i++) { 
					

				

				

					
					

						 if (methods[i].getName().equals("attachment")) { 
					

				

				

					
					

						 methodName = "attachment"; 
					

				

				

					
					

						 break; 
					

				

				

					
					

						 } 
					

				

				

					
					

						 } 
					

				

				

					
					

						 ByteBuffer viewedBuffer = (ByteBuffer) invoke(buffer, methodName); 
					

				

				

					
					

						 if (viewedBuffer == null) 
					

				

				

					
					

						 return buffer; 
					

				

				

					
					

						 else 
					

				

				

					
					

						 return viewed(viewedBuffer); 
					

				

				

					
					

						 } 
					

				

				

					
					

						} 
					

				

			

這個(gè)類曾經(jīng)在我的《文件 IO 的一些最佳實(shí)踐》中有所介紹，在這里我們將驗(yàn)證它的作用。編寫測(cè)試類：

			

				
				

					
					

						public class WriteByMappedByteBufferTest { 
					

				

				

					
					

						 public static void main(String[] args) throws IOException, InterruptedException { 
					

				

				

					
					

						 File data = new File("/tmp/data.txt"); 
					

				

				

					
					

						 data.createNewFile(); 
					

				

				

					
					

						 FileChannel fileChannel = new RandomAccessFile(data, "rw").getChannel(); 
					

				

				

					
					

						 MappedByteBuffer map = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, 1024L * 1024 * 1024); 
					

				

				

					
					

						 System.in.read(); 
					

				

				

					
					

						 MmapUtil.clean(map); 
					

				

				

					
					

						 new CountDownLatch(1).await(); 
					

				

				

					
					

						 } 
					

				

				

					
					

						} 
					

				

			

結(jié)論：通過一頓復(fù)雜的反射操作，成功地手動(dòng)回收了 Mmap 的內(nèi)存映射。

CASE 5：測(cè)試 Mmap 的內(nèi)存占用

			

				
				

					
					

						public class WriteByMappedByteBufferTest { 
					

				

				

					
					

						 public static void main(String[] args) throws IOException, InterruptedException { 
					

				

				

					
					

						 File data = new File("/tmp/data.txt"); 
					

				

				

					
					

						 data.createNewFile(); 
					

				

				

					
					

						 FileChannel fileChannel = new RandomAccessFile(data, "rw").getChannel(); 
					

				

				

					
					

						 for (int i = 0; i < 1000; i++) { 
					

				

				

					
					

						 fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, 1024L * 1024 * 1024); 
					

				

				

					
					

						 } 
					

				

				

					
					

						 System.out.println("map finish"); 
					

				

				

					
					

						 new CountDownLatch(1).await(); 
					

				

				

					
					

						 } 
					

				

				

					
					

						} 
					

				

			

我嘗試映射了 1000G 的內(nèi)存，我的電腦顯然沒有 1000G 這么大內(nèi)存，那么監(jiān)控是如何反饋的呢？

幾乎在瞬間，控制臺(tái)打印出了 map finish 的日志，也意味著 1000G 的內(nèi)存映射幾乎是不耗費(fèi)時(shí)間的，為什么要做這個(gè)測(cè)試？就是為了解釋內(nèi)存映射并不等于內(nèi)存占用，很多文章認(rèn)為內(nèi)存映射這種方式可以大幅度提升文件的讀寫速度，并宣稱“寫 MappedByteBuffer 就等于寫內(nèi)存”，實(shí)際是非常錯(cuò)誤的認(rèn)知。通過控制面板可以查看到該 Java 進(jìn)程（pid 39040）實(shí)際占用的內(nèi)存，僅僅不到 100M。(關(guān)于 Mmap 的使用場(chǎng)景和方式可以參考我之前的文章)

結(jié)論：MappedByteBuffer 映射出一片文件內(nèi)容之后，不會(huì)全部加載到內(nèi)存中，而是會(huì)進(jìn)行一部分的預(yù)讀（體現(xiàn)在占用的那 100M 上），MappedByteBuffer 不是文件讀寫的銀彈，它仍然依賴于 PageCache 異步刷盤的機(jī)制。通過 Java VisualVM 可以監(jiān)控到 mmap 總映射的大小，但并不是實(shí)際占用的內(nèi)存量。

總結(jié)

本文借助一個(gè)線上問題，分析了使用堆內(nèi)內(nèi)存仍然會(huì)導(dǎo)致堆外內(nèi)存分析的現(xiàn)象以及背后 JDK 如此設(shè)計(jì)的原因，并借助安裝了插件之后的 Java VisualVM 工具進(jìn)行了堆外內(nèi)存的監(jiān)控，進(jìn)而討論了如何正確的回收堆外內(nèi)存，以及糾正了一個(gè)很多人對(duì)于 MappedByteBuffer 的錯(cuò)誤認(rèn)知。