Netty之ByteBuf深入分析
[TOC]
分析思路
内存与内存管理器的抽象
ByteBuf 结构以及重要的API
ByteBuf 数据结构
* {@link ByteBuf} provides two pointer variables to support sequential * read and write operations - {@link #readerIndex() readerIndex} for a read * operation and {@link #writerIndex() writerIndex} for a write operation * respectively. The following diagram shows how a buffer is segmented into * three areas by the two pointers: * * * +-------------------+------------------+------------------+ * | discardable bytes | readable bytes | writable bytes | * | | (CONTENT) | | * +-------------------+------------------+------------------+ * | | | | * 0 <= readerIndex <= writerIndex <= capacity *
* * Readable bytes (the actual content)
read ,write set 方法
mark 和 reset方法
ByteBuf 分类
Pooled 和 Unpooled
Pooled池化内存分配每次从预先分配好的一块内存取一段连续内存封装成ByteBuf提供给应用程序,
Unpooled非池化每次进行内存分配的时候调用系统API向操作系统申请一块内存
Unsafe 和 非Unsafe
Unsafe直接获取ByteBuf在JVM内存地址调用JDK的Unsafe进行读写操作,通过ByteBuf分配内存首地址和当前指针基于内存偏移地址获取值,
非Unsafe不依赖JDK的Unsafe对象,通过内存数组和索引获取值
Heap和Direct
Heap在堆上进行内存分配,分配内存需要被GC管理,无需手动释放内存,依赖底层byte数组,
Direct调用JDK的API进行内存分配,分配内存不受JVM控制最终不会参与GC过程,需要手动释放内存避免造成内存无法释放,依赖DirectByteBuffer对象内存
内存分配器ByteBufAllocator分析
ByteBufAllocator功能
buffer()方法分配内存是否为Direct/Heap内存依赖具体实现,
ioBuffer()方法分配内存更希望是适合IO的Direct Buffer,directBuffer()/headBuffer()方法堆内/堆外进行内存分配,compositeBuffer()方法分配将两个ByteBuf合并变成CompositeByteBuf
AbstractByteBufAllocator
buffer()方法分配Buffer依赖实现分配内存,调用directBuffer()/heapBuffer()方法分配默认Buffer容量和最大扩充容量的ByteBuf,newDirectBuffer()/newHeapBuffer()方法分配Pooled/Unpooled依赖底层实现
ByteBufAllocator两个子类
PooledByteBufAllocator从预先分配好的内存取一段内存,
UnpooledByteBufAllocator调用系统API分配内存,调用hasUnsafe()方法获取Unsafe决定分配Unsafe/非Unsafe
UnpooledByteBufAllocator分析
heap内存的分配
newHeapBuffer()方法通过hasUnsafe()方法判断是否有Unsafe
传递initialCapacity容量Byte数组参数setArray()方法设置array以及setIndex()方法设置读/写指针
创建UnpooledUnsafeHeapByteBuf/UnpooledHeapByteBuf,
_get***()方法通过Unsafe方式返回数组对象偏移量[BYTE_ARRAY_BASE_OFFSET+index]对应的byte/数组索引方式返回array数组index位置byte
direct内存的分配
newDirectBuffer()方法通过hasUnsafe()方法判断是否有Unsafe
调用allocateDirect(initialCapacity)创建DirectByteBuffer
使用setByteBuffer()方法设置buffer[UnpooledUnsafeDirectByteBuf
使用directBufferAddress()方法获取buffer内存地址设置memoryAddress
创建UnpooledUnsafeDirectByteBuf/UnpooledDirectByteBuf,
_get***()方法通过addr()方法memoryAdress+index计算内存地址
Unsafe获取对应这块内存的byte/ByteBuffer获取buffer index位置对应的byte
不同规格大小和不同类别的内存的分配策略
内存规格介绍
0 <-tiny->512B<-small->8K<-normal->16M<-huge-> |______________________| | SubPage Page Chunk
16M作为分界点对应的Chunk,
所有的内存申请以Chunk为单位向操作系统申请,
内存分配在Chunk里面执行相应操作,
16M Chunk按照Page进行切分为2048个Page,8K Page按照SubPage切分
内存的回收过程
常见问题
Netty 的内存的类别有哪些？
堆内内存/堆外内存
堆内[基于2048byte字节内存数组分配]
堆外[基于JDK的DirectByteBuffer内存分配]
Unsafe/非Unsafe
Unsafe[通过JDK的Unsafe对象基于物理内存地址进行数据读写]
非Unsafe[调用JDK的API进行读写]
UnPooled/Pooled
UnPooled[每次分配内存申请内存]
Pooled[预先分配好一整块内存,分配的时候用一定算法从一整块内存取出一块连续内存]
如何减少多线程内存分配之间的竞争关系？
PooledByteBufAllocator内存分配器结构维护Arena数组,所有的内存分配都在Arena上进行,
通过PoolThreadCache对象将线程和Arena进行一一绑定, 默认情况一个Nio线程管理一个Arena实现多线程内存分配相互不受影响减少多线程内存分配之间的竞争
不同大小的内存是如何进行分配的？
Page级别的内存分配通过完全二叉树的标记查找某一段连续内存,
Page级别以下的内存分配首先查找到Page然后把此Page按照SubPage大小进行划分最后通过位图的方式进行内存分配
不同大小的内存是如何进行分配的？2
Netty一次向系统申请16M的连续内存空间，这块内存通过PoolChunk对象包装，进一步的把这16M内存分成了2048个页（pageSize=8k）。页作为Netty内存管理的最基本的单位 ，所有的内存分配首先必须申请一块空闲页。
对于小内存（小于4096）的分配还会将Page细化成更小的单位Subpage。Subpage按大小分有两大类，36种情况：Tiny：小于512的情况，最小空间为16，对齐大小为16，区间为[16,512)，所以共有32种情况。Small：大于等于512的情况，总共有四种，512,1024,2048,4096。