经常提到的“零拷贝”！你真的理解吗？
前言
零拷贝、MMAP、堆外内存傻傻搞不明白。0.0
要搞清这些概念前，
需要先了解以下概念：
虚拟内存：将用户逻辑内存与物理内存分开。
内核态（）：非特权区域, 在该区域执行的代码就不能直接访问硬件设备。用户进程所在区域。
用户态（）：内核有特别的权利，它能与设备控制器通讯, 控制着用户区域进程的运行状态。
直接内存存取（）：是一种允许外围设备（硬件子系统）直接访问系统主内存的机制。
接管了数据读写的工作，不需要CPU再参与I/O中断的处理，从而减轻了CPU的负担。
问题：为什要把数据从内核空间
拷贝到用户空间 ?
硬件通常不能直接访问用户空间。
磁盘这种基于块存储的硬件设备操作的是固定大小的数据块, 而用户进程请求的可能是任意大小的或非对齐的数据块。
在数据往来于用户空间与存储设备的过程中, 内核负责数据的分解、再组合工作, 因此充当着中间人的角色。
问题：为什么只有 内核态
才能直接访问 物理内存？
回答：区分为用户态和内核态，主要目的为了 保护系统程序。
（1）标准 I/O
基本：即不带缓冲区的, 如 类系统中常用的函数有 :和等。
标准：在基本的函数基础上增加了流和缓冲区的概念。
常用的函数有 :,等
为了提高读写效率和保护磁盘, 使用了页缓存机制（）
模拟场景：从文件中读取数据，然后将数据传输到网上
从上图中可以看出，从数据读取到发送一共经历了四次数据拷贝，具体流程如下：
第一次数据拷贝：当用户进程发起调用后，上下文从用户态切换至内核态。引擎从文件中读取数据，并存储到(内核态缓冲区)。
第二次数据拷贝：请求的数据从内核态缓冲区拷贝到用户态缓冲区，然后返回给用户进程。同时会导致上下文从内核态再次切换到用户态。
第三次数据拷贝：用户进程调用方法期望将数据发送到网络中，此时用户态会再次切换到内核态，请求的数据从用户态缓冲区被拷贝到缓冲区。
第四次数据拷贝：系统调用结束返回给用户进程，再次发生上下文切换。此次操作会异步执行，从缓冲区拷贝到协议引擎中。
问题：为什么需要 Page Cache？
回答：充当缓存的作用，这样就可以实现文件数据的预读，提升 I/O 的性能。可以理解为：批量数据刷盘。
（2）零拷贝
那能不能减少数据拷贝的次数？能，使用零拷贝。
在?Linux?中系统调用?sendfile()?可以实现将数据从一个文件描述符传输到另一个文件描述符，从而实现了零拷贝技术。
在中也可以使用了零拷贝技术，主要是类中：
方法：可以将数据从直接传输到另外一个。
方法：将数据从传输到。
模拟场景：从文件中读取数据，然后将数据传输到网上
从上图中可以看出，从数据读取到发送一共经历了三次数据拷贝，减少了一次，具体流程如下：
用户进程调用上下文从用户态切换至内核态。
第一次数据拷贝：从文件中读取数据，并存储到。
第二次数据拷贝：将中的数据拷贝到缓冲区。
第三次数据拷贝：将缓冲区数据拷贝到网卡进行数据传输。
案例：Kafka 写入日志
实际开发中，我们能发现?Kafka?写入数据时也用到零拷贝技术。
在源码中的方法中可发现：
调用了的方法
更进一步：只需二次数据拷贝
能否继续减少内核中的数据拷贝次数呢？
在版本之后，对缓冲区 追加一些（文件描述符）信息来进一步减少内核数据的复制。
Tips：这种方式的前提是硬件和相关驱动程序支持DMA Gather Copy。
读取文件内容并拷贝到，然后并没有再拷贝到缓冲区，只是将数据的长度以及位置信息被追加到缓冲区，然后根据这些描述信息，直接从内核缓冲区读取数据并传输到协议引擎中，从而消除一次拷贝。
（3）MMAP
：是一种内存映射文件的方法, 可以将一个文件或者其他对象映射到进程的虚拟地址空间
实现文件磁盘地址 和 进程虚拟地址空间中某一段地址的一一对应。
这样应用程序就可以通过访问进程虚拟内存地址直接访问文件。
好处在于：
用户进程把文件数据当作内存, 所以无需发布或系统调用。
当用户进程碰触到映射内存空间, 页错误会自动产生, 从而将文件数据从磁盘读进内存。如果用户修改了映射内存空间, 相关页会自动标记为脏, 随后刷新到磁盘, 文件得到更新。
操作系统的虚拟内存子系统会对页进行智能高速缓存, 自动根据系统负载进行内存管理。
数据总是按页对齐的, 无需执行缓冲区拷贝。
大型文件使用映射, 无需耗费大量内存, 即可进行数据拷贝。
操作文件：
为用户进程创建新的虚拟内存区域
建立文件磁盘地址 和 虚拟内存相关区域的映射 (这期间没有涉及任何的文件拷贝)
当用户进程访问数据时, 若无数据则发起缺页异常处理, 根据已经建立好的映射关系进行一次数据拷贝, 将磁盘中的文件数据读取到虚拟地址对应的内存中。
从内存视角再来看：虚拟地址 与 物理内存
案例：写入日志
技术在进行文件映射的时候，一般有大小限制，在 1.5GB ~ 2GB之间。
RocketMQ才让CommitLog单个文件在1GB，ConsumeQueue文件在5.72MB，不会太大。
的消息写入支持内存映射与两种写入方式：根据参数判断
：先将消息写入到页缓存，然后根据刷盘机制持久化到磁盘。
：数据会先写入到堆外内存，然后批量提交到，并最终根据刷盘策略将数据持久化到磁盘。
（4）堆外内存
如果在内部执行操作时，必须将数据拷贝到堆外内存，才能执行系统调用。
问题：为什么操作系统不能直接使用堆内存进行的读写呢？
原因有二：
1.操作系统并不感知JVM的堆内存，而且JVM的内存布局与操作系统所分配的是不一样的，操作系统并不会按照JVM的行为来读写数据。
2.同一个对象的内存地址随着JVM GC的执行可能会随时发生变化，例如JVM GC的过程中会通过压缩来减少内存碎片，这就涉及对象移动的问题了。
平时开发时，会使用的来创建堆外内存：
普通的分配的是堆内存。
堆外内存创建和销毁的代价相对较高，一般都会采用复用方式。
申请的内存并不是直接由负责垃圾回收，但在包装类被回收时，会通过机制来释放该内存块。
案例：Netty
在进行操作时都是使用的堆外内存，可以避免数据从堆内存到堆外内存的拷贝。
总结
小结下：
热爱技术才能学好技术
每天进步一点点
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20230129A03KZO00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
