0

0

Nginx的内存管理的深入理解(图)

不言

不言

发布时间:2018-11-15 17:14:53

|

3952人浏览过

|

来源于segmentfault

转载

本篇文章给大家带来的内容是关于nginx的内存管理的深入理解(图),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

一. 概述

  1. 应用程序的内存可以简单分为堆内存,栈内存。对于栈内存而言,在函数编译时,编译器会插入移动栈当前指针位置的代码,实现栈空间的自管理。而对于堆内存,通常需要程序员进行管理。我们通常说的内存管理亦是只堆空间内存管理。

  2. 对于内存,我们的使用可以简化为3步,申请内存、使用内存、释放内存。申请内存,使用内存通常需要程序员显示操作,释放内存却并不一定需要程序员显示操作,目前很多的高级语言提供了垃圾回收机制,可以自行选择时机释放内存,例如: Go、Java已经实现垃圾回收, C语言目前尚未实现垃圾回收,C++中可以通过智能指针达到垃圾回收的目的。

  3. 除了语言层面的内存管理外,有时我们需要在程序中自行管理内存,总体而言,对于内存管理,我认为主要是解决以下问题:

  • 用户申请内存时,如何快速查找到满足用户需求的内存块?

  • 用户释放内存时,如何避免内存碎片化?

无论是语言层面实现的内存管理还是应用程序自行实现的内存管理,大都将内存按照大小分为几种,每种采用不同的管理模式。常见的分类是按照2的整数次幂分,将不同种类的内存通过链表链接,查询时,从相应大小的链表中寻找,如果找不到,则可以考虑从更大块内存中,拿取一块,将其分为多个小点的内存。当然,对于特别大的内存,语言层面的内存管理可以直接调用内存管理相关的系统调用,应用层面的内存管理则可以直接使用语言层面的内存管理。

  1. nginx内存管理整体可以分为2个部分,

  • 第一部分是常规的内存池,用于进程平时所需的内存管理;

  • 第二部分是共享内存的管理。总体而言,共享内存较内存池要复杂的多。

二. nginx内存池管理

2.1 说明

  1. 本部分使用的nginx版本为1.15.3

  2. 具体源码参见src/core/ngx_palloc.c文件

2.2 nginx实现

2.2.1 使用流程

nginx内存池的使用较为简单,可以分为3步,

  • 调用ngx_create_pool函数获取ngx_pool_t指针。

//size代表ngx_pool_t一块的大小
ngx_pool_t* ngx_create_pool(size_t size, ngx_log_t *log)
  • 调用ngx_palloc申请内存使用

//从pool中申请size大小的内存
void* ngx_palloc(ngx_pool_t *pool, size_t size)
  • 释放内存(可以释放大块内存或者释放整个内存池)

//释放从pool中申请的大块内存
ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p)
//释放整个内存池
void ngx_destroy_pool(ngx_pool_t *pool)

2.2.2 具体实现

  1. 如下图所示,nginx将内存分为2种,一种是小内存,一种是大内存,当申请的空间大于pool->max时,我们认为是大内存空间,否则是小内存空间。

//创建内存池的参数size减去头部管理结构ngx_pool_t的大小
pool->max = size - sizeof(ngx_pool_t);

nginx%2F内存池.png

对于小块内存空间, nginx首先查看当前内存块待分配的空间中,是否能够满足用户需求,如果可以,则直接将这部分内存返回。如果不能满足用户需求,则需要重新申请一个内存块,申请的内存块与当前块空间大小相同,将新申请的内存块通过链表链接到上一个内存块,从新的内存块中分配用户所需的内存。

小块内存并不释放,用户申请后直接使用,即使后期不再使用也不需要释放该内存。由于用户有时并不知道自己使用的内存块是大是小,此时也可以调用ngx_pfree函数释放该空间,该函数会从大空间链表中查找内存,找到则释放内存。对于小内存而言,并未做任何处理。

对于大块内存, nginx会将这些内存放到链表中存储,通过pool->large进行管理。值得注意的是,用户管理大内存的ngx_pool_large_t结构是从本内存池的小块内存中申请而来,也就意味着无法释放这些内存,nginx则是直接复用ngx_pool_large_t结构体。当用户需要申请大内存空间时,利用c函数库malloc申请空间,然后将其挂载某个ngx_pool_large_t结构体上。nginx在需要一个新的ngx_pool_large_t结构时,会首先pool->large链表的前3个元素中,查看是否有可用的,如果有则直接使用,否则新建ngx_pool_large_t结构。

三. nginx共享内存管理

3.1 说明

  1. 本部分使用的nginx版本是1.15.3

  2. 本部分源码详见src/core/ngx_slab.c, src/core/ngx_shmtx.c

  3. nginx共享内存内容相对较多,本文仅做简单概述。

3.2 直接使用共享内存

3.2.1 基础

  1. nginx中需要创建互斥锁,用于后面多进程同步使用。除此之外,nginx可能需要一些统计信息,例如设置(stat_stub),对于这些变量,我们并不需要特意管理,只需要开辟共享空间后,直接使用即可。

    PPT.AI
    PPT.AI

    AI PPT制作工具

    下载
  2. 设置stat_stub后所需的统计信息,亦是放到共享内存中,我们此处仅以nginx中的互斥锁进行说明。

3.2.2 nginx互斥锁的实现

  1. nginx互斥锁,有两种方案,当系统支持原子操作时,采用原子操作,不支持时采用文件锁。本节源码见ngx_event_module_init函数。

  2. 下图为文件锁实现互斥锁的示意图。

nginx%2Fngxin文件锁实现的互斥锁.png

  1. 下图为原子操作实现互斥锁的示意图。

nginx%2Fnginx原子操作实现互斥锁.png

  1. 问题

reload时,新启动的master向老的master发送信号后直接退出,旧的master,重新加载配置(ngx_init_cycle函数), 新创建工作进程, 新的工作进程与旧的工作进程使用的锁是相同的。

平滑升级时, 旧的master会创建新的master, 新的master会继承旧的master监听的端口(通过环境变量传递监听套接字对应的fd),新的进程并没有重新绑定监听端口。可能存在新老worker同时监听某个端口的情况,此时操作系统会保证只会有一个进程处理该事件(虽然epoll_wait都会被唤醒)。

3.3 通过slab管理共享内存

  1. nginx允许各个模块开辟共享空间以供使用,例如ngx_http_limit_conn_module模块。

  2. nginx共享内存管理的基本思想有:

1、将内存按照页进行分配,每页的大小相同, 此处设为page_size。

2、将内存块按照2的整数次幂进行划分, 最小为8bit, 最大为page_size/2。例如,假设每页大小为4Kb, 则将内存分为8, 16, 32, 64, 128, 256, 512, 1024, 2048共9种,每种对应一个slot, 此时slots数组的大小n即为9。申请小块内存(申请内存大小size <= page_size/2)时,直接给用户这9种中的一种,例如,需要30bit时,找大小为32的内存块提供给用户。

3、每个页只会划分一种类型的内存块。例如,某次申请内存时,现有内存无法满足要求,此时会使用一个新的页,则这个新页此后只会分配这种大小的内存。

4、通过双向链表将所有空闲的页连接。图中ngx_slab_pool_t中的free变量即使用来链接空闲页的。

5、通过slots数组将所有小块内存所使用的页链接起来。

6、对于大于等于页面大小的空间请求,计算所需页数,找到连续的空闲页,将空闲页的首页地址返回给客户使用,通过每页的管理结构ngx_slab_page_t进行标识。

7、所有页面只会有3中状态,空闲、未满、已满。空闲,未满都是通过双向链表进行整合,已满页面则不存在与任何页面,当空间被释放时,会将其加入到某个链表。

  1. nginx共享内存的基本结构图如下:

nginx%2F共享内存结构图.png

  • 在上图中,除了最右侧的ngx_slab_pool_t接口开始的一段内存位于共享内存区外,其他内存都不是共享内存。

  • 共享内存最终是从page中分配而来。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

25

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

44

2026.03.12

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

177

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

50

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

92

2026.03.09

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

102

2026.03.06

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

227

2026.03.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

529

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

171

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
进程与SOCKET
进程与SOCKET

共6课时 | 0.4万人学习

nginx浅谈
nginx浅谈

共15课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号