OpenResty 高并发调优:别让 nofile 成为 500 的元凶

压测刚上到几千并发,OpenResty 就开始零星返回 500。查 Lua 逻辑、查上游服务、查数据库连接池,一圈下来毫无头绪。最后在 error.log 的角落里看到这样一行:

2026/11/19 10:23:41 [alert] 12345#0: socket() failed (24: Too many open files)

罪魁祸首不是代码,而是操作系统给进程套上的”文件描述符枷锁”。而解开这把锁的钥匙,往往就是 /etc/security/limits.conf 里毫不起眼的两行。


一、先看这行配置

# /etc/security/limits.conf
@root  soft nofile 100001
@root  hard nofile 100002

这是 Linux PAM 模块 pam_limits 的配置文件,控制用户会话能使用的资源上限。逐段拆解:

字段 含义
@root @ 前缀表示用户组,即对 root 组成员生效。写成 root(无 @)才是对 root 用户本身生效,* 表示所有用户
soft 软限制,实际生效的值。进程可以自己调高,但不能超过 hard
hard 硬限制,天花板。只有 root 能突破
nofile number of open files,单个进程可同时打开的文件描述符(fd)数量
100001 / 100002 软限制 10 万出头,硬限制再多 1。这个量级远超默认的 1024,是典型的高并发调优值

一句话概括:允许 root 组用户的进程最多持有约 10 万个文件描述符。

这里有个容易忽略的细节:soft 和 hard 只差 1,意味着进程几乎无法在运行时动态提升限额。这本身不算错,但如果想保留弹性,通常会把 hard 设得更高(例如 soft 65535 / hard 100002)。


二、为什么 fd 不够就会返回 500

Linux 里”一切皆文件”:网络连接、监听端口、日志文件、Lua 的 cosocket、到 Redis/MySQL 的连接,全部占用 fd。

一个典型的 OpenResty 请求,fd 消耗可能是这样的:

客户端 TCP 连接        → 1 个 fd
访问日志 / 错误日志     → 若干 fd(每 worker 共享)
lua-resty-redis 连接   → 1 个 fd(连接池还会长期持有)
lua-resty-mysql 连接   → 1 个 fd
到上游服务的 keepalive → N 个 fd

并发数一上来,fd 消耗近似等于并发连接数 × 每请求的上游连接数。当进程持有的 fd 触达上限:

  1. accept() 失败,新连接直接被丢弃,客户端看到连接超时或连接重置;
  2. Lua 层 ngx.socket.tcp():connect() 返回 nil, "too many open files",如果代码没检查返回值或未捕获异常,Nginx 直接抛出 500 Internal Server Error;
  3. 日志里出现 socket() failed (24: Too many open files) 或 lua tcp socket connect failed: too many open files。

也就是说,500 只是表象,fd 耗尽才是病根。默认值 1024 意味着:一个 worker 刚处理几百个并发连接就会撞墙——这在高并发场景下几乎必然发生。


三、完整调优链条:只改 limits.conf 还不够

limits.conf 只是其中一环。OpenResty 要真正跑满 10 万级 fd,需要四个层面保持一致:

1. 系统 / PAM 层

# /etc/security/limits.conf
@root  soft nofile 100001
@root  hard nofile 100002

如果 worker 进程不是以 root 组用户运行,请务必改成对应账户或直接用 *:

*  soft nofile 100001
*  hard nofile 100002

2. 内核全局上限

确认内核允许的上限高于你要设置的值,否则设了也白设:

sysctl fs.nr_open fs.file-max
# 建议:fs.nr_open >= 100002,fs.file-max 视内存而定(通常默认足够)

如需调整,写入 /etc/sysctl.conf 后执行 sysctl -p。

3. OpenResty 进程层

# nginx.conf,放在 main 块
worker_processes auto;
worker_rlimit_nofile 100000;   # 不超过 hard limit(100002)

events {
    worker_connections 65535;  # 单 worker 最大并发连接
    multi_accept on;
}

worker_rlimit_nofile 会用 setrlimit() 覆盖进程的 soft limit,但不能突破 hard limit——这就是为什么 limits.conf 必须先到位。

worker_connections 要小于 worker_rlimit_nofile,因为日志、上游连接池、Unix socket 都要占 fd。理论最大并发连接数 = worker_processes × worker_connections,记得按这个公式反推容量。

4. systemd 服务层(最容易漏)

systemd 启动的服务不经过 PAM,limits.conf 对它无效。 如果你用 systemd 管理 OpenResty,必须加 drop-in 配置:

systemctl edit openresty
[Service]
LimitNOFILE=100002

然后重载并重启:

systemctl daemon-reload
systemctl restart openresty

四、五个高频踩坑点

  1. @root 只管 root 组。 生产环境通常用 www / nginx / nobody 跑 worker,这时 @root 完全不起作用。用 ps -eo user,pid,cmd | grep nginx 确认 worker 的真实用户。
  1. 改完不会立即生效。 limits.conf 只对新登录的会话生效。要么重新 SSH 登录,要么用 su - <user> 重建会话;已经跑着的服务必须重启。
  1. systemd 覆盖 PAM。 见上文第 4 点,这是”明明改了却没效果”的头号原因。
  1. soft ≤ hard,且不超过 fs.nr_open。 把 soft 写得比 hard 大,配置会被静默忽略。
  1. 连接池会长期占着 fd。 OpenResty 的 keepalive / set_keepalive 让上游连接复用,但池里的连接始终占 fd。压测时若把 worker_connections 顶满,留给上游池的 fd 可能不足,一样会 500。预留 20%~30% 的 fd 余量是稳妥做法。

五、验证与排查清单

上线前后用这组命令确认配置真正落地:

# 1. 当前 shell 的软/硬限制
ulimit -n          # soft
ulimit -Hn         # hard

# 2. 直接看 nginx worker 进程的真实限制(最权威)
pid=$(pidof nginx | awk '{print $1}')
cat /proc/$pid/limits | grep "open files"

# 3. 该进程当前打开了多少 fd
lsof -p $pid | wc -l

# 4. 系统层面的 fd 用量
cat /proc/sys/fs/file-nr

# 5. 错误日志里搜特征
grep -i "too many open files" /usr/local/openresty/nginx/logs/error.log

判断标准:第 2 步看到的 Max open files 软限制应接近 100000;第 3 步的数值在高并发下应明显低于这个上限,且压力撤掉后能回落——如果只涨不落,先查连接池泄漏。


结语

@root soft nofile 100001 / @root hard nofile 100002 这两行的本质,是把 fd 上限从默认的 1024 拉到 10 万级,为高并发连接和上游连接池留出空间。但它是必要不充分条件:还要配合 worker_rlimit_nofile、worker_connections,以及 systemd 的 LimitNOFILE,缺一个都可能让 500 继续出现。

下次再看到 “Too many open files”,别急着改代码——先看进程的 /proc/<pid>/limits,答案通常就在那里。

上一篇 一个端口反复 Up/Down,但链路其实一次都没断