压测刚上到几千并发,OpenResty 就开始零星返回 500。查 Lua 逻辑、查上游服务、查数据库连接池,一圈下来毫无头绪。最后在 error.log 的角落里看到这样一行:
2026/11/19 10:23:41 [alert] 12345#0: socket() failed (24: Too many open files)
罪魁祸首不是代码,而是操作系统给进程套上的”文件描述符枷锁”。而解开这把锁的钥匙,往往就是 /etc/security/limits.conf 里毫不起眼的两行。
一、先看这行配置
# /etc/security/limits.conf
@root soft nofile 100001
@root hard nofile 100002
这是 Linux PAM 模块 pam_limits 的配置文件,控制用户会话能使用的资源上限。逐段拆解:
| 字段 | 含义 |
|---|---|
@root |
@ 前缀表示用户组,即对 root 组成员生效。写成 root(无 @)才是对 root 用户本身生效,* 表示所有用户 |
soft |
软限制,实际生效的值。进程可以自己调高,但不能超过 hard |
hard |
硬限制,天花板。只有 root 能突破 |
nofile |
number of open files,单个进程可同时打开的文件描述符(fd)数量 |
100001 / 100002 |
软限制 10 万出头,硬限制再多 1。这个量级远超默认的 1024,是典型的高并发调优值 |
一句话概括:允许 root 组用户的进程最多持有约 10 万个文件描述符。
这里有个容易忽略的细节:
soft和hard只差 1,意味着进程几乎无法在运行时动态提升限额。这本身不算错,但如果想保留弹性,通常会把 hard 设得更高(例如 soft 65535 / hard 100002)。
二、为什么 fd 不够就会返回 500
Linux 里”一切皆文件”:网络连接、监听端口、日志文件、Lua 的 cosocket、到 Redis/MySQL 的连接,全部占用 fd。
一个典型的 OpenResty 请求,fd 消耗可能是这样的:
客户端 TCP 连接 → 1 个 fd
访问日志 / 错误日志 → 若干 fd(每 worker 共享)
lua-resty-redis 连接 → 1 个 fd(连接池还会长期持有)
lua-resty-mysql 连接 → 1 个 fd
到上游服务的 keepalive → N 个 fd
并发数一上来,fd 消耗近似等于并发连接数 × 每请求的上游连接数。当进程持有的 fd 触达上限:
accept()失败,新连接直接被丢弃,客户端看到连接超时或连接重置;- Lua 层
ngx.socket.tcp():connect()返回nil, "too many open files",如果代码没检查返回值或未捕获异常,Nginx 直接抛出 500 Internal Server Error; - 日志里出现
socket() failed (24: Too many open files)或lua tcp socket connect failed: too many open files。
也就是说,500 只是表象,fd 耗尽才是病根。默认值 1024 意味着:一个 worker 刚处理几百个并发连接就会撞墙——这在高并发场景下几乎必然发生。
三、完整调优链条:只改 limits.conf 还不够
limits.conf 只是其中一环。OpenResty 要真正跑满 10 万级 fd,需要四个层面保持一致:
1. 系统 / PAM 层
# /etc/security/limits.conf
@root soft nofile 100001
@root hard nofile 100002
如果 worker 进程不是以 root 组用户运行,请务必改成对应账户或直接用 *:
* soft nofile 100001
* hard nofile 100002
2. 内核全局上限
确认内核允许的上限高于你要设置的值,否则设了也白设:
sysctl fs.nr_open fs.file-max
# 建议:fs.nr_open >= 100002,fs.file-max 视内存而定(通常默认足够)
如需调整,写入 /etc/sysctl.conf 后执行 sysctl -p。
3. OpenResty 进程层
# nginx.conf,放在 main 块
worker_processes auto;
worker_rlimit_nofile 100000; # 不超过 hard limit(100002)
events {
worker_connections 65535; # 单 worker 最大并发连接
multi_accept on;
}
worker_rlimit_nofile 会用 setrlimit() 覆盖进程的 soft limit,但不能突破 hard limit——这就是为什么 limits.conf 必须先到位。
worker_connections 要小于 worker_rlimit_nofile,因为日志、上游连接池、Unix socket 都要占 fd。理论最大并发连接数 = worker_processes × worker_connections,记得按这个公式反推容量。
4. systemd 服务层(最容易漏)
systemd 启动的服务不经过 PAM,limits.conf 对它无效。 如果你用 systemd 管理 OpenResty,必须加 drop-in 配置:
systemctl edit openresty
[Service]
LimitNOFILE=100002
然后重载并重启:
systemctl daemon-reload
systemctl restart openresty
四、五个高频踩坑点
@root只管 root 组。 生产环境通常用www/nginx/nobody跑 worker,这时@root完全不起作用。用ps -eo user,pid,cmd | grep nginx确认 worker 的真实用户。
- 改完不会立即生效。
limits.conf只对新登录的会话生效。要么重新 SSH 登录,要么用su - <user>重建会话;已经跑着的服务必须重启。
- systemd 覆盖 PAM。 见上文第 4 点,这是”明明改了却没效果”的头号原因。
- soft ≤ hard,且不超过
fs.nr_open。 把 soft 写得比 hard 大,配置会被静默忽略。
- 连接池会长期占着 fd。 OpenResty 的
keepalive/set_keepalive让上游连接复用,但池里的连接始终占 fd。压测时若把worker_connections顶满,留给上游池的 fd 可能不足,一样会 500。预留 20%~30% 的 fd 余量是稳妥做法。
五、验证与排查清单
上线前后用这组命令确认配置真正落地:
# 1. 当前 shell 的软/硬限制
ulimit -n # soft
ulimit -Hn # hard
# 2. 直接看 nginx worker 进程的真实限制(最权威)
pid=$(pidof nginx | awk '{print $1}')
cat /proc/$pid/limits | grep "open files"
# 3. 该进程当前打开了多少 fd
lsof -p $pid | wc -l
# 4. 系统层面的 fd 用量
cat /proc/sys/fs/file-nr
# 5. 错误日志里搜特征
grep -i "too many open files" /usr/local/openresty/nginx/logs/error.log
判断标准:第 2 步看到的 Max open files 软限制应接近 100000;第 3 步的数值在高并发下应明显低于这个上限,且压力撤掉后能回落——如果只涨不落,先查连接池泄漏。
结语
@root soft nofile 100001 / @root hard nofile 100002 这两行的本质,是把 fd 上限从默认的 1024 拉到 10 万级,为高并发连接和上游连接池留出空间。但它是必要不充分条件:还要配合 worker_rlimit_nofile、worker_connections,以及 systemd 的 LimitNOFILE,缺一个都可能让 500 继续出现。
下次再看到 “Too many open files”,别急着改代码——先看进程的 /proc/<pid>/limits,答案通常就在那里。