Go 1.26 起,大量 goroutine 阻塞在同一把 sync.Mutex 上会让 GC 栈收缩退化为 O(n²)
问题跟踪:golang/go#82190 — runtime: GC stack shrinking is O(n²) in the number of goroutines blocked on one sync.Mutex since Go 1.26 [1.27 backport]。
这是一个性能回归,不是功能 bug:程序不崩、不 OOM、不死锁,但 GC 的 CPU 占用会异常升高。触发条件是大量 goroutine 同时阻塞在同一把 sync.Mutex 上。
现象:GC 吃 CPU,但既不是内存泄漏也不是死锁
最先观察到的通常是 CPU 曲线:进程 CPU 被打满,但业务吞吐没有同比下降,延迟出现周期性尖刺。堆内存看起来正常,pprof 的 inuse_space 没有增长趋势,goroutine 数量稳定在一个较高水位但不再上涨。
排查方向容易走偏:
- 看堆内存不像泄漏,于是排除了 GC 问题;
- 看 goroutine 都卡在
sync.(*Mutex).Lock上,像死锁,但锁最终会被释放,系统仍在推进; - 看吞吐还行,于是当成正常的调度开销。
真正的问题是 GC 周期里的栈收缩(stack shrinking)在这类形态下变成了 O(n²),n 是阻塞在同一把互斥锁上的 goroutine 数量。GC 每轮都要对这些 goroutine 的栈做 shrinkstack 判定,成本随等待者数量平方增长。
触发形态:一堆 goroutine 排在同一把锁上
回归要求的是「大量 goroutine 阻塞在同一把锁」,而不是「锁竞争激烈」这么笼统。常见形态:
- 连接池:所有调用方抢同一把锁去取/还连接,池满时大量 goroutine 在锁上排队;
- 任务分发器:单个 dispatch 结构用一把 mutex 保护队列,worker 数量多、任务短,等待者堆积;
- 单例初始化:全局资源初始化路径共用一把锁,慢初始化期间所有请求线程都堵在这里;
- 日志缓冲:写日志前统一加锁写入共享 buffer,高 QPS 下等待者数量随并发度线性上升。
共同点是:锁保护的是全局唯一资源,goroutine 数量随并发规模放大,而临界区本身不算特别慢——所以不会表现为死锁,只会表现为「一堆人安静地排队」。
怎么确认
四个方向可以交叉验证。
1. 看 GC 的 CPU 占比
GODEBUG=gctrace=1 ./your-service
每一行 GC 周期的格式大致是:
gc @s %: ...
关注第三个字段。正常情况下这个比例是个位数到十几个百分点;如果它在业务低峰、堆没有明显增长时仍然长期偏高,并且与 goroutine 数量同向变化,就值得继续查。
2. pprof 对比 runtime 热点
采集 CPU profile,对比回归前后的差异,重点看 runtime 中与栈扫描、栈收缩相关的路径占比是否显著上升。栈收缩本身是 GC 的常规工作,问题在于它的开销不该和等待者数量呈平方关系。
3. 统计同一把 mutex 的等待者数量
取 goroutine profile,按调用栈聚合,统计停在 sync.(*Mutex).Lock 且调用栈指向同一个锁的 goroutine 数量。这个数字如果随并发度线性增长、并且达到数千量级,就符合回归的触发形态。注意区分:这里要看的是「同一把锁的等待者」,不是全进程 goroutine 总数。
4. 同压测跨版本对照
用同一份压测流量分别跑 Go 1.25 与 Go 1.26/1.27,对比 GC CPU 占比与 P99 延迟。Go 1.26 于 2026-02-10 发布,回归是随 1.26 引入的,版本对照是最直接的证据。
根因
回归由 CL 688335 引入,这个 CL 带来了 GOEXPERIMENT=goroutineleakprofile。
关键点在于:该 GOEXPERIMENT 在 1.26 中默认是关闭的,但回归与实验开关是否启用无关——关掉实验,问题依然存在。所以 1.26 是受影响的版本,不能靠「我没开这个实验」来规避。
修复为 CL 847406,请求回移到 Go 1.26 与 1.27 两个分支。
缓解
在拿到含修复的补丁版本之前,可以从触发条件入手:
- 分片锁:把一把全局 mutex 拆成 N 把(按 key 哈希、按连接/分片下标),把等待者打散到不同锁上,单个锁的 n 直接降一个数量级;
- 减少共享:能改成 per-goroutine 状态、channel 传递所有权、或无锁队列的路径,就不要共用一把锁;
- 把阻塞 goroutine 从单锁上挪开:等待方不要直接阻塞在 mutex 上,改为等待信号(channel / 条件通知),让阻塞点不落在同一把锁的等待链里;
- 降低 goroutine 数量:给并发加硬上限,用固定大小 worker pool 替代「一请求一 goroutine」,从源头压小 n;
- 升级到含修复的补丁版本:这是根治手段。
修复与版本
时间线(据 issue 记录):
- 2026-10-13:issue #82190 提出,为 prattmic 请求把 #81957 回移到下一个 1.27 minor 版本而建;
- milestone 先设为 Go1.27.3,后改为 Go1.27.4;
- 2026-11-10:milestone 改为 Go1.27.5;
- 2026-11-22 的 Go Release Dashboard 中,Go1.27.5 段落已列出 #82190。
原始回移请求单为 #81957,修复 CL 为 847406。按计划,该修复随 Go 1.27.5 发布;1.26 侧的回移同样在请求范围内。
同一批 Go1.27.5 还包括:
- #82838:amd64/386 误编译(comparison sharing flags with an SBB carry mask);
- #82978:windows/amd64 异常恢复可写穿 goroutine 栈并破坏 Go heap;
- #83034:
x/net/idna、net/http的 Punycode 在长度检查之后才编码,导致客户端 CPU 消耗过高; - #83136:go1.27.4 拒绝 Rust 静态库。
如果线上服务同时具备「高并发 + 单锁排队」和「GC CPU 偏高但内存正常」两个特征,先把版本对照做了,再决定是改锁结构还是等补丁版本。
项目信息
- Issue(1.27 回移单):https://github.com/golang/go/issues/82190
- 原始回移请求:https://github.com/golang/go/issues/81957
- 引入回归的 CL:https://go.dev/cl/688335
- 修复 CL:https://go.dev/cl/847406