编程 Go 1.26 起,大量 goroutine 阻塞在同一把 sync.Mutex 上会让 GC 栈收缩退化为 O(n²)

2026-11-22 21:05:26

Go 1.26 起,大量 goroutine 阻塞在同一把 sync.Mutex 上会让 GC 栈收缩退化为 O(n²)

问题跟踪:golang/go#82190 — runtime: GC stack shrinking is O(n²) in the number of goroutines blocked on one sync.Mutex since Go 1.26 [1.27 backport]。

这是一个性能回归,不是功能 bug:程序不崩、不 OOM、不死锁,但 GC 的 CPU 占用会异常升高。触发条件是大量 goroutine 同时阻塞在同一把 sync.Mutex 上。

现象:GC 吃 CPU,但既不是内存泄漏也不是死锁

最先观察到的通常是 CPU 曲线:进程 CPU 被打满,但业务吞吐没有同比下降,延迟出现周期性尖刺。堆内存看起来正常,pprof 的 inuse_space 没有增长趋势,goroutine 数量稳定在一个较高水位但不再上涨。

排查方向容易走偏:

  • 看堆内存不像泄漏,于是排除了 GC 问题;
  • 看 goroutine 都卡在 sync.(*Mutex).Lock 上,像死锁,但锁最终会被释放,系统仍在推进;
  • 看吞吐还行,于是当成正常的调度开销。

真正的问题是 GC 周期里的栈收缩(stack shrinking)在这类形态下变成了 O(n²),n 是阻塞在同一把互斥锁上的 goroutine 数量。GC 每轮都要对这些 goroutine 的栈做 shrinkstack 判定,成本随等待者数量平方增长。

触发形态:一堆 goroutine 排在同一把锁上

回归要求的是「大量 goroutine 阻塞在同一把锁」,而不是「锁竞争激烈」这么笼统。常见形态:

  • 连接池:所有调用方抢同一把锁去取/还连接,池满时大量 goroutine 在锁上排队;
  • 任务分发器:单个 dispatch 结构用一把 mutex 保护队列,worker 数量多、任务短,等待者堆积;
  • 单例初始化:全局资源初始化路径共用一把锁,慢初始化期间所有请求线程都堵在这里;
  • 日志缓冲:写日志前统一加锁写入共享 buffer,高 QPS 下等待者数量随并发度线性上升。

共同点是:锁保护的是全局唯一资源,goroutine 数量随并发规模放大,而临界区本身不算特别慢——所以不会表现为死锁,只会表现为「一堆人安静地排队」。

怎么确认

四个方向可以交叉验证。

1. 看 GC 的 CPU 占比

GODEBUG=gctrace=1 ./your-service

每一行 GC 周期的格式大致是:

gc  @s %:  ...

关注第三个字段。正常情况下这个比例是个位数到十几个百分点;如果它在业务低峰、堆没有明显增长时仍然长期偏高,并且与 goroutine 数量同向变化,就值得继续查。

2. pprof 对比 runtime 热点

采集 CPU profile,对比回归前后的差异,重点看 runtime 中与栈扫描、栈收缩相关的路径占比是否显著上升。栈收缩本身是 GC 的常规工作,问题在于它的开销不该和等待者数量呈平方关系。

3. 统计同一把 mutex 的等待者数量

取 goroutine profile,按调用栈聚合,统计停在 sync.(*Mutex).Lock 且调用栈指向同一个锁的 goroutine 数量。这个数字如果随并发度线性增长、并且达到数千量级,就符合回归的触发形态。注意区分:这里要看的是「同一把锁的等待者」,不是全进程 goroutine 总数。

4. 同压测跨版本对照

用同一份压测流量分别跑 Go 1.25 与 Go 1.26/1.27,对比 GC CPU 占比与 P99 延迟。Go 1.26 于 2026-02-10 发布,回归是随 1.26 引入的,版本对照是最直接的证据。

根因

回归由 CL 688335 引入,这个 CL 带来了 GOEXPERIMENT=goroutineleakprofile。

关键点在于:该 GOEXPERIMENT 在 1.26 中默认是关闭的,但回归与实验开关是否启用无关——关掉实验,问题依然存在。所以 1.26 是受影响的版本,不能靠「我没开这个实验」来规避。

修复为 CL 847406,请求回移到 Go 1.26 与 1.27 两个分支。

缓解

在拿到含修复的补丁版本之前,可以从触发条件入手:

  • 分片锁:把一把全局 mutex 拆成 N 把(按 key 哈希、按连接/分片下标),把等待者打散到不同锁上,单个锁的 n 直接降一个数量级;
  • 减少共享:能改成 per-goroutine 状态、channel 传递所有权、或无锁队列的路径,就不要共用一把锁;
  • 把阻塞 goroutine 从单锁上挪开:等待方不要直接阻塞在 mutex 上,改为等待信号(channel / 条件通知),让阻塞点不落在同一把锁的等待链里;
  • 降低 goroutine 数量:给并发加硬上限,用固定大小 worker pool 替代「一请求一 goroutine」,从源头压小 n;
  • 升级到含修复的补丁版本:这是根治手段。

修复与版本

时间线(据 issue 记录):

  • 2026-10-13:issue #82190 提出,为 prattmic 请求把 #81957 回移到下一个 1.27 minor 版本而建;
  • milestone 先设为 Go1.27.3,后改为 Go1.27.4;
  • 2026-11-10:milestone 改为 Go1.27.5;
  • 2026-11-22 的 Go Release Dashboard 中,Go1.27.5 段落已列出 #82190。

原始回移请求单为 #81957,修复 CL 为 847406。按计划,该修复随 Go 1.27.5 发布;1.26 侧的回移同样在请求范围内。

同一批 Go1.27.5 还包括:

  • #82838:amd64/386 误编译(comparison sharing flags with an SBB carry mask);
  • #82978:windows/amd64 异常恢复可写穿 goroutine 栈并破坏 Go heap;
  • #83034:x/net/idna、net/http 的 Punycode 在长度检查之后才编码,导致客户端 CPU 消耗过高;
  • #83136:go1.27.4 拒绝 Rust 静态库。

如果线上服务同时具备「高并发 + 单锁排队」和「GC CPU 偏高但内存正常」两个特征,先把版本对照做了,再决定是改锁结构还是等补丁版本。

项目信息

  • Issue(1.27 回移单):https://github.com/golang/go/issues/82190
  • 原始回移请求:https://github.com/golang/go/issues/81957
  • 引入回归的 CL:https://go.dev/cl/688335
  • 修复 CL:https://go.dev/cl/847406
复制全文 生成海报 Go 性能调优 运行时 Issues

推荐文章

程序员茄子在线接单