代码 用 gomu 给 Go 测试补上「变异分数」:覆盖率 100% 也可能零断言

2026-11-16 21:31:07

用 gomu 给 Go 测试补上「变异分数」:覆盖率 100% 也可能零断言

项目地址:

gomu 是 Go 的变异测试工具,思路来自 Java 的 PITest:向源码里注入受控的改动(变异体),再跑一遍测试,看测试能不能发现。发现了叫 killed,没发现叫 survived,后者说明测试写得不够。

覆盖率为什么不够

覆盖率只回答「这行代码跑过没有」,不回答「跑过之后有没有断言」。下面这种测试照样能让 go test 变绿:

func TestMax(t *testing.T) {
Max(3, 1) // 有覆盖率,没有断言
}

t.Skip("TODO") 也一样,CI 通过,覆盖率报告不会因此报错。要发现这类问题,需要换个问法:把 a > b 改成 a >= b,测试会不会红?不会红,就是 survived。

mutation score 怎么算

gomu 的分数公式:

mutation score = (killed + timed out) / (total - not viable - errors)

三种结果的含义:

  • killed:变异体让测试失败,测试有效。
  • survived:变异体下测试仍然通过,是薄弱点。超时(timed out)也归入有效一侧,因为它们确实跑过测试。
  • not viable(NOT_VIABLE):变异体本身编译不过,从未执行到测试,因此不计入分母。典型例子是 type-switch 里某个 clause 被删后,原本使用 switch 变量的分支只剩下编译错误。ERROR 同样被排除。

分母只统计真正跑过测试的变异体,分数才不会被一堆无法编译的变异体稀释。

实现上的几个取舍

先用 go/types 过滤不可编译变异体。 变异体生成后先做类型检查,编译不过的直接标 NOT_VIABLE,不必浪费一次 go test 或 go build。这也是 gomu 强调 type-safe mutations 的原因:它利用 Go 的类型系统来削减无效变异。

用 -overlay 注入变异体,不动工作区文件。 变异体通过 Go 的 overlay 机制叠加到构建里,磁盘上的源码始终是原样,跑完不需要清理。代价是用户不能再自己传 -overlay:gomu 自己管理它。-- 之后的 -overlay、-c、-o、-args 会在任何变异开始前被拒绝,-exec 允许通过。

并行 worker。 --workers 默认 4,用 goroutine 并发跑变异体。

增量分析。 借鉴 PITest 的 POM 式思路,只重跑受变更影响的变异体:对源文件和测试文件做哈希,用 Git 检测变更,复用上一次结果,全部存进项目根目录的 .gomu_history.json。

安装

go install github.com/sivchari/gomu/cmd/gomu@latest

或从源码构建:

git clone https://github.com/sivchari/gomu.git
cd gomu
go build -o gomu ./cmd/gomu

快速开始

gomu run
gomu run --ci-mode
gomu run ./pkg/mypackage
gomu run -v
gomu run --threshold 85.0 --workers 8

run 参数

Flag默认值说明
--ci-modefalse开启 CI 模式,启用质量门禁与 GitHub 集成
--threshold80.0最低 mutation score(0–100)
--workers4并行 worker 数
--timeout30测试超时(秒)
--incrementaltrue只测变更文件;设为 false 跑全量并忽略历史
--base-branchmain增量分析的基准分支
--base-sha基准 commit SHA,用树差分算变更文件,不依赖 git 历史;优先级高于 --base-branch
--outputconsole输出格式:console、json、html、text
--fail-on-gatetrue质量门禁不通过时让构建失败
--include-generatedfalse是否把 // Code generated ... DO NOT EDIT. 的文件也当作变异目标
-v, --verbosefalse详细输出

把参数转给 go test

-- 之后的参数原样转发给 go test,其中 go build 也认识的子集(如 -tags、-race)同时会转发给前置的编译检查:

gomu run ./pkg -- -short
gomu run ./pkg -- -run '^TestUnit'
gomu run ./pkg -- -tags=integration

变异体的发现遵循同一套构建配置:被 -tags、-race、GOOS、GOARCH 或 _windows.go 这类文件名排除在构建之外的文件,不会被变异,也不计入分数。gomu 自己的 --timeout 仍然叠加在 -- 之后传入的 -timeout 之上。

.gomuignore

在项目根目录建 .gomuignore,语法类似 .gitignore:

cmd/
vendor/
testdata/
*_generated.go
!cmd/important/

变异算子

按类别挑重点:

  • 算术:+ - * / % ++ --
  • 条件:== != >=
  • 逻辑:&& || !
  • 位运算:& | ^ >> <<
  • 取反负数
  • 移除自赋值
  • break/continue 互换:仅限无 label 的情况
  • 边界值:整数字面量 N → N+1 / N-1
  • 字符串字面量:非空 → "";import 路径永远不变异
  • 循环条件:→ true / false
  • 空块
  • 赋值移除:不处理 :=
  • 表达式移除 / 语句移除:i++、defer、go、channel send
  • switch:从 case/default 里删语句;带 tag 与不带 tag 的表达式 switch 都支持,type-switch 的 clause 同理;若被删的 clause 是该 switch 变量的唯一使用者,会变成编译错误并报 NOT_VIABLE

接进 CI 与质量门禁

GitHub Actions 的关键步骤:checkout、拉取基准 commit、setup-go、go install gomu,然后带上 --base-sha 跑变异测试,最后把报告作为 artifact 上传。

- uses: actions/checkout@v4
- run: git fetch --depth=1 origin ${{ github.event.pull_request.base.sha }}
- uses: actions/setup-go@v5
with:
go-version: '1.22' # 按项目 go.mod 的版本填
- run: go install github.com/sivchari/gomu/cmd/gomu@latest
- run: gomu run --ci-mode --threshold 80.0 --base-sha ${{ github.event.pull_request.base.sha }}
- uses: actions/upload-artifact@v4
with:
name: mutation-report
path: |
mutation-report.html
mutation-report.json

门禁相关的三个开关:--ci-mode 打开 CI 行为与 GitHub 集成,--threshold 定最低分数,--fail-on-gate 决定不达标时是失败还是继续。

阈值不要一上来就写 80。分三步落地:

  1. 先跑 gomu run,拿到当前分数(比如 62%)。
  2. 把 --threshold 设成略低于当前值(60%),--fail-on-gate true,先让门禁变成「不许倒退」。
  3. 每轮修掉一批 survived,再把阈值往上抬,直到接近目标。

报告示例

Incremental Analysis Report: files changed / no previous history;
Summary: 2 files need testing, 3 files skipped;
Performance improvement: 60.0% files skipped
Quality Gate: PASSED (Score: 84.4%, (killed + timed out) / (total - not viable - errors))

增量分析的四步

  1. 文件哈希:跟踪源文件与测试文件的变更。
  2. Git 集成:自动识别上次 commit 以来的改动文件;用 --base-sha 时改为对基准 commit 做树差分,不需要本地 git 历史。
  3. 结果缓存:未变更的代码复用旧结果。
  4. JSON 存储:.gomu_history.json。

License

MIT。灵感来自 Java 的 PITest。

复制全文 生成海报 Go 测试 变异测试 CI 单元测试

推荐文章

程序员茄子在线接单