用 gomu 给 Go 测试补上「变异分数」:覆盖率 100% 也可能零断言
项目地址:
gomu 是 Go 的变异测试工具,思路来自 Java 的 PITest:向源码里注入受控的改动(变异体),再跑一遍测试,看测试能不能发现。发现了叫 killed,没发现叫 survived,后者说明测试写得不够。
覆盖率为什么不够
覆盖率只回答「这行代码跑过没有」,不回答「跑过之后有没有断言」。下面这种测试照样能让 go test 变绿:
func TestMax(t *testing.T) {
Max(3, 1) // 有覆盖率,没有断言
}
t.Skip("TODO") 也一样,CI 通过,覆盖率报告不会因此报错。要发现这类问题,需要换个问法:把 a > b 改成 a >= b,测试会不会红?不会红,就是 survived。
mutation score 怎么算
gomu 的分数公式:
mutation score = (killed + timed out) / (total - not viable - errors)
三种结果的含义:
- killed:变异体让测试失败,测试有效。
- survived:变异体下测试仍然通过,是薄弱点。超时(timed out)也归入有效一侧,因为它们确实跑过测试。
- not viable(NOT_VIABLE):变异体本身编译不过,从未执行到测试,因此不计入分母。典型例子是 type-switch 里某个 clause 被删后,原本使用 switch 变量的分支只剩下编译错误。
ERROR同样被排除。
分母只统计真正跑过测试的变异体,分数才不会被一堆无法编译的变异体稀释。
实现上的几个取舍
先用 go/types 过滤不可编译变异体。 变异体生成后先做类型检查,编译不过的直接标 NOT_VIABLE,不必浪费一次 go test 或 go build。这也是 gomu 强调 type-safe mutations 的原因:它利用 Go 的类型系统来削减无效变异。
用 -overlay 注入变异体,不动工作区文件。 变异体通过 Go 的 overlay 机制叠加到构建里,磁盘上的源码始终是原样,跑完不需要清理。代价是用户不能再自己传 -overlay:gomu 自己管理它。-- 之后的 -overlay、-c、-o、-args 会在任何变异开始前被拒绝,-exec 允许通过。
并行 worker。 --workers 默认 4,用 goroutine 并发跑变异体。
增量分析。 借鉴 PITest 的 POM 式思路,只重跑受变更影响的变异体:对源文件和测试文件做哈希,用 Git 检测变更,复用上一次结果,全部存进项目根目录的 .gomu_history.json。
安装
go install github.com/sivchari/gomu/cmd/gomu@latest
或从源码构建:
git clone https://github.com/sivchari/gomu.git
cd gomu
go build -o gomu ./cmd/gomu
快速开始
gomu run
gomu run --ci-mode
gomu run ./pkg/mypackage
gomu run -v
gomu run --threshold 85.0 --workers 8
run 参数
| Flag | 默认值 | 说明 |
|---|---|---|
--ci-mode | false | 开启 CI 模式,启用质量门禁与 GitHub 集成 |
--threshold | 80.0 | 最低 mutation score(0–100) |
--workers | 4 | 并行 worker 数 |
--timeout | 30 | 测试超时(秒) |
--incremental | true | 只测变更文件;设为 false 跑全量并忽略历史 |
--base-branch | main | 增量分析的基准分支 |
--base-sha | 基准 commit SHA,用树差分算变更文件,不依赖 git 历史;优先级高于 --base-branch | |
--output | console | 输出格式:console、json、html、text |
--fail-on-gate | true | 质量门禁不通过时让构建失败 |
--include-generated | false | 是否把 // Code generated ... DO NOT EDIT. 的文件也当作变异目标 |
-v, --verbose | false | 详细输出 |
把参数转给 go test
-- 之后的参数原样转发给 go test,其中 go build 也认识的子集(如 -tags、-race)同时会转发给前置的编译检查:
gomu run ./pkg -- -short
gomu run ./pkg -- -run '^TestUnit'
gomu run ./pkg -- -tags=integration
变异体的发现遵循同一套构建配置:被 -tags、-race、GOOS、GOARCH 或 _windows.go 这类文件名排除在构建之外的文件,不会被变异,也不计入分数。gomu 自己的 --timeout 仍然叠加在 -- 之后传入的 -timeout 之上。
.gomuignore
在项目根目录建 .gomuignore,语法类似 .gitignore:
cmd/
vendor/
testdata/
*_generated.go
!cmd/important/
变异算子
按类别挑重点:
- 算术:
+ - * / % ++ -- - 条件:
== != >= - 逻辑:
&& || ! - 位运算:
& | ^ >> << - 取反负数
- 移除自赋值
- break/continue 互换:仅限无 label 的情况
- 边界值:整数字面量
N→N+1/N-1 - 字符串字面量:非空 →
"";import 路径永远不变异 - 循环条件:→
true/false - 空块
- 赋值移除:不处理
:= - 表达式移除 / 语句移除:
i++、defer、go、channel send - switch:从 case/default 里删语句;带 tag 与不带 tag 的表达式 switch 都支持,type-switch 的 clause 同理;若被删的 clause 是该 switch 变量的唯一使用者,会变成编译错误并报
NOT_VIABLE
接进 CI 与质量门禁
GitHub Actions 的关键步骤:checkout、拉取基准 commit、setup-go、go install gomu,然后带上 --base-sha 跑变异测试,最后把报告作为 artifact 上传。
- uses: actions/checkout@v4
- run: git fetch --depth=1 origin ${{ github.event.pull_request.base.sha }}
- uses: actions/setup-go@v5
with:
go-version: '1.22' # 按项目 go.mod 的版本填
- run: go install github.com/sivchari/gomu/cmd/gomu@latest
- run: gomu run --ci-mode --threshold 80.0 --base-sha ${{ github.event.pull_request.base.sha }}
- uses: actions/upload-artifact@v4
with:
name: mutation-report
path: |
mutation-report.html
mutation-report.json
门禁相关的三个开关:--ci-mode 打开 CI 行为与 GitHub 集成,--threshold 定最低分数,--fail-on-gate 决定不达标时是失败还是继续。
阈值不要一上来就写 80。分三步落地:
- 先跑
gomu run,拿到当前分数(比如 62%)。 - 把
--threshold设成略低于当前值(60%),--fail-on-gate true,先让门禁变成「不许倒退」。 - 每轮修掉一批 survived,再把阈值往上抬,直到接近目标。
报告示例
Incremental Analysis Report: files changed / no previous history;
Summary: 2 files need testing, 3 files skipped;
Performance improvement: 60.0% files skipped
Quality Gate: PASSED (Score: 84.4%, (killed + timed out) / (total - not viable - errors))
增量分析的四步
- 文件哈希:跟踪源文件与测试文件的变更。
- Git 集成:自动识别上次 commit 以来的改动文件;用
--base-sha时改为对基准 commit 做树差分,不需要本地 git 历史。 - 结果缓存:未变更的代码复用旧结果。
- JSON 存储:
.gomu_history.json。
License
MIT。灵感来自 Java 的 PITest。