变更驱动的回归测试选择:CI 规则、强制全量清单与一次漏测审计
回归测试选择(RTS)只跑改动可能影响的用例子集,节省的是执行时间,付出的是逃逸风险:没跑的用例不会失败,选漏了不会有任何信号。所以选择器必须输出两样东西——选中的集合,以及“这个方法看不到什么”。
落到 CI 里,结论是三条:
- 只有路径或映射能证明无关的变更才允许收窄;配置、依赖升级、schema 迁移、新模块、纯模板或样式变更一律全量。
- 审计方法固定为同一 commit 跑 selected 与 full,
missed = full_failed - selected_failed,差集非空就让 CI 变红。 - 度量看逃逸缺陷率和 full/selected 分歧,不看覆盖率;选择率
tia_selected/total期望落在 5%~15%。
先把三个概念分开:只有“选择”会漏
- 测试选择 / TIA:变更集 + 映射 → 用例子集,只跑受影响的。
- 测试最小化:全量用例 + 覆盖矩阵 → 最小等价子集,永久删冗余。
- 优先级排序:全量用例 + 风险分 → 有序列表,早跑重要的。
优先级排序不改变执行范围,所以不会漏;测试最小化删掉的是被判等价的部分;只有“选择”会把用例排除在本次运行之外,选漏即逃逸。这就是审计必须围绕选择器做的原因。
五种信号,五种看不见的地方
| 信号 | 盲区 |
|---|---|
| 变更文件:diff 与测试目录的路径规则 | 共享代码,以及测试通过别的模块间接到达的行为 |
| 覆盖/依赖映射:记录哪些测试执行了哪些文件 | 配置、数据文件、依赖升级、映射建立之后新增的代码 |
| 风险清单:认证/下单/支付永远入选 | 人的判断会过期 |
| 历史失败:最近失败的测试跟着下次变更一起跑 | 新代码没有历史,flaky 测试混进“信号” |
| always-run smoke:每次必跑的小集合 | 深度,smoke 通过不代表下面没坏 |
这些盲区不是实现缺陷,而是方法本身的边界。选择器的配置里需要有对应的扩围规则来兜。
工具语义:跟随 import 图,不等于运行时路径
Playwright CLI 的 --only-changed:从某个 git ref 起变更过的测试文件,加上所有 import 了变更文件的测试文件。它跟随的是 import 图,不是运行时实际执行路径——通过其它途径(配置加载、动态注册、 fixture 间接引用)到达测试的变更,它看不到。
Datadog Test Impact Analysis 用 per-test coverage 建立映射,再与新 commit 的文件交叉引用。其文档明确列出默认设置看不到的四类:库依赖、编译选项、外部服务、数据驱动测试用到的数据文件。
Azure Test Impact Analysis 会把之前失败的测试和新增测试一起纳入;遇到 HTML、CSS 变更时回退为跑全部测试。
Google 的做法是把代码库建模成依赖图,测试目标距改动超过 10 条依赖边几乎不会失败(Memon et al., Taming Google-Scale Continuous Testing, ICSE-SEIP 2017)。这给了一个可用的截断依据:tier2 可以按依赖边距离截断,超过 10 条边的目标不进入白天的选择集。
按 diff 落规则:五类变更强制全量
规则按“并集 + 映射看不见就全量”写:
| 变更 | 跑什么 | 原因 |
|---|---|---|
| 映射覆盖的源文件 | 覆盖它的测试 + smoke + 近期失败 | 映射见过这个文件 |
| 新增/修改的测试 | 该测试 + 上面的选择 | 新测试既没有覆盖记录也没有历史 |
| 配置、数据文件、开关、CI 设置 | 全部 | 覆盖率从没测过这些文件 |
| 依赖或 lockfile 升级 | 全部 | 库依赖默认不可见 |
| schema 迁移 / 迁移脚本 | 全部 | 数据契约变了,映射和断言都可能失效 |
| 新模块,或代码在文件间移动 | 全部,然后重建映射 | 映射没见过新路径 |
| 只改模板/样式 | 全部 | 覆盖率没跑过 markup/style,Azure 也这么回退 |
前两行是选择器正常工作的区间,后五行是强制全量清单,写死在选择器里,不交给映射判断。
两个真实漏测案例说明了为什么:
税率放在 config/tax.json,覆盖统计只收 Python 文件,映射里没有这个条目,diff 也匹配不到任何测试,选择器落到 smoke,smoke 通过。全量跑挂了 4 个测试,从定价单测一路到结算总额。把 config/* 列为 tracked 文件后,同一变更跑满 12 个测试,4 个失败被捕获。
rounding.py 从四舍五入改成向下取整,映射是在重构前建立的,只选中 1 个测试、0 失败;重建映射后选中 4 个、1 失败。这不是 diff 规则的问题,是映射陈旧。
审计:同一 commit 两次运行,失败差集就是 missed
missed 的定义:在 full 里失败、但在 selected 里没失败(等于根本没跑)的测试。Azure 文档描述的检查方式也是跑完全部,再确认 full 报出的失败一致。
脚本骨架,解析两份 JUnit XML:
# scripts/rts_audit.py
import sys
import xml.etree.ElementTree as ET
def failed_tests(path):
root = ET.parse(path).getroot()
out = set()
for tc in root.iter("testcase"):
if tc.find("failure") is not None or tc.find("error") is not None:
out.add(f"{tc.get('classname')}::{tc.get('name')}")
return out
full, selected = failed_tests(sys.argv[1]), failed_tests(sys.argv[2])
missed = full - selected
print(f"full run failed {len(full)}, selected run failed {len(selected)}, missed {len(missed)}")
for name in sorted(missed):
print(f" MISSED {name}")
sys.exit(1 if missed else 0)
CI 里挂成影子运行,selected 与 full 必须来自同一个 commit:
name: rts-audit
on:
push: { branches: [main] }
schedule: [{ cron: "0 3 * * *" }]
jobs:
audit:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
with: { fetch-depth: 0 }
- run: npm ci && npx playwright install --with-deps
- name: selected
continue-on-error: true
run: PLAYWRIGHT_JUNIT_OUTPUT_NAME=selected.xml npx playwright test --only-changed=origin/main --reporter=junit
- name: full shadow
continue-on-error: true
run: PLAYWRIGHT_JUNIT_OUTPUT_NAME=full.xml npx playwright test --reporter=junit
- name: diff
run: python scripts/rts_audit.py full.xml selected.xml
常规化是五步:每次 merge 或 nightly 用 full 影子跑 selected;对比失败差集;给每个 miss 归因(不可见的文件类型进 tracked 列表 / 映射过期重建 / 映射不全回到构建器警告);用 full 的结果重建映射;每周统计 miss 数。目标是 0,但要看过足够多变更才能判断这个 0 有没有意义。
度量、分层与选择记录
度量按优先级排:
- 逃逸缺陷率(按 tier 分):最该看,也最难采。
- full 与 selected 的分歧:每次 nightly 失败而 selected 通过,都是选择器的 bug。
- 选择率随时间:
tia_selected/total期望 5%~15%。长期缩小而 full 的置信没上升,就是漂移;大于 0.5 说明映射太粗,选择器基本没在做事。 - 未映射测试数、映射陈旧度。
不要用覆盖率当选择正确性的度量——覆盖率描述的是映射有多全,不描述选漏了什么。
没有工具也能落地的分层与时间预算:
- tier1:每次 push,10 分钟预算。营收路径、认证、过去两个季度线上出过问题的用例。
- tier2:每次 merge,30 分钟。依赖图与 diff 相关的用例 + tier1。
- tier3:nightly,其余用例 + 全量。
超过 10 分钟开发者会切上下文,等着的套件才有人看。这个约束比选择算法本身更决定 RTS 是否被保留。
发布决策依赖某个子集时,记录要写清:用了什么方法、集合相对全量多大、上次全量跑是什么时候。五个问题对齐:哪个方法选的、集合占比多少、上次全量与 selected 是否一致、有没有触发扩围规则、失败与 flaky 是否在选择结果里保持可见。