编程 变更驱动的回归测试选择:CI 规则、强制全量清单与一次漏测审计

2026-11-18 00:03:51

变更驱动的回归测试选择:CI 规则、强制全量清单与一次漏测审计

回归测试选择(RTS)只跑改动可能影响的用例子集,节省的是执行时间,付出的是逃逸风险:没跑的用例不会失败,选漏了不会有任何信号。所以选择器必须输出两样东西——选中的集合,以及“这个方法看不到什么”。

落到 CI 里,结论是三条:

  • 只有路径或映射能证明无关的变更才允许收窄;配置、依赖升级、schema 迁移、新模块、纯模板或样式变更一律全量。
  • 审计方法固定为同一 commit 跑 selected 与 full,missed = full_failed - selected_failed,差集非空就让 CI 变红。
  • 度量看逃逸缺陷率和 full/selected 分歧,不看覆盖率;选择率 tia_selected/total 期望落在 5%~15%。

先把三个概念分开:只有“选择”会漏

  • 测试选择 / TIA:变更集 + 映射 → 用例子集,只跑受影响的。
  • 测试最小化:全量用例 + 覆盖矩阵 → 最小等价子集,永久删冗余。
  • 优先级排序:全量用例 + 风险分 → 有序列表,早跑重要的。

优先级排序不改变执行范围,所以不会漏;测试最小化删掉的是被判等价的部分;只有“选择”会把用例排除在本次运行之外,选漏即逃逸。这就是审计必须围绕选择器做的原因。

五种信号,五种看不见的地方

信号盲区
变更文件:diff 与测试目录的路径规则共享代码,以及测试通过别的模块间接到达的行为
覆盖/依赖映射:记录哪些测试执行了哪些文件配置、数据文件、依赖升级、映射建立之后新增的代码
风险清单:认证/下单/支付永远入选人的判断会过期
历史失败:最近失败的测试跟着下次变更一起跑新代码没有历史,flaky 测试混进“信号”
always-run smoke:每次必跑的小集合深度,smoke 通过不代表下面没坏

这些盲区不是实现缺陷,而是方法本身的边界。选择器的配置里需要有对应的扩围规则来兜。

工具语义:跟随 import 图,不等于运行时路径

Playwright CLI 的 --only-changed:从某个 git ref 起变更过的测试文件,加上所有 import 了变更文件的测试文件。它跟随的是 import 图,不是运行时实际执行路径——通过其它途径(配置加载、动态注册、 fixture 间接引用)到达测试的变更,它看不到。

Datadog Test Impact Analysis 用 per-test coverage 建立映射,再与新 commit 的文件交叉引用。其文档明确列出默认设置看不到的四类:库依赖、编译选项、外部服务、数据驱动测试用到的数据文件。

Azure Test Impact Analysis 会把之前失败的测试和新增测试一起纳入;遇到 HTML、CSS 变更时回退为跑全部测试。

Google 的做法是把代码库建模成依赖图,测试目标距改动超过 10 条依赖边几乎不会失败(Memon et al., Taming Google-Scale Continuous Testing, ICSE-SEIP 2017)。这给了一个可用的截断依据:tier2 可以按依赖边距离截断,超过 10 条边的目标不进入白天的选择集。

按 diff 落规则:五类变更强制全量

规则按“并集 + 映射看不见就全量”写:

变更跑什么原因
映射覆盖的源文件覆盖它的测试 + smoke + 近期失败映射见过这个文件
新增/修改的测试该测试 + 上面的选择新测试既没有覆盖记录也没有历史
配置、数据文件、开关、CI 设置全部覆盖率从没测过这些文件
依赖或 lockfile 升级全部库依赖默认不可见
schema 迁移 / 迁移脚本全部数据契约变了,映射和断言都可能失效
新模块,或代码在文件间移动全部,然后重建映射映射没见过新路径
只改模板/样式全部覆盖率没跑过 markup/style,Azure 也这么回退

前两行是选择器正常工作的区间,后五行是强制全量清单,写死在选择器里,不交给映射判断。

两个真实漏测案例说明了为什么:

税率放在 config/tax.json,覆盖统计只收 Python 文件,映射里没有这个条目,diff 也匹配不到任何测试,选择器落到 smoke,smoke 通过。全量跑挂了 4 个测试,从定价单测一路到结算总额。把 config/* 列为 tracked 文件后,同一变更跑满 12 个测试,4 个失败被捕获。

rounding.py 从四舍五入改成向下取整,映射是在重构前建立的,只选中 1 个测试、0 失败;重建映射后选中 4 个、1 失败。这不是 diff 规则的问题,是映射陈旧。

审计:同一 commit 两次运行,失败差集就是 missed

missed 的定义:在 full 里失败、但在 selected 里没失败(等于根本没跑)的测试。Azure 文档描述的检查方式也是跑完全部,再确认 full 报出的失败一致。

脚本骨架,解析两份 JUnit XML:

# scripts/rts_audit.py
import sys
import xml.etree.ElementTree as ET

def failed_tests(path):
    root = ET.parse(path).getroot()
    out = set()
    for tc in root.iter("testcase"):
        if tc.find("failure") is not None or tc.find("error") is not None:
            out.add(f"{tc.get('classname')}::{tc.get('name')}")
    return out

full, selected = failed_tests(sys.argv[1]), failed_tests(sys.argv[2])
missed = full - selected
print(f"full run failed {len(full)}, selected run failed {len(selected)}, missed {len(missed)}")
for name in sorted(missed):
    print(f"  MISSED {name}")
sys.exit(1 if missed else 0)

CI 里挂成影子运行,selected 与 full 必须来自同一个 commit:

name: rts-audit
on:
  push: { branches: [main] }
  schedule: [{ cron: "0 3 * * *" }]
jobs:
  audit:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
        with: { fetch-depth: 0 }
      - run: npm ci && npx playwright install --with-deps
      - name: selected
        continue-on-error: true
        run: PLAYWRIGHT_JUNIT_OUTPUT_NAME=selected.xml npx playwright test --only-changed=origin/main --reporter=junit
      - name: full shadow
        continue-on-error: true
        run: PLAYWRIGHT_JUNIT_OUTPUT_NAME=full.xml npx playwright test --reporter=junit
      - name: diff
        run: python scripts/rts_audit.py full.xml selected.xml

常规化是五步:每次 merge 或 nightly 用 full 影子跑 selected;对比失败差集;给每个 miss 归因(不可见的文件类型进 tracked 列表 / 映射过期重建 / 映射不全回到构建器警告);用 full 的结果重建映射;每周统计 miss 数。目标是 0,但要看过足够多变更才能判断这个 0 有没有意义。

度量、分层与选择记录

度量按优先级排:

  • 逃逸缺陷率(按 tier 分):最该看,也最难采。
  • full 与 selected 的分歧:每次 nightly 失败而 selected 通过,都是选择器的 bug。
  • 选择率随时间:tia_selected/total 期望 5%~15%。长期缩小而 full 的置信没上升,就是漂移;大于 0.5 说明映射太粗,选择器基本没在做事。
  • 未映射测试数、映射陈旧度。

不要用覆盖率当选择正确性的度量——覆盖率描述的是映射有多全,不描述选漏了什么。

没有工具也能落地的分层与时间预算:

  • tier1:每次 push,10 分钟预算。营收路径、认证、过去两个季度线上出过问题的用例。
  • tier2:每次 merge,30 分钟。依赖图与 diff 相关的用例 + tier1。
  • tier3:nightly,其余用例 + 全量。

超过 10 分钟开发者会切上下文,等着的套件才有人看。这个约束比选择算法本身更决定 RTS 是否被保留。

发布决策依赖某个子集时,记录要写清:用了什么方法、集合相对全量多大、上次全量跑是什么时候。五个问题对齐:哪个方法选的、集合占比多少、上次全量与 selected 是否一致、有没有触发扩围规则、失败与 flaky 是否在选择结果里保持可见。

复制全文 生成海报 回归测试 测试 CI 测试选择 Playwright

推荐文章

程序员茄子在线接单