BOM 的三个字节在定什么:UTF-16 端序、U+FFFE 判据与 codec 差异
BOM 是 Byte Order Mark,字符 U+FEFF。它只在文件/流的开头才有意义,正文里出现就是零宽不换行空格。1993 年 UCS-2/UTF-16 时代,文本文件没有文件头可以放字节序声明,BOM 就是那个声明。
四种(准确说是五种前缀)字节序列
| 编码 | 开头字节 |
|---|---|
| UTF-8 | EF BB BF |
| UTF-16LE | FF FE |
| UTF-16BE | FE FF |
| UTF-32LE | FF FE 00 00 |
| UTF-32BE | 00 00 FE FF |
UTF-32LE 的前两个字节和 UTF-16LE 完全一样,区别在紧随其后的 00 00;UTF-16LE 正常文本里不会连续出现两个 NUL 字节,所以往后看两个字节能拆开这两种情况。
端序读反:U+FEFF 变成 U+FFFE
U+FEFF 的字节镜像序列是 U+FFFE,Unicode 里把它保留为非字符(noncharacter),不分配给任何字符。用错端序去读带 BOM 的 UTF-16 流,BOM 的两个字节被按相反顺序拼成码元,解出来就是 U+FFFE。
这条性质可以直接当判据用:解码后第一个字符是方块、问号、豆腐块,或者字符串以 \ufffe 开头,基本就是端序读反了,而不是「编码猜错了」。反过来,首字符是 \ufeff 则说明读的时候用的是不带 BOM 处理的显式端序 codec,BOM 被当普通字符留下了。
UTF-8 的 EF BB BF 是签名,不是字节序标记
UTF-8 的码元是单字节,字节流顺序固定,不存在「高字节在前还是低字节在前」的选择,所以 EF BB BF 严格来说不承担定端序的职责,它是 UTF-8 签名,作用是让读取方快速判定「这段是 UTF-8」。
Unicode 标准允许在 UTF-8 文本前加 BOM,但不推荐。真正硬性的约束在 JSON 上:RFC 8259 §8.1 规定实现不得在网络传输的 JSON 文本开头添加字节序标记(U+FEFF);出于互操作考虑,解析实现可以忽略 BOM 而不是报错。这是 RFC 里少见的 MUST NOT,所以一端加 BOM、一端按规范严格解析,是很典型的互通故障。
声明与 BOM 冲突时谁说了算
W3C 的建议按声明层级分:
- UTF-8:尽量避免 BOM。
- UTF-16:上层只声明
UTF-16、没指明 LE/BE 时,BOM 是必需的——否则读取方无从判断端序。 - 已经声明
UTF-16BE/UTF-16LE:不应再加 BOM,声明已经说清楚了,BOM 是冗余,还可能和声明矛盾。 - HTTP 头给了
charset=UTF-16LE:同理,不该再在正文里塞 BOM。
HTML 的情况更直接:编码嗅探算法里 BOM 的优先级高于 ``。一个带 BOM 的页面,即使 meta 写着 GBK,浏览器也会按 UTF-8 解。声明和 BOM 打架时,BOM 通常赢。
codec 层的实现差异
Python
open(path, encoding='utf-16') # 读时消费 BOM 并按 BOM 选端序;写时也会写出 BOM
open(path, encoding='utf-16-le') # 不消费 BOM,BOM 变成字符串首字符 \ufeff
json
json.loads()收bytes时走detect_encoding,认 BOM,能正常解析。- 收
str时若首字符是\ufeff,直接报Unexpected UTF-8 BOM (decode using utf-8-sig)。
Go
encoding/json 遇到 BOM 报 invalid character 'ï' looking for beginning of value。0xEF 按单字节解出来是 latin1 的 ï,报错信息因此看着莫名其妙。
PHP
json_decode 遇到 BOM 返回 null,json_last_error() 是 JSON_ERROR_SYNTAX,不提示是 BOM 的问题。
排查与清理
先看字节:
xxd file | head -1
file -i file # 看 charset 判定
去 BOM,Python 走 utf-8-sig 读、utf-8 写:
text = open(src, encoding='utf-8-sig').read()
open(dst, 'w', encoding='utf-8').write(text)
Go 用手工裁剪加校验:
b = bytes.TrimPrefix(b, []byte{0xEF, 0xBB, 0xBF})
if !utf8.Valid(b) {
// 剩下的不是合法 UTF-8,编码判断有问题
}
bytes.TrimPrefix 只在确实有前缀时裁掉,不会误伤正文里合法出现的 U+FEFF;裁完再做 utf8.Valid 校验,能顺带发现「其实是 UTF-16 被当 UTF-8 读」这类更早的问题。