增量加载的两处默认失效:Googlebot 不滚动,offset 分页会漏行
首屏只渲染一部分结果,后面的内容靠用户操作追加,这套做法有三种常见形态:分页(页码、上一页下一页)、加载更多(按钮追加)、无限滚动(滚到底自动追加)。它们在前端看起来只是交互差别,但在抓取和分页语义上,默认都会坏掉两处:后续段落没有稳定 URL,以及用 LIMIT offset, size 取页时会重复或漏行。
参考:Google 分页与增量加载、lazy-loading 文档。
失效点一:第 2 段没有独立 URL
Googlebot 通常只抓取 `` 元素 href 属性中的 URL,不会“点击”按钮,通常也不会触发需要用户操作才更新页面内容的 JavaScript。Load more 和无限滚动默认正好落在这条线上:内容在 DOM 里是追加出来的,地址栏不变,第 2 段之后没有任何可被发现的 URL。
判据:直接看服务端 HTML 里有没有链接
# 看列表页 HTML 里是否存在指向第 2 段的
curl -s 'https://example.com/list' | grep -oE ']*href="[^"]*"' | head -50
# 只看第 2 段入口是否出现(示例 URL,按实际路由替换)
curl -s 'https://example.com/list' | grep -c 'href="/list?page=2"'
返回 0 就说明第 2 段对爬虫不可发现。把 curl 换成不带 JS 的浏览器同理:关掉 JS 后如果第 2 段完全取不到,爬虫也取不到。
处理
- 每一段有独立、持久、可分享的 URL,同一 URL 每次加载内容一致,刷新不会变成另一批数据。
- 各段按顺序互相链接(第 1 段链到第 2 段,第 2 段链到第 3 段),不依赖滚动或点击。
- Google 已不再使用 `` /
rel="prev",别把发现逻辑押在这上面。 - 每页使用唯一 URL,各页有自己的 canonical,不要所有页都 canonical 到第一页。
- 页码不要用 URL 片段(
#之后的部分),片段不会发给服务端,也不会成为独立 URL。 - 筛选或不同排序的变体用
noindex或robots.txt挡掉,避免同一批内容被索引成多份。 - 翻下一页的资源用
preload/preconnect/prefetch提前准备。
Load more 的正确基础是一个真实链接,脚本只负责拦截后追加:
[再显示 24 项](/list?after=eyJpZCI6OTgxfQ)
document.getElementById('load-more').addEventListener('click', async (e) => {
e.preventDefault();
const url = e.currentTarget.href;
const res = await fetch(url);
const html = await res.text();
// 追加到列表末尾,并把按钮的 href 换成服务端给出的下一段地址
appendItems(html);
});
无限滚动也一样:第 N 段必须是 /list?after=... 这种能直接打开的地址,滚动只是省掉一次点击,不是唯一入口。
失效点二:offset 分页在有新行插入时重复或漏行
LIMIT offset, size 的含义是“跳过前 offset 行”,它假设集合在两次查询之间不变。实时写入的场景里这个假设不成立。
前后对比(示例数据)
-- 表结构示例
-- items(id bigserial primary key, title text, created_at timestamptz)
-- 当前 id 10..1,共 10 行
-- 第一页:id 10 9 8 7 6
SELECT id FROM items ORDER BY id DESC LIMIT 5 OFFSET 0;
用户看第 1 页期间又写入了 5 条(id 11..15),再取第 2 页:
-- 第 2 页:期望 5 4 3 2 1,实际返回 10 9 8 7 6 —— 与第 1 页完全重复
SELECT id FROM items ORDER BY id DESC LIMIT 5 OFFSET 5;
反向的情况是删除:第 1 页之后删掉几条最新行,OFFSET 5 会整体前移,跳过本该出现的数据。
改成 keyset(游标)分页
游标必须来自唯一且可排序的字段(消息 ID、时间戳 + ID 组合)。
-- 第一页
SELECT id, title, created_at
FROM items
ORDER BY id DESC
LIMIT 20;
-- 取返回结果的最后一行 id 作为游标,示例 cursor = 981
-- 下一页:比较方向与排序方向一致(DESC 用 `。
- 返回到最后一行不足 `limit` 就当作到底;也可以让服务端返回 `next_cursor: null`。
- 排序键允许 `NULL` 时 keyset 需要额外分支,能改成 `NOT NULL` 就改。
- 被删除的已展示项不会自动从页面上消失,前端按主键去重,别整段重渲染。
- 不返回总数(`COUNT(*)` 随数据量变慢);要显示“已显示 24 / 96”就把总数缓存或异步取。
这样做的收益是:不受新插入影响、依赖索引、查询代价不随翻页深度增长。代价是拿不到页码,也不能直接跳到第 N 页。
## 三种模式的选择判据与代价
- **分页**:目标明确、需要跨页比较、需要回到某一页或分享某个位置时用。代价是每次换页要点击、会打断浏览。
- **加载更多**:顺序浏览、需要保留上下文时用,按钮本身是真实链接。代价是已加载项累积后位置难以恢复。
- **无限滚动**:只在内容确为流式、没有明确终点时用,并且必须保留终点或 Load more 兜底,每段有稳定地址。代价是页脚难以到达、返回后位置容易丢、屏幕阅读器和键盘用户难以定位。
内容本身的细节要求:分页显示当前页与总数,上一页下一页是真实链接,换页后把焦点带回结果区顶部;Load more 按钮说明加载多少、已显示多少(示例:“再显示 24 项,已显示 24 / 96”),加载后焦点仍停在可操作位置,并用状态文本通知新增数量;无限滚动必须能到达页脚。
## 状态、恢复与退化
- 加载中:按钮进入进行状态并阻止重复点击。
- 加载失败:保留已加载项,给出重试入口,不要清空列表。
- 从详情返回:回到离开时的位置和已加载项数,而不是重新从第一段开始。
- 筛选或排序变化:重置到第一段,并把当前状态显示出来。
- 零项:给空状态并提供清除筛选;只有一页时隐藏分页控件;越界页码回到最后一页或给明确的空状态。
- 无 JavaScript:分页本来就是普通链接,可以直接用;Load more 以指向下一页的真实链接为基础,脚本只负责追加;无限滚动此时退化为这个链接。
- 减少动态效果(`prefers-reduced-motion`):不做滚动动画,也不做自动滚动定位。
## 无障碍
- 页码控件放在有名称的 `` 里,当前页用 `aria-current="page"`,同组只标一个。
- WCAG 2.2 4.1.3 Status Messages(AA) 要求状态消息在不获得焦点的情况下也能被辅助技术得知:已加载 N 项通过状态区域播报,不移动焦点。
- 目标尺寸 2.5.8 要求至少 24×24 CSS 像素。
- 首页的“上一页”要么移除,要么明确标记为不可用,不能只靠颜色区分。
- 自动触发不得成为唯一路径。
## IntersectionObserver 只是检测手段
MDN 的 [Intersection Observer API](https://developer.mozilla.org/en-US/docs/Web/API/Intersection_Observer_API) 提供 `observe` / `unobserve` / `disconnect`,用 `threshold` 控制触发比例、`rootMargin` 提前量;回调异步执行,不阻塞主线程。它负责判断“哨兵进入视口”,不替代按钮和链接。
重复触发是这里的常见问题:一次滚动会连续产生多条 intersecting 记录,慢网络下请求还没回来又会触发下一轮。
```js
const sentinel = document.querySelector('[data-sentinel]');
const button = document.getElementById('load-more');
let loading = false;
let cursor = null; // 服务端返回的 next_cursor
let requestId = 0;
async function loadNextPage() {
if (loading || cursor === null) return;
loading = true;
const seq = ++requestId;
button.setAttribute('aria-busy', 'true');
try {
const res = await fetch(`/api/items?after=${encodeURIComponent(cursor)}`);
if (!res.ok) throw new Error(res.status);
const data = await res.json();
if (seq !== requestId) return; // 丢弃过期响应
appendItems(data.items);
cursor = data.next_cursor; // null 表示到底
if (cursor === null) io.unobserve(sentinel);
} catch (err) {
showRetry(button); // 已加载项保留
} finally {
loading = false;
button.removeAttribute('aria-busy');
}
}
const io = new IntersectionObserver((entries) => {
for (const entry of entries) {
if (entry.isIntersecting) loadNextPage();
}
}, { rootMargin: '0px 0px 400px 0px' });
io.observe(sentinel);
button.addEventListener('click', loadNextPage);
要点是:loading 锁住并发,cursor 保证请求的是下一段而不是同一段,unobserve 在到底后彻底停掉观察,按钮始终是同一份逻辑的显式入口。
状态播报用单独的区域,不抢焦点:
已显示 24 / 96 项