Crawl4AI 工程师笔记：LLM/Agent 场景下的爬虫选型参考
做爬虫选型，先别急着看功能列表，先回答两个问题：目标页面是不是动态渲染？抓下来的数据给谁消费？如果只是静态页 + 自己解析，requests + BeautifulSoup 就够用了；但如果目标是给 RAG、AI Agent 或 LLM 提供干净结构化输入，而且页面需要跑 JS 才能拿到完整内容，crawl4ai 就是值得认真评估的那个选项。
一句话定位
Crawl4AI 是专为 LLM / RAG / AI Agent 场景设计的开源爬虫工具，核心能力是把网页转成干净的 Markdown 或 JSON，内置异步浏览器池、内容过滤、结构化提取和反检测机制。
核心能力
- LLM 友好输出：自动生成包含标题、表格、代码块和引用提示的 Markdown，内置 BM25 和启发式过滤，去掉导航栏、页脚这类噪声，输出能直接喂给 RAG 链路。
- 多模态提取：支持 CSS 选择器、XPath、或接入任意 LLM（OpenAI、Ollama 等）做结构化 JSON 提取，内置分块机制和余弦相似度匹配，适合复杂页面的字段抽取。
- 浏览器控制层：基于 Playwright 的异步浏览器池，支持持久化会话、代理认证、Shadow DOM 扁平化、虚拟滚动和 Stealth 隐身模式，能应对现代网页的常见反爬手段。
- 生产部署能力：提供官方 Docker 镜像和 FastAPI 封装，内置 JWT 认证、监控仪表盘、WebSocket 流式更新和 GPU 加速配置，默认安全配置，可直接自托管。Cloud API 目前封闭测试，未开放。
适用场景
1. RAG 知识库构建
批量抓取文档站、博客、帮助中心，转成带引用的 Clean Markdown，用 Fit Markdown 策略自动剔除噪声区域，作为向量库的高质量语料。
2. 动态页面结构化提取
电商产品页、SaaS 定价页这类依赖 JS 渲染的页面，渲染完成后用 CSS Schema 或 LLM 提取价格、课程信息等字段，输出标准 JSON。
3. 大规模深度爬取
支持 BFS/DFS 策略做全站爬取，自带断点续传（Crash Recovery）和预取模式（Prefetch），URL 发现与处理有 5-10 倍速提升。
4. 反爬对抗场景
通过自定义浏览器 Profile、代理链升级和 Stealth 模式，对 Cloudflare 这类防护较严的站点有一定稳定抓取能力。
不适用场景
- 简单静态页面：几十个静态页、不需要 JS 渲染、数据量不大，直接用 requests + 解析库更轻量，没必要引入浏览器级工具。
- 已有重型爬虫基础设施：如果团队已经在 Scrapy 或自研框架上有成熟的调度、去重、存储链路，为了单点功能迁移成本偏高。
- 对合规要求极严的项目：Crawl4AI 的隐身模式本质上是绕过反爬，是否可用取决于目标站点协议和使用目的，项目启动前需要自行评估合规风险。原文未提供具体合规指引。
环境要求
- Python 3.10+
- Docker：AMD64 / ARM64
安装步骤
pip install -U crawl4ai
crawl4ai-setup
crawl4ai-doctor
可选：安装 Playwright Chromium 浏览器依赖
python -m playwright install --with-deps chromium
Docker 部署：
docker pull unclecode/crawl4ai:latest && docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest
注意：Docker 运行必须设置 --shm-size=1g，否则浏览器实例容易崩溃。
基础使用示例
1. Python 异步爬取
import asyncio
from crawl4ai import AsyncWebCrawler
async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(url="https://www.nbcnews.com/business")
print(result.markdown)
if __name__ == "__main__":
asyncio.run(main())
返回结果对象中同时包含 raw_markdown 和 fit_markdown 两种内容。
2. CLI 命令
crwl https://www.nbcnews.com/business -o markdown
支持 -o markdown/json 两种输出格式。
3. Docker API 提交任务
import requests
response = requests.post(
"http://localhost:11235/crawl",
json={"urls": ["https://example.com"], "priority": 10}
)
print(response.json())
适合已部署 Docker 服务的场景，支持异步任务提交和结果查询。
选型判断要点
选 Crawl4AI，本质上是在回答三个问题：
- 目标页面的内容是不是需要浏览器渲染才能拿到？如果是，它能帮你省掉自己维护无头浏览器池的精力。
- 抓下来的数据是不是要直接给 LLM / RAG 用？如果是，它的 Markdown 清洗和过滤能力比通用爬虫工具更贴合下游需求。
- 你的团队能不能接受它的异步编程模型和 Playwright 依赖？如果项目组不熟悉 asyncio，学习成本需要算进去。
另外注意两点：一是 Stealth 模式不保证百分百绕过所有反爬机制，线上任务要有兜底策略；二是 Cloud API 还没开放，当前所有能力都是自托管形态，需要自己维护服务。
相关资源
- 项目仓库：github.com/unclecode/crawl4ai
- 官方网站：crawl4ai.com
- 技术文档：docs.crawl4ai.com
- 在线演示：colab.research.google.com/drive/1SgRPrByQLzjRfwoRNq1wSGE9nYY_EE8C
小结
Crawl4AI 不是万能的爬虫工具，它解决的问题很聚焦：动态网页内容提取 + LLM 友好输出。如果你的需求恰好落在这个交集里，它能省掉不少自研工作；如果只是普通静态抓取，用它反而显得重了。选型时先对齐场景，再谈功能。