Crawl4AI

简介

开源网页爬虫，把任意网站转成 LLM-ready 的干净 Markdown，可自托管或一键用官方 Cloud

Apache-2.0 开源的 Python 爬虫库（unclecode/crawl4ai，84.7k stars、 月下载 1.3M，2026-10-04），面向 RAG、AI Agent 与数据管线场景。把网页转成 LLM-ready 的 Markdown，Clean/Fit 双模式可滤掉菜单页脚等模板噪声，另支持 CSS/XPath schema 免 LLM 抽取、登录态浏览器会话、BFS/DFS 深度爬取与崩溃恢复。 官方 Cloud 用同一个 key 提供 scrape、extract、search、answer（实验性）API， 并带 MCP endpoint，Claude Code、Cursor 等客户端一行命令接入。开源免费， Cloud 为 credits 按量制，Community 档 $10 免费起步无需信用卡，Supporter 为 $10/$25/$100 信用包 pay as you go。

界面预览

相关文章

暂无相关文章。