Firecrawl厉害，支持将整个网站转变为 LLM 能直接使用的 Markdown，可以作为爬虫来使用

项目：github.com/mendableai/firecrawl
主页：firecrawl.dev

Firecrawl是一项 API 服务，它获取 URL，抓取它，并将其转换为干净的 Markdown。他会抓取所有可访问的子页面，并为每个页面提供清晰的markdown内容。无需站点地图。

开源，支持自己托管服务。