F

Firecrawl

知识库 / RAG 热度 70 收录 2026-11-01
访问官网 ↗ GitHub 仓库 ↗

简介

为 LLM 设计的网页抓取 API:整站爬取并转为干净的 Markdown,自带 MCP Server,是 Agent 联网获取资料的热门选择。

English

Web scraping API built for LLMs: crawl sites into clean Markdown, with an official MCP server for web-connected agents.

适用场景

  • 要把网页变成干净 Markdown 喂给模型做知识库
  • 需要批量抓整站并保留层级结构
  • 目标站点有反爬,自己写解析成本高

快速上手

  1. 注册拿 API Key,先用 /v1/scrape 抓单页看输出质量
  2. 改用 /v1/crawl 提交整站任务,轮询拿结果
  3. 对结构化需求用 extract 指定 JSON schema
  4. 量大或涉隐私时用官方 docker compose 自托管

标签

爬虫MCP数据采集LLM友好

相关资源

M
MCP

Model Context Protocol(MCP) 精选

Anthropic 推出的模型上下文开放协议,已成为 AI 工具调用的事实标准;官方 servers 仓库收录文件系统、搜索、数据库等参考实现。Anthropic's open protocol connecting AI models to tools and data — the de-facto standard, with reference server implementations.

热度 86 详情 →
P
MCP

Playwright MCP

微软官方的浏览器自动化 MCP Server,让 Agent 可以操作网页、填表、截图、跑端到端测试,网页 Agent 开发必备。Microsoft's official MCP server for browser automation: let agents browse, fill forms, screenshot and run E2E tests.

MCP浏览器自动化微软测试
热度 66 详情 →
F
MCP

FastMCP

最流行的 Python MCP Server 开发框架,几行装饰器即可把函数发布为 MCP 工具,开发效率极高。The popular Pythonic framework for building MCP servers — expose functions as tools with a few decorators.

MCP开发框架Python
热度 72 详情 →
↑