vLLM
简介
高吞吐 LLM 推理引擎：PagedAttention + 连续批处理大幅提升并发吞吐，OpenAI 兼容 API，生产环境自托管模型服务的首选。
English
A high-throughput LLM inference engine with PagedAttention and continuous batching; OpenAI-compatible API, the go-to for self-hosted serving.
适用场景
- 自建模型服务要扛高并发
- 吞吐不足导致 GPU 利用率低
- 需要与 OpenAI SDK 无缝兼容的私有端点
快速上手
- pip install vllm（需 CUDA 环境）
- vllm serve 指定模型与张量并行度
- 压测对比 TGI/原生 transformers 吞吐
- 按业务调 gpu-memory-utilization 与 max-num-seqs
标签
相关资源
Composio
面向 Agent 的工具集成平台：250+ 应用（GitHub、Slack、Notion 等）的开箱即用工具与鉴权管理，支持 MCP 输出。Tool integration platform for agents: 250+ ready-made app tools (GitHub, Slack, Notion...) with auth management and MCP support.
Browser Use
让 AI Agent 直接「使用浏览器」的 Python 库：视觉+DOM 双通道理解页面，网页操作任务成功率业界领先。Python library that lets agents drive a browser visually and via DOM — state-of-the-art on web task benchmarks.
Langfuse 精选
开源 LLM 工程可观测平台：链路追踪、成本统计、Prompt 版本管理、数据集与自动评测，Agent 上线后必备的「仪表盘」。Open-source LLM observability: tracing, cost tracking, prompt versioning, datasets and automated evals.