Self-LLM 开源大模型食用指南
简介
Datawhale 的开源大模型部署手册：环境配置、Llama/Qwen/ChatGLM 等主流开源模型的部署、推理、LoRA 微调全流程，中文环境踩坑指南性质极强。
English
A Chinese hands-on guide to deploying open-source LLMs: environment setup, inference and LoRA fine-tuning for Llama, Qwen, ChatGLM and more.
适用场景
- 想在本地/私有服务器跑开源大模型
- 部署时遇到 CUDA/依赖/显存各种坑需要对照排错
- 想给自己领域微调一个小模型
快速上手
- 按仓库第 1 章配好 Anaconda+CUDA 环境
- 挑一款显存允许的模型跟教程跑通推理
- 尝试 LoRA 微调一个垂直领域数据集
- 对比推理加速方案（vLLM/llama.cpp）择优部署
标签
相关资源
AI Agents for Beginners（微软课程） 精选
微软官方 AI Agent 入门课程（11 课，中文讲义）：从工具使用、RAG、规划到多 Agent 设计模式，带代码作业。Microsoft's official beginner course (11 lessons, Chinese notes) covering tool use, RAG, planning and multi-agent design patterns.
MCP 课程（Hugging Face）
Hugging Face 官方免费 MCP 课程：从协议原理到开发自己的 MCP Server 与 Agent 集成，配套实战单元。Hugging Face's free official MCP course: protocol fundamentals to building your own MCP servers and agent integrations.
Learning Prompt（中文提示词教程） 精选
中文世界最系统的免费提示词教程：从基础结构、进阶技巧到 ChatGPT/ Midjourney 实战，配套可运行示例，适合零基础系统入门。The most systematic free Chinese prompt-engineering tutorial, from basics to practical ChatGPT and Midjourney workflows.