您现在的位置是：网站首页> AI人工智能
AI应用开发学习资料收集
- AI人工智能
- 2026-09-10
- 24人已阅读
AI应用开发学习资料收集
信息类
# AI 应用开发（落地级）需要掌握的技术栈
先分清两个岗位，很多人会混淆：
1. **大模型算法研发岗**：研究 Transformer、预训练、SFT、DPO、模型架构，训练大权重模型；
2. **AI 应用开发岗（你要的这个）**：**不从头训练大模型**，基于现成开源模型 / 云 API，搭建业务 AI 应用（RAG 知识库、Agent 智能体、多模态应用、AI 工作流）。
>
> 应用开发核心：**模型调用、数据处理、业务编排、工程化部署、问题排查**，Transformer 原理要懂，但不用自己实现 Transformer。
下面按【基础能力 → 核心 AI 应用技术栈 → 工程部署 → 调优与排障 → 可选进阶方向】分层详细讲，附带学习重点和落地场景。
## 一、必备计算机基础（打底，不能跳过）
### 1. Python
AI 应用开发首选语言，所有框架（HuggingFace、LangChain、Pytorch）都是 Python 生态。
**需要掌握：**
- 基础语法、类、装饰器、生成器、异步 `async/await`（推理并发很重要）
- 常用库：`numpy`、`pandas`（文本 / 表格数据清洗）、`pathlib`、`json`
- 熟悉包管理：`pip`、`conda`，理解版本冲突问题
- 进阶：多线程、多进程；知道 GIL 限制，理解为什么推理多用多进程
> 不需要精通 Python 底层 C 扩展，但要能写可维护的工程代码，不是只写 jupyter notebook 脚本。
### 2. 机器学习 & 深度学习基础（理解模型行为，方便排坑）
不用自己推导全部数学公式，但概念必须吃透：
1. 张量、向量、Embedding 向量（RAG 核心）
2. 神经网络基础，**Transformer 核心原理（自注意力、KV Cache、位置编码）**
3. 模型推理、微调、量化基本概念
4. 向量相似度：余弦相似度、欧氏距离（向量库检索基础）
5. 基础概念：Token、上下文窗口、幻觉、Temperature、TopP 采样参数
### 3. 基础后端 & 网络知识
AI 应用本质是后端服务，需要：
- HTTP/HTTPS，RESTful API；`FastAPI` / Flask 写模型服务接口
- JSON，请求 / 响应结构
- 简单 Docker 基础（打包模型服务）
- 了解 TCP、并发、超时、限流（上线必用）
### 4. 数据库基础
- 传统数据库：MySQL / SQLite，存业务元数据、用户对话记录
- 向量数据库：FAISS、Chroma、Milvus、Qdrant（RAG 核心，后面展开）
## 二、AI 应用开发核心技术栈（重中之重）
### 1. Hugging Face 生态（模型接入层，最核心）
> LangChain 是上层编排，底层模型能力绝大多数情况依赖 HF。
> **需要掌握的库：**
1. `transformers`
- `AutoModel` / `AutoTokenizer`，加载 LLM、ViT、CLIP、DiT 图像模型
- 理解 Pipeline：文本生成、分类、图像生成
- 会读取模型配置、手动调整推理参数、使用 Hook 查看中间层输出（简单调试）
2. `datasets`：文档数据集加载、清洗、分片
3. `peft`：LoRA 微调，针对私有化场景做领域小样本微调
4. `bitsandbytes`：4/8bit 量化，降低本地模型显存占用
5. `diffusers`：图像生成模型（SD、Flux）加载推理
6. `accelerate`：多卡推理 / 微调，自动分配设备
7. HF Hub：模型下载、缓存机制，私有模型仓库
**能力目标：**
能独立在本地加载开源大模型（Qwen、Llama），完成单轮推理；做轻量 LoRA 微调；加载文生图模型生成图片。
### 2. 应用编排框架：LangChain / LlamaIndex
> 两者解决同一个问题：把「文档、向量库、提示词、模型、工具」组装成 AI 应用。
#### LangChain（最流行）
核心模块掌握：
- Model Wrapper：对接 HF 本地模型、OpenAI / 通义千问等 API 模型
- PromptTemplate / ChatPromptTemplate：提示词工程封装
- DocumentLoader：文档加载（PDF、Word、Markdown、网页）
- TextSplitter：文本切分（字符分割、递归分割，RAG 最容易踩坑）
- Embedding：文本向量化模型调用
- Retriever：向量检索
- Chain：构建问答链、多步骤链式调用
- Agent + Tools：工具调用智能体（联网、调用业务接口、计算器）
- Memory：对话记忆（窗口记忆、向量记忆）
#### LlamaIndex（更聚焦 RAG）
优势：文档索引能力更强，适合大规模知识库，复杂文档结构（表格、长文档）。
> 学习重点：不要死记 API，理解**RAG 完整链路**：
> 文档加载 → 清洗 → 文本切块 → Embedding 向量化 → 存入向量库 → 用户 query 向量化 → 向量检索 → 把检索到的上下文拼入 Prompt → 交给大模型生成答案。
### 3. Embedding & 向量数据库（RAG 必备）
1. Embedding 模型：文本转稠密向量。开源如`bge`、`text2vec`；也可以用云 API Embedding。
- 理解：向量质量直接决定 RAG 检索好坏；需要做向量模型选型、向量维度匹配
2. 向量库选型与使用：
- 本地测试：FAISS、Chroma（轻量，开发调试）
- 生产环境：Milvus、Qdrant、PGVector（Postgres 向量插件，中小项目首选）
掌握：向量入库、相似度检索、过滤、向量库持久化、分片，以及检索召回率优化。
### 4. 提示词工程 Prompt Engineering
应用开发**成本最低、见效最快**的优化手段：
- 基础技巧：Few-shot、思维链 CoT、角色设定、输出格式约束（JSON 输出）
- 高级：结构化 Prompt，防止模型输出乱码；控制模型格式用于 Agent 工具调用
- 边界：理解 Prompt 上限，复杂场景不能只靠提示词，需要 RAG/Agent 辅助
### 5. Agent 智能体开发
Agent = 大模型 + 工具 + 思考循环
掌握：
- Function Calling / Tool Call 原理：模型识别什么时候调用外部函数
- 自定义工具开发：封装自己业务 API 给 Agent 调用
- Agent 类型：ReAct、Plan-and-Solve；理解 Agent 循环、最大迭代次数限制
- 风险控制：Agent 无限循环、越权调用工具，安全拦截
### 6. 多模态 AI 应用（可选，现在需求越来越多）
如果要做图文理解、图片 OCR、文生图：
- CLIP：图文向量匹配
- HF diffusers：Flux / SD 文生图
- 多模态 LLM：Qwen-VL、LLaVA，图片 + 文本问答
- OCR 工具：PaddleOCR，提取图片内文字送入 RAG
## 三、模型推理加速 & 服务化部署（上线必备！很多应用开发卡在这一步）
本地跑通 demo 只是第一步，生产环境要做**高并发、低延迟推理服务**
### 1. 推理引擎（替代 HF 原生 transformers 推理，大幅提速）
- vLLM：最主流，PagedAttention，连续批处理，LLM 推理首选
- TensorRT-LLM：NVIDIA 显卡极致性能优化
- Text Generation Inference (TGI)：HF 官方推理服务
掌握：部署 vLLM 作为后端 OpenAI 兼容接口，LangChain 可以直接对接 vLLM 服务。
### 2. API 服务封装
FastAPI 把模型推理封装成 HTTP 接口；实现：
- 请求校验、参数校验（temperature、max_tokens）
- 异步接口、并发队列
- 流式输出 SSE（网页打字机效果）
- 错误捕获，超时处理
### 3. 容器化 & 运维基础
- Docker：打包模型 + 环境，保证开发 / 生产环境一致，编写 Dockerfile
- Docker Compose：本地编排多个服务（向量库 + LLM 服务 + 业务后端）
- 基础监控：日志采集、GPU 显存监控、QPS、响应延迟
### 4. 资源与显存优化
- 模型量化：4bit / 8bit，bitsandbytes、AWQ、GPTQ 量化格式区别
- KV Cache 原理，上下文窗口对显存的影响
- 模型分片、多卡分布式推理
## 四、调优、评估与问题排查能力（区分初级和高级应用开发）
AI 应用最大难点：**不是跑通 demo，而是稳定可控，效果达标**
1. RAG 效果评估：召回率、准确率；排查幻觉、答案不匹配问题
- 常见 RAG 问题：切块不合理、向量模型不匹配、检索 TopK 设置错误、上下文溢出
2. 模型生成参数调优：`temperature`、`top_p`、`max_new_tokens`、`repetition_penalty`
3. 幻觉定位：区分是检索素材问题，还是模型本身生成问题
4. 评测集构建：准备测试 question / 标准答案，自动化批量评估应用效果
5. 安全过滤：敏感内容拦截，输入输出校验，防止 Prompt 注入攻击
> Prompt 注入是 AI 应用上线重大安全风险，必须掌握防御方案。
## 五、可选进阶方向（看业务需求）
1. 轻量微调：LoRA、QLoRA，领域数据微调，提升垂直领域回答效果（不用全参数训练）
2. 分布式系统：K8s 部署模型服务，弹性扩缩容（大流量生产）
3. 前端：简单 Vue/React，对接后端 SSE 接口，做 AI 聊天页面（很多 AI 应用开发需要简单前端联调）
4. 音频方向：ASR 语音转文字、TTS 语音合成，语音对话机器人
5. 模型观测：LangSmith，追踪 Chain/Agent 调用链路，调试 LangChain 应用
# 学习路线推荐（由浅入深）
1. Python 基础 + FastAPI 写简单接口
2. HuggingFace transformers，本地跑通开源 LLM 单轮推理，理解 token、采样参数
3. 学习 Embedding + FAISS，手写极简原生 RAG（**不要直接用 LangChain 封装，先裸写一遍理解 RAG 链路**）
4. LangChain，用框架重构 RAG，实现对话记忆
5. 开发 Agent，自定义工具调用
6. vLLM 部署模型服务，LangChain 对接推理服务，实现流式输出
7. Docker 打包整套应用；做效果评估、优化召回、处理幻觉
8. 进阶：LoRA 微调、多模态应用、生产级向量库部署
# 岗位能力边界总结
✅ AI 应用开发要会：调用模型、数据处理、RAG 搭建、Agent 编排、服务封装、部署调优、效果评估
❌ **不需要精通**：Transformer 底层 CUDA 算子、大规模预训练、底层模型架构创新（这是算法研发岗）