文章

AI 知识库底层模型与框架设计指南

发表于 更新于
作者 谢代彬
7 分钟阅读
AI 知识库底层模型与框架设计指南

本技术指南旨在梳理企业级 AI 知识库（RAG 系统）底层的关键基础设施，涵盖大模型推理框架、模型托管调度平台、向量模型与向量数据库的分工协作机制。

第一章：大模型推理框架（Inference Frameworks）

推理框架负责加载大模型权重并执行矩阵计算。不同的框架在并发处理吞吐量、响应延迟以及硬件兼容性上各有所长。

1. 服务端极致高并发阵营

专为云端服务器和多卡/集群环境设计，目标是最大化吞吐量（Throughput）。

  • vLLM
    • 核心技术：PagedAttention（分页注意力机制）。
    • 解决痛点：传统推理中 KV Cache 会导致严重的显存碎片化（浪费高达 60% - 80%）。vLLM 借鉴操作系统虚拟内存分页思想，动态按需分配显存，彻底解决碎片化。
    • 优势：显存利用率接近 100%，能够同时处理几十倍的并发请求。
    • 最佳硬件：NVIDIA 中高端 GPU（如 RTX 3090/4090, A100, H100）。
  • SGLang
    • 核心技术：RadixAttention（基数树注意力机制）。
    • 解决痛点：在 Agent 或多轮对话场景中，系统频繁发送相同的系统 Prompt 或参考文档。
    • 优势：自动在显存中缓存并复用公共前缀 of KV Cache。在智能体、小样本学习场景下，速度和吞吐量显著超越 vLLM。

2. 消费级与异构硬件阵营

旨在让大模型平民化，降低硬件门槛。

  • llama.cpp / GGML
    • 核心技术：纯 C/C++ 编写，彻底摆脱 Python 和 PyTorch 的沉重依赖；支持 GGUF 格式的高效量化。
    • 优势：支持模型权重从 16 位浮点数压缩至 4 位或 2 位，文件体积缩水 75% 以上。支持“显存 + 内存”混合加载（例如：8G 显存加载 14G 模型，其余部分借用内存计算）。
    • 最佳硬件：Apple Silicon (Mac M1/M2/M3/M4)、消费级轻薄本、纯 CPU 服务器。

3. 芯片厂商官方高精尖阵营

  • TensorRT-LLM
    • 核心技术：NVIDIA 官方定制，支持深度算子融合（Kernel Fusion）。
    • 优势：将数百个数学步骤融合成极大的计算指令，在单次请求的首字延迟（Latency / Time-to-First-Token）上达到了绝对的业界巅峰。
    • 缺点：极其重构，编译部署繁琐，闭源黑盒化。
    • 最佳硬件：NVIDIA 数据中心级显卡。

第二章：托管调度中间件（Ollama vs Xinference）

中间件位于具体推理框架与上层应用之间，负责模型的下载、拉起、生命周期管理与 API 暴露。

1. Ollama：极致的本地个人体验

  • 定位：开箱即用的紧凑型“家用轿车”。
  • 特点：采用类似 Docker 的 Modelfile 管理模型，一条命令完成下载 and 运行。底层几乎完全锁定在 llama.cpp 框架上。
  • 局限：不具备生产级高并发优化（无 PagedAttention 机制），多用户同时调用易排队崩溃；不支持多机分布式扩展。

2. Xinference：企业级生产资源池

  • 定位：大型跨国“物流车队”。
  • 特点：自身不重写推理底层，而是做聚合调度。同时集成 vLLM、SGLang、llama.cpp、TensorRT-LLM，并根据当前硬件和模型格式自动调度最合适的引擎。
  • 优势：
    • 分布式集群：支持 Supervisor-Worker 架构，可跨多台机器、多张显卡实现负载均衡与崩溃自动恢复。
    • 全生态支持：不仅支持大语言模型（LLM），还原生支持向量模型（Embedding）、重排模型（Rerank）、语音（Whisper）及图像生成（Stable Diffusion）。

第三章：向量模型与向量数据库的分工

在 RAG（检索增强生成）系统中，二者是完全独立的“加工厂”与“仓库”关系。

1. 向量模型（Embedding Model，如 M3E, BGE）

  • 职责：计算与转换（加工厂）。
  • 逻辑：将人类的自然语言文本，转换为一串由高维数字组成的特征向量。其核心特征是“语义相近的文本，转换出的向量在数学空间上的距离极近”。
  • 特性：无存储功能，只负责高密度的 GPU 算力计算，转完即忘。

2. 向量数据库（Vector Database，如 Milvus, Qdrant, Chroma）

  • 职责：存储与快速检索（智能书架）。
  • 逻辑：接收向量模型生成的数字串，连同原始文本一起存入内存/硬盘。当用户提问时，利用近似最近邻算法（ANN）在毫秒级内从百万条数据中检索出距离最近的文本片段。
  • 特性：主要消耗 CPU、内存（RAM）和固态硬盘（SSD）资源。
技术
vLLM SGLang llama.cpp TensorRT-LLM Ollama Xinference Embedding Vector
本文由作者按照 CC BY 4.0 进行授权