RAG工程化落地：检索链路构建与生产优化实践

RAG要解决的问题很具体：模型答得流畅，但答错了；或者企业私有文档、最新行业动态它压根没读过。检索增强生成的做法是把外部知识库接在模型前面，先找证据再组织答案。它不是什么新算法，本质是工程链路设计。

两条链路，各自独立迭代

整套系统拆成离线建库和在线问答两段。离线段把原始文档变成机器能快速匹配的形态：加载、分块、向量化、入库。在线段接收用户问题，向量化后去库里找相似片段，拼进Prompt交给LLM生成。两段解耦的好处是知识更新只动离线段，模型权重完全不用碰。

这里有个容易搞反的认知：RAG的效果上限由检索决定，不由生成决定。检索捞回来的片段不相关，Prompt写得再严谨也是白搭。

和微调、Prompt硬塞的区别

微调把私有数据压进权重，回答自然，但成本高、周期长，知识一变就得重训。Prompt硬塞简单，可上下文窗口有限，塞不进大规模文档，检索效率也谈不上。RAG把知识放在外部库，更新只改库，检索后只传相关片段，长度限制和实时性两个问题一起解决。

技术栈怎么选

原型阶段图快：LangChain Document Loaders 加 Chroma，嵌入模型用 all-MiniLM-L6-v2，LLM 走 Ollama 本地跑 Llama 3，链路用 LangChain Chains 串起来。这套组合全开源、零联网、部署简单。

生产环境要换血：文档处理上 Unstructured 适配表格和图片；嵌入模型换 BGE-large-en/v1.5 提升语义精度；向量库换 Milvus 或 Pinecone，要分片、副本、水平扩容；LLM 用 GPT-4o 或本地化 Qwen-max，在推理能力和成本间取平衡；链路监控接 LangSmith 做追踪和指标评估。

本地原型：Ollama + Chroma

先装依赖，Ollama 本地部署好并拉取模型（ollama pull llama3）：

pip install langchain langchain-ollama langchain-chroma langchain-text-splitters
pip install pypdf sentence-transformers

注意 langchain-community 里的 HuggingFaceEmbeddings 依赖 sentence-transformers，漏装会在初始化时报 ImportError，这是新手最常踩的坑之一。

离线建库的代码骨架：

from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_chroma import Chroma

loader = PyPDFLoader("enterprise_knowledge.pdf")
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(
 chunk_size=500,
 chunk_overlap=50,
 length_function=len,
 separators=["\n\n", "\n", ". ", " ", ""]
)
text_chunks = text_splitter.split_documents(documents)

embeddings = HuggingFaceEmbeddings(
 model_name="all-MiniLM-L6-v2",
 model_kwargs={"device": "cpu"}
)

vector_db = Chroma.from_documents(
 documents=text_chunks,
 embedding=embeddings,
 persist_directory="./rag_chroma_db"
)

retriever = vector_db.as_retriever(search_kwargs={"k": 5})

Chroma 的持久化目录有个细节：进程重启后不要再用 from_documents 重建，那会重复写入。正确做法是 Chroma(persist_directory="./rag_chroma_db", embedding_function=embeddings) 直接加载已有库。如果换 Milvus 单机版，docker compose 拉起后先确认 etcd、minio、milvus 三个容器都是 healthy，否则客户端连接会超时，报错信息通常只显示连接失败，根因在依赖服务没起来。

在线链路。LangChain 0.2.x 之后 RetrievalQA 已归入 langchain.chains.legacy，新项目建议用 create_retrieval_chain 加 create_stuff_documents_chain 组合，行为一致但接口是官方维护路径：

from langchain_ollama import ChatOllama
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

llm = ChatOllama(model="llama3", temperature=0.1, max_tokens=512)

prompt = ChatPromptTemplate.from_template("""
你是企业知识库问答助手，严格遵守以下规则：
1. 仅使用提供的检索内容作为回答依据，严禁编造信息；
2. 若检索内容无相关答案，直接回复“未查询到对应知识库内容”；
3. 回答需简洁专业，分点说明复杂问题，保留关键数据。

检索到的知识库内容：
{context}

用户问题：
{question}
""")

combine_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, combine_chain)

result = rag_chain.invoke({"input": "本企业2025年核心产品的研发进度是？"})
print(result["answer"])
for doc in result["context"][:3]:
 print(doc.metadata.get("page"), doc.page_content[:100])