🤔 两种方案对比

方案A：微调（Fine-tuning） —— 把新知识”烘焙”进模型参数。成本高、更新慢、容易产生幻觉。

方案B：RAG —— 在生成答案前，先从外部知识库中检索相关文档，然后让模型基于这些文档回答。成本低、更新快、可溯源。

🏗️ RAG三阶段架构

阶段1：索引（Indexing） —— 将文档切分成小块，转换为向量，存入向量数据库

阶段2：检索（Retrieval） —— 将用户问题也转换为向量，从数据库中找到最相似的文档块

阶段3：生成（Generation） —— 将检索到的文档和用户问题一起交给LLM，生成最终答案

🗄️ 主流向量数据库

• Chroma —— 轻量级，Python原生，适合原型开发

• FAISS —— Meta开源，极致性能，适合大规模场景

• Milvus/Zilliz —— 企业级，支持分布式部署

• Qdrant —— Rust编写，高性能，API友好

• Pinecone —— 全托管SaaS，零运维

• pgvector —— PostgreSQL扩展，无需额外组件

🔍 混合检索示例

用户问：”Python的GIL是什么？”

• 向量搜索：找到语义上关于”Python全局解释器锁”的文档

• BM25搜索：精确匹配”GIL”这个关键词

• 两者结合：确保既不遗漏精确匹配，也不错过语义相关的内容

📝 RAG提示词模板

你是一个专业的问答助手。请根据以下参考文档回答用户的问题。

规则：
1. 只基于提供的参考文档作答
2. 如果文档中没有相关信息，明确说"根据已有资料无法回答"
3. 引用具体的文档来源

参考文档：
{retrieved_documents}

用户问题：{user_question}

import chromadb
from openai import OpenAI

# 初始化
client = OpenAI()
db = chromadb.Client()
collection = db.create_collection("my_knowledge")

# 1. 索引：添加文档
documents = [
    "Python的GIL是全局解释器锁，它确保同一时间只有一个线程执行Python字节码。",
    "RAG通过检索外部知识来增强大模型的生成能力。",
    "向量数据库专门用于存储和检索高维向量数据。"
]
embeddings = []
for doc in documents:
    resp = client.embeddings.create(input=doc, model="text-embedding-3-small")
    embeddings.append(resp.data[0].embedding)

collection.add(documents=documents, embeddings=embeddings, ids=["d1","d2","d3"])

# 2. 检索：根据问题找相关文档
def retrieve(query, k=2):
    q_emb = client.embeddings.create(input=query, model="text-embedding-3-small")
    results = collection.query(query_embeddings=[q_emb.data[0].embedding], n_results=k)
    return results["documents"][0]

# 3. 生成：结合检索结果回答问题
def rag_answer(question):
    docs = retrieve(question)
    context = "\n".join(docs)
    prompt = f"根据以下资料回答问题：\n{context}\n\n问题：{question}"
    resp = client.chat.completions.create(model="gpt-4o", messages=[{"role":"user","content":prompt}])
    return resp.choices[0].message.content

# 使用
answer = rag_answer("什么是GIL？")
print(answer)