DeepSeek-V3 开源大模型本地部署教程：671B参数仅需37B激活

DeepSeek-V3 是深度求索（DeepSeek）团队推出的第三代开源大语言模型，采用混合专家（MoE）架构，总参数量达 6710亿，但每个token仅激活 370亿 参数。它在多项基准测试中媲美 GPT-4o 和 Claude 3.5 Sonnet，同时完全开源、可商用。

💡 核心亮点：671B MoE / 37B激活 / 128K上下文 / MIT开源协议 / 中英文双语顶级表现

📊 模型架构一览

参数	数值
总参数量	671B
激活参数量	37B
上下文长度	128K tokens
训练数据	14.8T tokens
开源协议	MIT License

🏆 Benchmark 表现

测试项目	DeepSeek-V3	GPT-4o	Claude 3.5
MMLU	88.5	87.2	88.3
HumanEval	82.6	80.5	79.3
MATH-500	90.2	74.6	78.3

🚀 方法一：API 调用（最快上手）

# 安装 OpenAI 库
pip install -U openai

# 设置环境变量
export OPENAI_BASE_URL="https://api.deepseek.com"
export OPENAI_API_KEY="你的DeepSeek API Key"

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "system", "content": "你是一个专业编程助手"},
        {"role": "user", "content": "用Python实现一个快速排序"}
    ],
    temperature=0.7,
)

print(response.choices[0].message.content)

🛠️ 方法二：vLLM 本地部署

# 安装 vLLM
pip install vllm

# 启动服务（8 GPU）
vllm serve deepseek-ai/DeepSeek-V3 \
  --tensor-parallel-size 8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.9

🔧 方法三：Ollama 本地运行

# 拉取量化版本（推荐 Q4_K_M）
ollama pull deepseek-v3

# 运行对话
ollama run deepseek-v3

# 查看可用版本
ollama list | grep deepseek

📋 模型下载地址

版本	链接
原始权重	HuggingFace
GGUF 量化版	bartowski GGUF