Ollama 本地大模型完全指南:一行命令运行GPT级AI
Ollama 是目前最流行的本地大模型运行工具,让你无需GPU集群,一行命令就能在自己电脑上运行 Llama 3、Mistral、Qwen 等开源大模型。本文是 Ollama 的完整使用指南。
💡 一句话:Docker 级体验的 AI 模型管理器。安装→拉取→运行,三步搞定。
📦 安装 Ollama
Linux
curl -fsSL https://ollama.com/install.sh | sh
macOS / Windows
直接从 ollama.com 下载安装包。
🎯 推荐模型 TOP 10
| 模型 | 大小 | 适用场景 | 拉取命令 |
|---|---|---|---|
| Llama 3.3 70B | 43GB | 通用对话/编程 | ollama run llama3.3 |
| Qwen2.5 72B | 44GB | 中文最强 | ollama run qwen2.5:72b |
| DeepSeek-V3 | 404GB | 顶级性能 | ollama run deepseek-v3 |
| Mistral Small | 14GB | 轻量高效 | ollama run mistral-small |
| CodeLlama 34B | 19GB | 代码生成 | ollama run codellama:34b |
🔧 常用命令速查
# 拉取模型
ollama pull llama3.3
# 运行对话
ollama run qwen2.5:7b
# 查看已安装模型
ollama list
# 删除模型
ollama rm model_name
# 查看模型信息
ollama show llama3.3
# 启动 API 服务
ollama serve
🔌 自定义 Modelfile
# Modelfile
FROM qwen2.5:7b
# 设置系统提示词
SYSTEM "你是一个专业的Python编程助手,回答简洁清晰。"
# 设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192
# 创建自定义模型
# ollama create my-assistant -f Modelfile
🔗 接入第三方工具
# Cursor 中使用 Ollama
# Settings → Models → Add: http://localhost:11434/v1
# Claude Code 中使用 Ollama
export ANTHROPIC_BASE_URL=http://localhost:11434/v1
export ANTHROPIC_API_KEY=ollama
# LobeChat 中配置
# 设置 → 语言模型 → Ollama → 填入 http://host.docker.internal:11434
🎯 总结
Ollama 让本地运行大模型变得像 Docker 一样简单。推荐入门用 Qwen2.5:7b(中文好),进阶用 Llama 3.3 70B(性能强)。配合第三方工具,可以打造完全私密的 AI 工作流。

发表回复