Ollama 本地大模型完全指南:一行命令运行GPT级AI

Ollama 本地大模型完全指南:一行命令运行GPT级AI

Ollama 是目前最流行的本地大模型运行工具,让你无需GPU集群,一行命令就能在自己电脑上运行 Llama 3、Mistral、Qwen 等开源大模型。本文是 Ollama 的完整使用指南。

💡 一句话:Docker 级体验的 AI 模型管理器。安装→拉取→运行,三步搞定。

📦 安装 Ollama

Linux

curl -fsSL https://ollama.com/install.sh | sh

macOS / Windows

直接从 ollama.com 下载安装包。

🎯 推荐模型 TOP 10

模型 大小 适用场景 拉取命令
Llama 3.3 70B43GB通用对话/编程ollama run llama3.3
Qwen2.5 72B44GB中文最强ollama run qwen2.5:72b
DeepSeek-V3404GB顶级性能ollama run deepseek-v3
Mistral Small14GB轻量高效ollama run mistral-small
CodeLlama 34B19GB代码生成ollama run codellama:34b

🔧 常用命令速查

# 拉取模型
ollama pull llama3.3

# 运行对话
ollama run qwen2.5:7b

# 查看已安装模型
ollama list

# 删除模型
ollama rm model_name

# 查看模型信息
ollama show llama3.3

# 启动 API 服务
ollama serve

🔌 自定义 Modelfile

# Modelfile
FROM qwen2.5:7b

# 设置系统提示词
SYSTEM "你是一个专业的Python编程助手,回答简洁清晰。"

# 设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

# 创建自定义模型
# ollama create my-assistant -f Modelfile

🔗 接入第三方工具

# Cursor 中使用 Ollama
# Settings → Models → Add: http://localhost:11434/v1

# Claude Code 中使用 Ollama
export ANTHROPIC_BASE_URL=http://localhost:11434/v1
export ANTHROPIC_API_KEY=ollama

# LobeChat 中配置
# 设置 → 语言模型 → Ollama → 填入 http://host.docker.internal:11434

🎯 总结

Ollama 让本地运行大模型变得像 Docker 一样简单。推荐入门用 Qwen2.5:7b(中文好),进阶用 Llama 3.3 70B(性能强)。配合第三方工具,可以打造完全私密的 AI 工作流。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注