Ollama部署本地大模型的完整流程是什么？新手如何避坑

作者：大自然的搬运工 · 2026-06-30 12:54:16

想用 Ollama 部署本地大模型，核心步骤就三步：安装 Ollama、拉取模型、运行对话。这篇文章为你拆解从零到运行的完整流程，并指出新手最容易出错的几个地方，帮你一次部署成功。 ## Ollama 部署本地大模型前的准备在正式部署前，先确认你的硬件环境。Ollama 支持 macOS、Linux 和 Windows，最低要求是 8GB 内存，但如果运行 7B 参数以上的模型，建议 16GB 起步。硬盘空间至少预留 20GB，因为一个 7B 模型通常占用 4-5GB，多模型并存会迅速膨胀。网络环境也很关键，国内用户建议提前配置镜像源，否则拉取模型时容易超时。 ## Ollama 安装与基础配置访问 Ollama 官网下载对应系统的安装包，Windows 用户直接运行 exe，macOS 拖入应用文件夹，Linux 执行官方脚本即可。安装完成后，终端输入 `ollama --version` 确认成功。这里有一个关键动作：设置环境变量 `OLLAMA_MODELS` 可以指定模型存储路径，避免 C 盘爆满。国内用户建议设置 `OLLAMA_HOST` 为 `0.0.0.0`，方便局域网内其他设备调用。 ## 用 Ollama 拉取和运行本地大模型运行 `ollama pull llama3` 即可下载 Meta 的 Llama 3 模型，换成 `qwen2` 或 `gemma2` 可以体验其他开源模型。拉取完成后，`ollama run llama3` 直接进入对话。进阶用法是通过 Modelfile 自定义系统提示词，创建专属助手。例如，写一个“简洁回答”的 Modelfile，用 `ollama create mybot -f Modelfile` 生成，之后就能用 `ollama run mybot` 调用。 ## 常见 API 调用与集成场景本地部署大模型后，Ollama 默认开放 11434 端口，兼容 OpenAI 的 API 格式。在代码里把 `base_url` 改成 `http://localhost:11434/v1`，就能用任何支持 OpenAI 的客户端调用。配合 Open WebUI 或 NextChat，可以搭建私有的 ChatGPT 界面。注意，并发请求会消耗大量显存，没有 GPU 的机器建议限制并发数。 ## 部署 Ollama 本地大模型的注意事项模型量化级别直接影响效果和速度，`ollama list` 可查看已下载模型的详细信息。如果显存不足，优先选择 q4_0 或 q4_K_M 这类 4-bit 量化版本。另外，Ollama 默认会开机自启，不需要的话在系统服务里禁用。定期运行 `ollama rm 模型名` 清理不再使用的模型，能释放大量硬盘空间。常见问题问：Ollama 部署本地大模型必须要有显卡吗？答：不是必须，纯 CPU 也能运行，但生成速度会慢很多。7B 模型在 CPU 上大约每秒 2-5 个 token，GPU 则能到 30 token 以上。问：模型下载到一半断了怎么办？答：Ollama 支持断点续传，重新执行 `ollama pull` 命令即可从断点继续，不需要从头下载。问：能否在一台机器上同时运行多个模型？答：可以，但每个模型都会占用独立内存，建议根据剩余资源决定同时加载的数量，避免系统卡死。