# 在 Docker 中运行 Ollama：从开发环境到生产部署

> 本地运行大模型从未如此简单。Docker 化的 Ollama 让你的 AI 基础设施可复现、可扩展。

## 为什么选择 Docker 部署 Ollama？

Ollama 是运行开源大语言模型的利器，但直接安装在宿主机上会带来环境管理的麻烦。Docker 化部署有以下优势：

| 优势 | 说明 |
|------|------|
| **可复现性** | 开发、测试、生产环境完全一致 |
| **隔离性** | 不污染宿主机，依赖管理清晰 |
| **可扩展性** | 轻松部署多实例，配合负载均衡 |
| **GPU 管理** | 统一配置，跨主机一致 |

---

## 快速开始：CPU 模式

最简单的启动方式，适合开发测试：

```bash
# 拉取官方镜像
docker pull ollama/ollama

# 启动容器
docker run -d \
  --name ollama \
  -p 11434:11434 \
  ollama/ollama
```

### 拉取并运行模型

```bash
# 进入容器拉取模型
docker exec -it ollama ollama pull llama3.2

# 交互式对话
docker exec -it ollama ollama run llama3.2

# 或直接调用 API
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "为什么天空是蓝色的？"
}'
```

---

## GPU 加速：NVIDIA 配置

生产环境必须开启 GPU 加速。

### 安装 NVIDIA Container Toolkit

```bash
# Ubuntu/Debian
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# 配置 Docker 使用 NVIDIA 运行时
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
```

### 启动 GPU 容器

```bash
# 使用所有 GPU
docker run -d \
  --name ollama-gpu \
  --gpus all \
  -p 11434:11434 \
  ollama/ollama

# 指定特定 GPU（多卡场景）
docker run -d \
  --name ollama-gpu \
  --gpus '"device=0"' \
  -p 11434:11434 \
  ollama/ollama
```

### 验证 GPU 状态

```bash
# 检查容器内 GPU
docker exec ollama-gpu nvidia-smi

# 查看已加载模型
docker exec ollama-gpu ollama list
```

---

## Docker Compose：生产级配置

### 基础配置

```yaml
# docker-compose.yml
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 40s

volumes:
  ollama_data:
```

### GPU 配置

```yaml
# docker-compose.gpu.yml
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama-gpu
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3

volumes:
  ollama_data:
```

启动：

```bash
docker compose -f docker-compose.gpu.yml up -d
```

### 生产环境配置

```yaml
# docker-compose.prod.yml
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "127.0.0.1:11434:11434"  # 仅绑定本地，不暴露公网
    volumes:
      - ollama_data:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_NUM_PARALLEL=4
      - OLLAMA_MAX_LOADED_MODELS=2
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
        limits:
          cpus: "8"
          memory: 32G
    restart: unless-stopped
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3"

volumes:
  ollama_data:
```

**生产配置要点**：

| 配置项 | 说明 |
|--------|------|
| `127.0.0.1:11434:11434` | 仅绑定本地，需通过反向代理暴露 |
| `cpus: "8"` | 限制 CPU 使用 |
| `memory: 32G` | 限制内存使用 |
| 日志轮转 | 防止磁盘被日志撑满 |

---

## 模型持久化与预加载

模型文件动辄几个 GB，管理策略很重要。

### 持久化方案

```yaml
# 命名卷（推荐）
volumes:
  ollama_data:
    driver: local

# 绑定挂载（需要直接访问文件系统）
services:
  ollama:
    volumes:
      - /data/ollama/models:/root/.ollama
```

### 自动预加载模型

```yaml
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3

  # 模型加载容器
  model-loader:
    image: curlimages/curl:latest
    depends_on:
      ollama:
        condition: service_healthy
    entrypoint: >
      sh -c "
        curl -X POST http://ollama:11434/api/pull -d '{\"name\": \"llama3.2\"}' &&
        curl -X POST http://ollama:11434/api/pull -d '{\"name\": \"codellama\"}'
      "
    restart: "no"

volumes:
  ollama_data:
```

### 模型备份与恢复

```bash
# 查看模型存储
docker exec ollama du -sh /root/.ollama/models/*

# 备份
docker run --rm \
  -v ollama_data:/data \
  -v $(pwd):/backup \
  alpine tar czf /backup/ollama-backup.tar.gz /data

# 恢复
docker run --rm \
  -v ollama_data:/data \
  -v $(pwd):/backup \
  alpine tar xzf /backup/ollama-backup.tar.gz -C /
```

---

## API 配置详解

### 环境变量

```yaml
services:
  ollama:
    image: ollama/ollama:latest
    environment:
      - OLLAMA_HOST=0.0.0.0           # 绑定地址
      - OLLAMA_PORT=11434             # 端口
      - OLLAMA_DEBUG=1                # 调试日志
      - OLLAMA_NUM_PARALLEL=4         # 并行请求数
      - OLLAMA_MAX_LOADED_MODELS=2    # 最大加载模型数
      - OLLAMA_KEEP_ALIVE=300         # 模型内存保持时间（秒）
```

### 常用 API 端点

```bash
# 列出模型
curl http://localhost:11434/api/tags

# 文本生成
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "用一句话解释 Docker",
  "stream": false
}'

# 对话补全
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "user", "content": "你好！"},
    {"role": "assistant", "content": "你好！有什么可以帮助你的？"},
    {"role": "user", "content": "什么是 Kubernetes？"}
  ]
}'

# 生成嵌入向量
curl http://localhost:11434/api/embeddings -d '{
  "model": "llama3.2",
  "prompt": "Docker 容器是轻量级的"
}'

# 拉取模型
curl -X POST http://localhost:11434/api/pull -d '{"name": "codellama"}'

# 删除模型
curl -X DELETE http://localhost:11434/api/delete -d '{"name": "codellama"}'
```

---

## 高可用：多实例部署

### 负载均衡架构

```yaml
# docker-compose.cluster.yml
version: "3.8"

services:
  # 负载均衡器
  nginx:
    image: nginx:alpine
    ports:
      - "11434:80"
    volumes:
      - ./nginx.conf:/etc/nginx/nginx.conf:ro
    depends_on:
      - ollama-1
      - ollama-2

  # Ollama 实例 1（GPU 0）
  ollama-1:
    image: ollama/ollama:latest
    volumes:
      - ollama_shared:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              device_ids: ["0"]
              capabilities: [gpu]
    environment:
      - OLLAMA_HOST=0.0.0.0
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3

  # Ollama 实例 2（GPU 1）
  ollama-2:
    image: ollama/ollama:latest
    volumes:
      - ollama_shared:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              device_ids: ["1"]
              capabilities: [gpu]
    environment:
      - OLLAMA_HOST=0.0.0.0
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3

volumes:
  ollama_shared:
```

### Nginx 配置

```nginx
# nginx.conf
events {
    worker_connections 1024;
}

http {
    upstream ollama_cluster {
        least_conn;
        server ollama-1:11434;
        server ollama-2:11434;
        keepalive 32;
    }

    server {
        listen 80;

        # LLM 请求可能耗时较长
        proxy_connect_timeout 300s;
        proxy_send_timeout 300s;
        proxy_read_timeout 300s;

        location / {
            proxy_pass http://ollama_cluster;
            proxy_http_version 1.1;
            proxy_set_header Host $host;
            proxy_set_header Connection "";
            proxy_buffering off;
        }
    }
}
```

---

## 与应用集成

```yaml
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - OLLAMA_HOST=0.0.0.0
    networks:
      - app-network

  # 你的应用
  app:
    image: your-app:latest
    ports:
      - "8080:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - OLLAMA_MODEL=llama3.2
    depends_on:
      - ollama
    networks:
      - app-network

  # 可选：Redis 缓存
  redis:
    image: redis:alpine
    volumes:
      - redis_data:/data
    networks:
      - app-network

networks:
  app-network:

volumes:
  ollama_data:
  redis_data:
```

---

## 最佳实践速查表

### 容器配置

| 建议 | 说明 |
|------|------|
| 使用命名卷 | 模型持久化，容器重建不丢失 |
| 设置资源限制 | 防止内存溢出 |
| 配置健康检查 | 确保服务就绪后再启动依赖 |
| 绑定 localhost | 生产环境不直接暴露外网 |

### GPU 管理

| 建议 | 说明 |
|------|------|
| 安装 NVIDIA Container Toolkit | 所有 GPU 主机必需 |
| 指定 GPU 设备 | 多卡场景避免竞争 |
| 监控显存 | 大模型容易撑爆 VRAM |

### 网络配置

| 建议 | 说明 |
|------|------|
| 使用 Docker 网络 | 服务间通信 |
| 设置合理超时 | LLM 推理可能耗时数秒 |
| 负载均衡 | 高可用部署 |

### 安全

| 建议 | 说明 |
|------|------|
| 不直接暴露公网 | 必须有认证层 |
| 反向代理 + TLS | Nginx/Caddy |
| 非 root 用户 | 使用 user namespaces |

### 监控

| 建议 | 说明 |
|------|------|
| 启用日志轮转 | 防止磁盘被日志撑满 |
| 监控 API 响应时间 | 检测性能退化 |
| 追踪 GPU 利用率 | 优化实例规格 |

---

## 写在最后

从单容器开发测试，到 GPU 加速，再到多实例负载均衡，Docker 让 Ollama 的部署变得简单可控。

**建议的学习路径**：

1. 先用 CPU 模式跑通流程
2. 加上 GPU 加速体验性能提升
3. 用 Docker Compose 管理生产配置
4. 多实例部署应对高并发

本地运行大模型从未如此简单。Docker 化的 Ollama 让你的 AI 基础设施可复现、可扩展。

在 Docker 中运行 Ollama：从开发环境到生产部署

软件研发

开发工具

Docker部署Ollama大语言模型教程：从CPU开发环境到GPU生产部署全流程指南。详解Docker容器化优势、NVIDIA GPU加速配置、Docker Compose编排、模型持久化方案及高可用集群部署。包含API调用示例、性能优化技巧和最佳实践，助您快速搭建可扩展的AI基础设施。

负载均衡

文件系统

Kubernetes

容器

Docker

Ubuntu

Redis

2026采购季 | AI焕新·智启新局

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

在 Docker 中运行 Ollama：从开发环境到生产部署-腾讯云开发者社区-腾讯云

在 Docker 中运行 Ollama：从开发环境到生产部署

在 Docker 中运行 Ollama：从开发环境到生产部署

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐