Mistral Forge + Small 4 实战：在腾讯云上部署 119B MoE 模型推理服务

# 快速响应，等同于 Small 3.2
response = client.chat(model="mistral-small-4", reasoning_effort="none", ...)

# 深度推理，逐步思考
response = client.chat(model="mistral-small-4", reasoning_effort="high", ...)

┌──────────────────────────────────────────────────────────┐
│                     客户端 / API 调用                      │
└─────────────────────────┬────────────────────────────────┘
                          │ HTTPS
                          ▼
              ┌───────────────────────┐
              │    腾讯云 CLB 负载均衡   │
              └───────────┬───────────┘
                          │
              ┌───────────▼───────────┐
              │   Nginx 反向代理层      │
              │   (API Key 鉴权/限流)   │
              └───────────┬───────────┘
                          │
            ┌─────────────┼─────────────┐
            ▼             ▼             ▼
   ┌────────────┐ ┌────────────┐ ┌────────────┐
   │  vLLM 实例1 │ │  vLLM 实例2 │ │  vLLM 实例3 │
   │  (2×A100)  │ │  (2×A100)  │ │  (2×A100)  │
   └──────┬─────┘ └──────┬─────┘ └──────┬─────┘
          │              │              │
          └──────────────┼──────────────┘
                         │
              ┌──────────▼──────────┐
              │   腾讯云 COS 存储     │
              │  (模型权重 + LoRA)    │
              └─────────────────────┘

# SSH 登录实例后，验证 GPU
nvidia-smi
# 应显示 2 块 A100 80GB

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装 CUDA 12.4（如未预装）
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run
sudo sh cuda_12.4.0_550.54.14_linux.run --silent --toolkit

# 安装 Python 3.11 和 pip
sudo apt install python3.11 python3.11-venv python3-pip -y

# 创建虚拟环境
python3.11 -m venv ~/mistral-env
source ~/mistral-env/bin/activate

# 安装 vLLM（确保版本 >= 0.17.0，支持 Small 4）
pip install vllm>=0.17.0

# 安装 Hugging Face CLI（下载模型用）
pip install huggingface_hub[cli]

# 登录 Hugging Face（需要 token）
huggingface-cli login

# 方法一：直接从 Hugging Face 下载到本地数据盘
mkdir -p /data/models
huggingface-cli download mistralai/Mistral-Small-4-119B-2603 \
  --local-dir /data/models/mistral-small-4 \
  --local-dir-use-symlinks False

# 方法二：FP8 量化版本（推荐，显存占用减半）
huggingface-cli download mistralai/Mistral-Small-4-119B-2603-FP8 \
  --local-dir /data/models/mistral-small-4-fp8 \
  --local-dir-use-symlinks False

# FP8 量化版本启动（2×A100 80GB）
vllm serve /data/models/mistral-small-4-fp8 \
  --host 0.0.0.0 \
  --port 8000 \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90 \
  --dtype auto \
  --trust-remote-code \
  --api-key your-secret-key-here

INFO:     Started server process
INFO:     Waiting for application startup
INFO:     Application startup complete
INFO:     Uvicorn running on http://0.0.0.0:8000

# 健康检查
curl http://localhost:8000/health

# 查看可用模型
curl http://localhost:8000/v1/models \
  -H "Authorization: Bearer your-secret-key-here"

# Python 客户端调用
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="your-secret-key-here"
)

# 基础对话
response = client.chat.completions.create(
    model="/data/models/mistral-small-4-fp8",
    messages=[
        {"role": "user", "content": "用 Python 写一个快速排序，要求支持泛型"}
    ],
    temperature=0.7,
    max_tokens=2048
)
print(response.choices[0].message.content)

# 利用 reasoning_effort 参数进行深度推理
response = client.chat.completions.create(
    model="/data/models/mistral-small-4-fp8",
    messages=[
        {"role": "user", "content": "分析以下系统的瓶颈并给出优化方案：\n一个日均1000万请求的推荐系统..."}
    ],
    extra_body={"reasoning_effort": "high"},  # 深度推理模式
    temperature=0.3,
    max_tokens=4096
)

# 创建 systemd service 文件
sudo tee /etc/systemd/system/vllm-mistral.service << 'EOF'
[Unit]
Description=vLLM Mistral Small 4 Inference Service
After=network.target

[Service]
Type=simple
User=ubuntu
WorkingDirectory=/home/ubuntu
Environment="PATH=/home/ubuntu/mistral-env/bin:/usr/local/bin:/usr/bin"
ExecStart=/home/ubuntu/mistral-env/bin/vllm serve /data/models/mistral-small-4-fp8 \
  --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90 \
  --api-key your-secret-key-here
Restart=on-failure
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable vllm-mistral
sudo systemctl start vllm-mistral

# 查看日志
sudo journalctl -u vllm-mistral -f

# /etc/nginx/conf.d/vllm.conf
upstream vllm_backend {
    server 127.0.0.1:8000;
    keepalive 32;
}

limit_req_zone $binary_remote_addr zone=api_limit:10m rate=10r/s;

server {
    listen 443 ssl;
    server_name your-domain.com;

    ssl_certificate /etc/nginx/ssl/cert.pem;
    ssl_certificate_key /etc/nginx/ssl/key.pem;

    location /v1/ {
        limit_req zone=api_limit burst=20 nodelay;

        proxy_pass http://vllm_backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_read_timeout 300s;  # 长推理需要更长超时
        proxy_buffering off;      # 支持流式输出
    }
}

# 快速检查 metrics
curl http://localhost:8000/metrics | grep vllm

企业数据 → 数据清洗/合成 → 基于 Small 4 微调 → 评估 → 部署到推理集群
    │                                                      │
    └──────── Forge 平台管理全流程 ──────────────────────────┘

# vLLM 支持在启动时指定 LoRA adapter
vllm serve /data/models/mistral-small-4-fp8 \
  --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 \
  --enable-lora \
  --lora-modules my-custom-model=/data/lora/my-adapter

# 调用时指定 LoRA 模型
response = client.chat.completions.create(
    model="my-custom-model",  # 使用自定义 LoRA adapter
    messages=[{"role": "user", "content": "..."}]
)