大模型应用：大模型本地化部署与API调用：打包迁移到服务器的多种方式实践.47

from transformers import AutoTokenizer, AutoModelForCausalLM
from modelscope import snapshot_download
# 下载模型到./model文件夹
model_name = "qwen/Qwen1.5-1.8B-Chat"
cache_dir = "D:\\modelscope\\hub"
print("正在下载/校验模型缓存...")
local_model_path = snapshot_download(model_name, cache_dir=cache_dir)
tokenizer = AutoTokenizer.from_pretrained(local_model_path)
model = AutoModelForCausalLM.from_pretrained(local_model_path)
# 保存到本地
print("模型下载完成，已保存到D:\\modelscope\\hub文件夹")

# 1. 导入需要的库
from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import uvicorn
from modelscope import snapshot_download

model_name = "qwen/Qwen1.5-1.8B-Chat"
cache_dir = "D:\\modelscope\\hub"
print("正在下载/校验模型缓存...")
local_model_path = snapshot_download(model_name, cache_dir=cache_dir)

# 生产在线的接口文档，访问方式“/docs”
from fastapi.openapi.docs import (
    get_redoc_html,
    get_swagger_ui_html,
    get_swagger_ui_oauth2_redirect_html,
)
# 2. 初始化FastAPI应用（创建API服务）
app = FastAPI(title="本地大模型开放调用API", description="基于Qwen模型的本地化部署接口")

# 3. 加载模型和Tokenizer（关键：模型会自动下载并加载到CPU）
# AutoModelForCausalLM：加载对话模型权重，AutoTokenizer：处理文字（转换为模型能理解的格式）
tokenizer = AutoTokenizer.from_pretrained(local_model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(local_model_path, trust_remote_code=True)

# 4. 定义API接口（POST请求，接收用户提问，返回模型回答）
@app.post("/chat", summary="大模型对话接口")
def chat(question: str):
    # 处理用户输入：将文字转换为模型能理解的张量
    inputs = tokenizer(question, return_tensors="pt")
    # 模型生成回答（max_length：回答最大长度，do_sample：是否随机生成，temperature：随机性程度）
    outputs = model.generate(**inputs, max_length=512, do_sample=True, temperature=0.7)
    # 将模型输出转换为文字
    answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
    # 返回结果（JSON格式）
    return {"question": question, "answer": answer}

# 5. 启动API服务（监听局域网IP，端口8000）
if __name__ == "__main__":
    # host="0.0.0.0"：允许局域网内所有设备访问，port=8000：端口号
    uvicorn.run(app, host="0.0.0.0", port=8000)

# 第一步：设置环境变量（解决模型下载/路径问题）
import os
# 手动指定模型本地存放路径（重点！需提前下载模型到这个文件夹）
MODEL_PATH = "./Qwen1___5-1___8B-Chat"  # 模型文件夹和EXE放在同一目录

# 第二步：导入核心库
from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import uvicorn
import sys

# 解决PyInstaller打包后路径问题
def get_resource_path(relative_path):
    """获取打包后EXE的实际运行路径"""
    # if hasattr(sys, '_MEIPASS'):
    #     # 打包后运行时的临时路径
    #     base_path = sys._MEIPASS
    # else:
    #     # 开发时的路径
    #     base_path = os.path.abspath(".")
    base_path = os.path.abspath(".")
    return os.path.join(base_path, relative_path)

# 生产在线的接口文档，访问方式“/docs”
from fastapi.openapi.docs import (
    get_redoc_html,
    get_swagger_ui_html,
    get_swagger_ui_oauth2_redirect_html,
)

# 第三步：初始化FastAPI
app = FastAPI(title="本地大模型EXE版API", description="Qwen本地化部署接口")

# 第四步：加载模型（改用本地路径，避免自动下载）
print("正在加载模型...（首次加载可能需要1-2分钟）")
try:
    # 加载分词器（Tokenizer）
    tokenizer = AutoTokenizer.from_pretrained(
        get_resource_path(MODEL_PATH),
        trust_remote_code=True
    )
    # 加载模型（int4量化版，显存要求≥4GB）
    model = AutoModelForCausalLM.from_pretrained(
        get_resource_path(MODEL_PATH),
        trust_remote_code=True
    ).half().cpu()  # 用GPU运行（无GPU则改成 .cpu()，但速度极慢）
    print("模型加载成功！API服务即将启动...")
except Exception as e:
    print(f"模型加载失败！错误原因：{e}")
    print(f"模型路径：{get_resource_path(MODEL_PATH)}")
    print("请确认：1. 模型文件夹放在EXE同目录；2. 显卡有CUDA环境；3. 显存足够")
    input("按回车键退出...")
    sys.exit(1)

# 第五步：定义对话接口
@app.post("/chat", summary="大模型对话接口")
def chat(question: str):
    try:
        inputs = tokenizer(question, return_tensors="pt")
        outputs = model.generate(**inputs, max_length=512, do_sample=True, temperature=0.7)
        answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
        return {"question": question, "answer": answer}
    except Exception as e:
        return {"error": f"回答生成失败：{str(e)}"}

# 第六步：启动服务（加个循环，避免启动后闪退）
def start_server():
    print("="*50)
    print("API服务启动成功！")
    print(f"本地访问地址：http://localhost:8001/docs")
    print(f"局域网访问地址：http://192.168.3.166:8001/docs（替换成自己的局域网IP）")
    print("="*50)
    # 启动uvicorn服务（加log_level避免冗余日志）
    uvicorn.run(
        app,
        host="0.0.0.0",
        port=8001,
        log_level="info"
    )

if __name__ == "__main__":
    try:
        start_server()
    except KeyboardInterrupt:
        print("\n服务已停止！")
        input("按回车键退出...")
    except Exception as e:
        print(f"服务启动失败！错误：{e}")
        input("按回车键退出...")

# 核心打包命令（解释：-F 打包成单个EXE；-w 不显示黑窗口（可选）；-i 可加图标，这里省略）
pyinstaller -F 260106模型的exe部署.py --hidden-import=transformers.models.chatglm.tokenization_chatglm --hidden-import=accelerate

# 基础镜像（带CUDA的Python，大模型必须用这个！）
FROM pytorch/pytorch:2.0.1-cuda11.8-cudnn8-runtime

# 设置工作目录
WORKDIR /app

# 安装系统依赖
RUN apt update && apt install -y git && rm -rf /var/lib/apt/lists/*

# 复制代码和模型（先把模型文件夹chatglm-6b-int4放代码目录）
COPY 260106-local-model.py /app/
COPY Qwen1___5-1___8B-Chat /app/Qwen1___5-1___8B-Chat/

# 安装Python依赖
RUN pip install --no-cache-dir transformers fastapi uvicorn sentencepiece accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

# 暴露端口（和代码里的8000对应）
EXPOSE 8000

# 启动命令
CMD ["python", "260106-local-model..py"]

# 注意最后有个点！name改成自己的镜像名，tag是版本
docker build -t local-llm:v1 .

# --gpus all：启用GPU（必须！）；-p 8000:8000：端口映射；--name：容器名
docker run --gpus all -p 8000:8000 --name llm-server local-llm:v1

# 保存镜像为文件
docker save -o local-llm-v1.tar local-llm:v1

# 其他电脑加载镜像
docker load -i local-llm-v1.tar