首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >端侧大模型实战指南:微调、部署、应用开发

端侧大模型实战指南:微调、部署、应用开发

作者头像
GoodTime
发布2025-08-05 15:08:41
发布2025-08-05 15:08:41
1.4K0
举报
概述
本文将带你一步步了解如何在端侧部署和微调大语言模型(LLM),并开发一个基于Web的应用。本指南基于GitHub开源项目,适合希望在本地设备上运行和优化大模型的开发者。以下内容涵盖端侧大模型的概念、环境配置、微调、部署以及应用开发的全流程。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 什么是端侧大模型?
  • 2. 准备清单
    • 2.1 Ollama
    • 2.2 开源模型下载
    • 2.3 MiniConda
  • 3. 环境配置
    • 3.1 创建并激活 Conda 环境
    • 3.2 拉取基础模型
    • 3.3 安装依赖
      • 有 GPU 的版本
      • CPU Only 版本(推荐用于 MacBook Intel 芯片)
      • 安装其他必要包
      • 附:查看自己电脑是否有GPU的一个方法
  • 4. 微调大模型
    • 4.1 处理数据
    • 4.2 进入训练目录
    • 4.3 配置环境变量
    • 4.4 开始微调
  • 5. 部署大模型
    • 5.1 启动 Ollama 服务
    • 5.2 查看已下载模型
    • 5.3 创建自定义模型
    • 5.4 验证模型
    • 5.5 启动交互式对话
    • 5.6 检查模型性能
  • 6. 开发 Web 应用
    • 6.1 安装 Streamlit
    • 6.2 启动 Web 应用
    • 6.3 访问 Web 界面
  • 7. 总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档