GoodTime
端侧大模型实战指南:微调、部署、应用开发
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
GoodTime
社区首页
>
专栏
>
端侧大模型实战指南:微调、部署、应用开发
端侧大模型实战指南:微调、部署、应用开发
GoodTime
关注
发布于 2025-08-05 15:08:41
发布于 2025-08-05 15:08:41
1.4K
0
举报
概述
本文将带你一步步了解如何在端侧部署和微调大语言模型(LLM),并开发一个基于Web的应用。本指南基于GitHub开源项目,适合希望在本地设备上运行和优化大模型的开发者。以下内容涵盖端侧大模型的概念、环境配置、微调、部署以及应用开发的全流程。
文章被收录于专栏:
.NET 全栈开发专栏
.NET 全栈开发专栏
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
大模型部署
开源
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
大模型部署
开源
评论
登录
后参与评论
0 条评论
热度
最新
推荐阅读
目录
1. 什么是端侧大模型?
2. 准备清单
2.1 Ollama
2.2 开源模型下载
2.3 MiniConda
3. 环境配置
3.1 创建并激活 Conda 环境
3.2 拉取基础模型
3.3 安装依赖
有 GPU 的版本
CPU Only 版本(推荐用于 MacBook Intel 芯片)
安装其他必要包
附:查看自己电脑是否有GPU的一个方法
4. 微调大模型
4.1 处理数据
4.2 进入训练目录
4.3 配置环境变量
4.4 开始微调
5. 部署大模型
5.1 启动 Ollama 服务
5.2 查看已下载模型
5.3 创建自定义模型
5.4 验证模型
5.5 启动交互式对话
5.6 检查模型性能
6. 开发 Web 应用
6.1 安装 Streamlit
6.2 启动 Web 应用
6.3 访问 Web 界面
7. 总结
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
0
0
0
推荐