- 综合排序
- 最热优先
- 最新优先
- 来自专栏Datawhale专栏
Datawhale出品：《GLM-4 大模型部署微调教程》发布！
Datawhale成员万字测评（二） 教程介绍 秉承开源贡献的宗旨，Datawhale团队成员在模型发布 12 小时 之内，为 编写了GLM-4整套教学流程，包括： 模型 api 部署； Langchain 接入； WebDemo 部署； vLLM 部署； LoRA 高效指令微调。 项目介绍 《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署 、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 除 GLM4 外，项目已支持 LLama3, InternLM, Qwen1.5 等 20 项开源模型全流程教程，并且，本项目代码全部开源！！
2K20编辑于 2024-06-08 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 docker images 4、准备模型文件 这个也需要办公网下载好（我一般去 modelscope 下载） pip install modelscope 之后，即可使用 modelscope download 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
2.5K10编辑于 2025-10-11 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 问deepseek得到的回答：最佳选择：优先尝试 DeepSeek-R1-7B 4-bit量化版，平衡速度和性能；若需要更高精度，可测试 DeepSeek-R1-13B 4-bit量化版（需确保显存无其他占用 3.下载Docker软件点击下载链接：https://docs.docker.com/desktop/install/windows-install/4.安装Docker第三步、使用Docker部署Open
7K33编辑于 2025-02-06 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 在本地运行Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2等模型。 根据所属平台，下载指定的Ollama。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
98311编辑于 2025-02-10 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama 的安装方式去安装 若你的显卡是在Linux上面 可以使用如下命令安装 curl -fsSL https://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 # 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1G ollama run deepseek-r1 open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 4.
2.9K20编辑于 2025-02-04 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com/install.sh | sh当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型https://ollama.com/search# 模型的安装命令# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1Gollama run deepseek-r1 open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 4.
3.6K12编辑于 2025-01-26 - 来自专栏数据挖掘
大模型高效下载部署方式
下载模型sh hfd.sh gpt2 --tool aria2c -x 44.下载数据集sh hfd.sh wikitext --dataset --tool aria2c -x 4 二、国内魔塔社区下载下面以 cogvlm2-llama3-chinese-chat-19B 为例子SDK下载#模型下载from modelscope import snapshot_downloadmodel_dir = snapshot_download
90310编辑于 2024-07-15 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 Token：字符块，是大模型的最小输出单位，同时也是大模型的计费单位。 举个例子，对于天空为什么是蓝色的这句话，大模型会进行拆分天空/为什么/是/蓝色/的，每一段就是一个token（实际情况会比这个例子复杂） 内容生成（/api/generate） 让大模型帮我们生成指定的内容 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。
5.7K11编辑于 2025-03-30 - 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
作为一个语言模型集成框架，LangChain 的用例与一般语言模型的用例有很大的重叠。 重叠范围包括文档分析和总结摘要, 代码分析和聊天机器人。 Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好 &吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强 小结： - 研发&测试环境：为了方便部署和测试，使用云服务 - 大客户生产环境：安全审核严格，大多数采用自建大模型的方式 总结 LangChain 是什么？
1.1K10编辑于 2025-08-04 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.3K20编辑于 2024-03-05 - 来自专栏微言码道
本地部署大模型的几种方式
这之中当然有诸如GhatGPT, Gemini这样的私有化大模型, 更吸引人关注的可能是开源的可私有化部署的一些大模型. 比如Meta前两天开放的Lamma 3, Google的Gemma开源模型, 国内也有Qwen以及YI等. 无论私有的大模型, 还是开源的可私有化部署的大模型, 各有优缺点. 相对而言, 一些开源的可私有化部署的大模型, 可能更令人关注. 因为只要有足够的硬件资源, 你就能私有化部署这些大模型. 今天我就介绍几种常见的, 方便的私有化大模型的方式, 这些方式都是开源或免费的. 私有化部署方式 Ollama 要说私有化部署大模型最方便的方式, 我认为非Ollama莫属了. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
9K21编辑于 2024-04-23 - 来自专栏GiantPandaCV
大模型部署框架 FastLLM 简要解析
前言 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。 /quant -p chatglm-6b-fp32.flm -o chatglm-6b-int4.flm -b 4 #导出int4模型 所以我们接着解读一下chatglm_export.py。 要在FastLLM中自定义一个模型，需要实现的核心部分就是这个模型文件了，从目前FastLLM提供的组件来看，基于Transformer架构的开源大模型支持的难度和工作量会比较小，而对于新的架构比如RWKV 比较期待FastLLM推出ONNX的支持，这样就可以更方便的和各种类型的大模型对接起来。 0x4. 总结 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。
1.5K20编辑于 2023-08-22 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! 二， 命令行交互 可以在命令行中用 ollama run qwen2 运行一个模型，然后在命令行中和它对话。 下面的gif动画没有做任何加速。 这个回复速度还是非常的感人的~ 三，Python接口交互 在命令行运行 诸如 ollama run qwen2，实际上就会在后台起了一个qwen2的模型服务。
4.2K11编辑于 2024-06-26 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 LMDeploy介绍 LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。 接下来，我们看一下lmdeploy提供的部署功能。 2.1 模型转换 使用 TurboMind 推理模型需要先将模型转化为 TurboMind 的格式，目前支持在线转换和离线转换两种形式。 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。 4bit Weight 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。
2.9K00编辑于 2024-03-01 - 来自专栏云原生知识宇宙
在 TKE 上部署 AI 大模型
概述本文介绍如何在 TKE 上部署 AI 大模型，以 DeepSeek-R1 为例，使用 Ollama、vLLM 或 SGLang 运行大模型并暴露 API，然后使用 OpenWebUI 提供交互界面。 是一个运行大模型的工具，可以看成是大模型领域的 Docker，可以下载所需的大模型并暴露 Ollama API，极大的简化了大模型的部署。 vLLM 的特点：推理性能更好，也更节约资源，适合部署到服务器供多人使用，还支持多机多卡分布式部署，上限更高，但能适配的 GPU 硬件比 Ollama 少，且需要根据不同 GPU 和大模型来调整 vllm 步骤4: 使用 Job 下载 AI 大模型下发一个 Job，将需要用的 AI 大模型下载到 CFS 共享存储中，以下分别是 vLLM、SGLang 和 Ollama 的 Job 示例：使用之前 Ollama 如果希望大模型跑在超级节点，需通过 Pod 注解 eks.tke.cloud.tencent.com/gpu-type 指定 GPU 类型，可选 V100、T4、A10*PNV4、A10*GNV4，具体可参考
1.5K01编辑于 2025-02-20 - 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 4.数据准备收集和清洗与任务相关的数据集。进行数据标注（如需要）。5.模型部署使用推理框架（如ONNX、TensorRT）优化模型推理性能。部署模型到本地服务器或边缘设备，提供API接口供调用。 3.数据隐私与安全难点：本地化部署需确保数据隐私和合规性。解决方案：采用私有化部署方案，避免数据外传。4.部署复杂性难点：从硬件调试到模型优化，流程复杂。 国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。边缘计算：大模型将更多部署到边缘设备，满足实时性需求。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
5.5K10编辑于 2025-03-08 - 来自专栏大模型成长之路
【大模型学习 | MINIGPT-4原理】
MINIGPT-4: ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS在GPT4未开源的情况下，作者认为其表现优越是因为采用了最为先进的 LLM模型，因此，作者在BLIP2的基础上，将LLM模型替换为了Vicuna，同样也是通过一个线性映射层将图像表征映射为LLM的输入。 开源代码：https://minigpt-4.github.io/一、预训练方法预训练方法几乎和BLIP2模型一致，可以参考：【大模型学习 | BLIP2原理】-腾讯云开发者社区-腾讯云1.1 Q-Former ； MINI-GPT4表现比BLIP2要强上许多？ ① MiniGPT-4 使用的是 Vicuna（基于 LLaMA 的开源 ChatGPT 对话模型），具有更强的自然语言表达和指令理解能力；而BLIP-2 使用的 LLM 主要是 Flan-T5 或 OPT
85510编辑于 2025-07-02 - 来自专栏机器学习
【sklearn | 4】 深度教程：模型部署与优化
这篇教程将进一步探讨模型部署与优化的技术和方法。这些步骤在实际应用中非常重要，可以提高模型的可用性和性能。模型部署模型部署是将机器学习模型集成到生产环境中，使其能够处理实时数据和提供预测结果的过程。 sklearn 模型可以通过多种方式进行部署，如使用 Flask 构建 API 或者在云平台上部署。 使用 Flask 构建 APIFlask 是一个轻量级的 Web 应用框架，可以方便地用来部署机器学习模型。步骤1：训练并保存模型首先，训练并保存模型。 （如 AWS、GCP 或 Azure）来部署模型，提供更高的可扩展性和可靠性。 模型部署可以使用 Flask 构建 API，或在云平台上部署。模型优化包括超参数调优和特征选择。希望这些技术和方法能帮助你在实际项目中提高模型的可用性和性能。
91321编辑于 2024-07-24 - 来自专栏素质云笔记
大模型时代的模型运维与部署：LLMops
这意味着 LLMOps 是一组工具和最佳实践，用于管理 LLM 支持的应用程序的生命周期，包括开发、部署和维护。 LLM（大型语言模型）是可以生成人类语言输出的深度学习模型（因此称为语言模型）。 专有模型提供商的示例是： OpenAI (GPT-3, GPT-4) AI21 Labs (Jurassic-2) Anthropic (Claude) 开源模型通常在作为社区中心的Hugging Face 2.3 迭代和提示管理 LLM 在生产调查[4]中提到的一个问题是模型准确性和幻觉。 测试和训练数据分布差异大：实际使用的数据分布总是不同于训练数据的分布。 难以用一个核心指标去衡量：指标不那么直接，可能无法捕捉模型的不同行为。语言模型需要对行为和定性输出测量有更多样化的理解。 2.5 部署 部署LLM（语言模型）API可能很简单，但是如果API调用背后有很多逻辑，则会变得更加复杂。 提高LLM输出质量的技术包括自我评价、采样多个输出和集成技术。
7.9K21编辑于 2023-07-09 - 来自专栏贾志刚-OpenCV学堂
OpenCV4 部署DeepLabv3+模型
引言 · 前面说了OpenCV DNN不光支持图像分类与对象检测模型。 此外还支持各种自定义的模型，deeplabv3模型是图像语义分割常用模型之一，本文我们演示OpenCV DNN如何调用Deeplabv3模型实现图像语义分割，支持的backbone网络分别为MobileNet 预训练模型下载地址如下： https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/model_zoo.md 预训练的模型下载之后可以看到 调用MobileNet的deeplabv3 下载MobileNet版本的deeplabv3模型，把mobilenetv2 ckpt转pb，脚本如下： python deeplab/export_model.py atrous_rates=6 \ #--atrous_rates=12 \ #--atrous_rates=18 \ #--output_stride=16 \ --decoder_output_stride=4
2K10发布于 2020-09-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号