- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 /dir 再传入内网： llama.cpp 服务需要模型文件才能运行，在你的 Linux 服务器上创建一个目录，用来存放 GGUF 格式的模型文件。 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
2.5K10编辑于 2025-10-11 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 环境准备部署方案：Ollama + DeepSeek-R1 + Open WebUI笔者的电脑硬件配置如下：系统： Window11CPU: 13th i7-13700KF内存： 32G显卡：Nvidia GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。
7K33编辑于 2025-02-06 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek是一家专注于人工智能技术的公司（中国杭州深度求索）及其推出的大语言模型的名称。 DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
98311编辑于 2025-02-10 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama 的安装方式去安装 若你的显卡是在Linux上面 可以使用如下命令安装 curl -fsSL https://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 # 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1G ollama run deepseek-r1 :1.5b # 7B Qwen DeepSeek R1 # 所需空间大约 4.7G ollama run deepseek-r1:7b # 8B Llama DeepSeek R1 # 所需空间大约
2.9K20编辑于 2025-02-04 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com/install.sh | sh当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型https://ollama.com/search# 模型的安装命令# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1Gollama run deepseek-r1 :1.5b# 7B Qwen DeepSeek R1# 所需空间大约 4.7Gollama run deepseek-r1:7b# 8B Llama DeepSeek R1# 所需空间大约 4.9Gollama
3.6K12编辑于 2025-01-26 - 来自专栏数据挖掘
大模型高效下载部署方式
下载模型sh hfd.sh gpt2 --tool aria2c -x 44.下载数据集sh hfd.sh wikitext --dataset --tool aria2c -x 4 二、国内魔塔社区下载下面以 cogvlm2-llama3-chinese-chat-19B 为例子SDK下载#模型下载from modelscope import snapshot_downloadmodel_dir = snapshot_download
90310编辑于 2024-07-15 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 ，可以尝试下载更大的模型进行测试 我换了一个deepseek-r1:7b的模型重新验证了一下，效果比上面的要好一些： 影响知识库的因素 通过上面的例子我们可以看到，当切换了模型之后，生成内容的准确性有所提高 Token：字符块，是大模型的最小输出单位，同时也是大模型的计费单位。 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。
5.7K11编辑于 2025-03-30 - 来自专栏数据派THU
详解：7大经典回归模型
来源：csdn 深度学习爱好者本文约2900字，建议阅读5分钟本文给大家介绍机器学习建模中7大经典的回归分析模型。 什么是回归分析？ 4.它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。 5.自变量不应该相互关联的，即不具有多重共线性。 7.如果因变量是多类的话，则称它为多元逻辑回归。 3. Polynomial Regression多项式回归 对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。 7. ElasticNet回归 ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。 除了这7个最常用的回归技术，你也可以看看其他模型，如Bayesian、Ecological和Robust回归。 如何正确选择回归模型？ 当你只知道一个或两个技术时，生活往往很简单。
1.9K41编辑于 2023-04-18 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.3K20编辑于 2024-03-05 - 来自专栏微言码道
本地部署大模型的几种方式
这之中当然有诸如GhatGPT, Gemini这样的私有化大模型, 更吸引人关注的可能是开源的可私有化部署的一些大模型. 相对而言, 一些开源的可私有化部署的大模型, 可能更令人关注. 因为只要有足够的硬件资源, 你就能私有化部署这些大模型. 今天我就介绍几种常见的, 方便的私有化大模型的方式, 这些方式都是开源或免费的. 私有化部署方式 Ollama 要说私有化部署大模型最方便的方式, 我认为非Ollama莫属了. 就算仅仅是个人使用, 如果你是M1或以上的芯片, 或有类似4090消费级显卡, 在本地运行一个llama 3 8B或Gemma 7B这样的开源模型, 是非常方便, 响应速度也比较快. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
9K21编辑于 2024-04-23 - 来自专栏GiantPandaCV
大模型部署框架 FastLLM 简要解析
前言 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。 atoi(this->weight.dicts["gmask_token_id"].c_str()) : 130001; #ifdef USE_CUDA // 清理 CUDA 的大缓冲区 要在FastLLM中自定义一个模型，需要实现的核心部分就是这个模型文件了，从目前FastLLM提供的组件来看，基于Transformer架构的开源大模型支持的难度和工作量会比较小，而对于新的架构比如RWKV 比较期待FastLLM推出ONNX的支持，这样就可以更方便的和各种类型的大模型对接起来。 0x4. 总结 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。
1.5K20编辑于 2023-08-22 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! 二， 命令行交互 可以在命令行中用 ollama run qwen2 运行一个模型，然后在命令行中和它对话。 下面的gif动画没有做任何加速。 这个回复速度还是非常的感人的~ 三，Python接口交互 在命令行运行 诸如 ollama run qwen2，实际上就会在后台起了一个qwen2的模型服务。
4.2K11编辑于 2024-06-26 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 LMDeploy介绍 LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。 接下来，我们看一下lmdeploy提供的部署功能。 2.1 模型转换 使用 TurboMind 推理模型需要先将模型转化为 TurboMind 的格式，目前支持在线转换和离线转换两种形式。 # 转换模型（FastTransformer格式） TurboMind lmdeploy convert internlm-chat-7b /path/to/internlm-chat-7b 这里我们使用官方提供的模型文件 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。
2.9K00编辑于 2024-03-01 - 来自专栏云原生知识宇宙
在 TKE 上部署 AI 大模型
概述本文介绍如何在 TKE 上部署 AI 大模型，以 DeepSeek-R1 为例，使用 Ollama、vLLM 或 SGLang 运行大模型并暴露 API，然后使用 OpenWebUI 提供交互界面。 是一个运行大模型的工具，可以看成是大模型领域的 Docker，可以下载所需的大模型并暴露 Ollama API，极大的简化了大模型的部署。 vLLM 的特点：推理性能更好，也更节约资源，适合部署到服务器供多人使用，还支持多机多卡分布式部署，上限更高，但能适配的 GPU 硬件比 Ollama 少，且需要根据不同 GPU 和大模型来调整 vllm 选型建议：如果有一定的技术能力且愿意折腾，能用 vLLM 或 SGLang 成功跑起来更推荐用 vLLM 和 SGLang 将大模型部署到 Kubernetes 中，否则就用 Ollama ，两种方式在本文中都有相应的部署示例 节点池启用弹性伸缩的方法是编辑节点池，然后勾选弹性伸缩，配置一下节点数量范围，最后点击确认：步骤7: 部署 OpenWebUI使用 Deployment 部署 OpenWebUI，并定义 Service
1.5K01编辑于 2025-02-20 - 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 二、技术难点及解决方案1.计算资源需求高难点：大模型需要高性能GPU和大量内存。解决方案：使用模型压缩技术（如量化、剪枝）和分布式计算。2.模型优化与效率难点：大模型推理速度慢，资源利用率低。 国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。边缘计算：大模型将更多部署到边缘设备，满足实时性需求。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
5.5K10编辑于 2025-03-08 - 来自专栏素质云笔记
大模型时代的模型运维与部署：LLMops
这意味着 LLMOps 是一组工具和最佳实践，用于管理 LLM 支持的应用程序的生命周期，包括开发、部署和维护。 LLM（大型语言模型）是可以生成人类语言输出的深度学习模型（因此称为语言模型）。 2 LLMOps实现步骤 几个LLMops的步骤： 基础模型的选择 迭代和提示Prompt管理 测试 部署 监控 持续改进和微调 2.1 数据管理 2.1.1 数据清洗和预处理技术 原始数据可能存在噪声和结构混乱 测试和训练数据分布差异大：实际使用的数据分布总是不同于训练数据的分布。 难以用一个核心指标去衡量：指标不那么直接，可能无法捕捉模型的不同行为。语言模型需要对行为和定性输出测量有更多样化的理解。 2.5 部署 部署LLM（语言模型）API可能很简单，但是如果API调用背后有很多逻辑，则会变得更加复杂。 提高LLM输出质量的技术包括自我评价、采样多个输出和集成技术。 ---- 3 参考文献 LLMOps（Large Language Model Operations）简介 了解一下新领域 LLMOps: 大模型运维 LLM训练营课程笔记之 LLMOps: Deployment
7.9K21编辑于 2023-07-09 - 来自专栏AI智韵
【大模型部署实战】VLLM+OpenWebUI实现DeepSeek模型部署，文末有福利
摘要 vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟大语言模型（LLM）推理和服务框架。 该框架支持连续批处理、动态显存分配和多GPU并行推理，能够高效处理8k+长上下文请求，并兼容OpenAI API接口，开发者可快速部署Hugging Face模型。 CUDA/HIP 图优化 预编译 GPU 操作序列，减少重复启动开销，加速模型执行速度7,9。 前缀缓存优化 重用相同前缀请求的预计算键值，减少冗余计算7。 多 LoRA 微调支持 同时部署基础模型的多个微调版本，提升资源利用率7,9。 VLLM部署 有两种部署方法，第一种使用vllm serve，我们使用1.5B的模型举例，执行命令： vllm serve deepseek/DeepSeek-R1-Distill-Qwen-1.5B
3.4K11编辑于 2025-03-17 使用易语言部署yolov7-onnx模型
YOLOv7在其前身的基础上，通过引入新的架构和训练策略，进一步优化了模型的性能。 跨平台性 YOLOv7支持在多种平台上运行，包括使用CPU、GPU和边缘计算设备，这使得它可以灵活部署在各种环境中。 (推理结果) YOLO7_释放资源 () 【视频演示】 使用易语言部署yolov7-onnx模型_哔哩哔哩_bilibili测试环境：e5.93opencv4.7.0, 视频播放量 8、弹幕量 0 部署Detic检测2万1千种类别的物体，使用易语言部署yolov8的tensorrt模型，用C#部署yolov8的tensorrt模型进行目标检测winform最快检测速度，基于yolov8官方目标追踪 botsort和bytetrack源码开发视频演示，yolov5最新版onnx部署Android安卓ncnn，随机地址生成工具1.3.3使用教程，使用yolov7-segment进行实例分割视频演示，使用易语言部署
72910编辑于 2025-07-17- 来自专栏机器之心
7B超越百亿级，北大开源aiXcoder-7B最强代码大模型，企业部署最佳选择
4 月 9 日，该团队开源了全自研 aiXcoder 7B 代码大模型，不仅在代码生成和补全任务中大幅领先同量级甚至超越 15B、34B 参数量级的代码大模型；还凭借其在个性化训练、私有化部署、定制化开发方面的独有优势 简而言之，为了实现企业级个性化的应用落地，aiXcoder 模型在私有化部署、个性化训练和定制化开发三个方面齐发力，打造出了相较于其他代码大模型的核心优势。 首先来看私有化部署。 对于企业而言，代码大模型在本地服务器的私有化部署和运行，首要考虑的是自身算力是否可以支撑。在这点上，aiXcoder 模型对企业 GPU 资源要求少，应用成本投入低，让部署模型门槛大大降低。 2023 年 8 月，聚焦企业适配的 aiXcoder Europa 上线，可以根据企业的数据安全和算力要求，为他们提供私有化部署和个性化训练服务，有效降低代码大模型的应用门槛，提升开发效率。 不仅如此，相较于同样具备代码能力的通用模型，aiXcoder 7B Base 版让我们看到了专用代码大模型更低训练和推理成本、企业部署成本以及在企业项目级代码上更好、更稳定效果的全方位优势。
2.9K20编辑于 2024-04-12 - 来自专栏机器学习与统计学
量化大模型，本地部署，效果不打折
大家好，我是 AI 学习的老章 Unsloth 出圈是 DeepSeek-R1 爆火的时候，它发布了最小 1.58 位量化版本的 R1，把 DeepSeek-R1 这个非常大的模型（它有 6710 亿个参数 这标志着模型量化技术的一个重要突破：极低的比特数不再意味着性能的大幅牺牲。 这种方法并非对模型的所有层“一视同仁”地进行压缩。通过研究，Unsloth 发现模型中的某些张量（如 attn_k_b）对量化操作极为敏感。 结论 Unsloth 的动态量化技术证明，通过智能的、非均匀的量化策略，我们可以在大幅压缩模型体积的同时，保持甚至超越 SOTA 模型的性能。 对于追求本地化、低成本部署高性能模型的用户来说，Unsloth 的动态量化模型无疑是当前最值得关注的方案之一。
1.4K10编辑于 2025-11-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号