- 综合排序
- 最热优先
- 最新优先
- 来自专栏星哥的AI自留地
OpenAI发布最新大模型GPT5、本地部署GPT开源模型
OpenAI发布最新大模型GPT5、本地部署GPT开源模型GPT-5概述北京时间 2025年8月8日 凌晨1点 OPENAI举行了1个小时的线上发布会，正式推出了其史上最聪明、最强大的大模型GPT-5 GPT-5是OpenAI发布的最新一代大型语言模型，它基于Transformer架构，经过大规模的文本数据训练，能够生成流畅、自然的语言输出。 GPT-5具备以下几个显著特点：更大的参数规模：GPT-5拥有比GPT-4更多的参数，使其能够处理更为复杂的语言任务。 使用微软的copilot可以免登录使用GPT5、但是需要一些魔法。 最后以上就是全部内容，GPT-5的简介和在本地搭建使用OpenAI的GPT-oss的开源模型。写文不易，如果你都看到了这里，请点个赞和在看，分享给更多的朋友；也别忘了关注星哥玩云！
2.3K10编辑于 2025-08-27 - 来自专栏毛利学Python
yolov5模型转换NCNN模型部署
写作原因：最近看了下nihui大佬的ncnn，练习着将yolov5训练的模型转换成ncnn模型并部署，同时借鉴了网上优秀的博文，记录一下，如有不对的地方，请多多指教。 说明：pytorch模型转换成onnx模型，及onnx模型简化和转ncnn模型在引用的文章中都有详细的说明，可移步至引用文章中查看。 图1 其实yolov5 v1-v5版本在训练完后，使用onnx2ncnn.exe将简化后的onnx模型转换成ncnn模型时主要出现这个问题。 V6版本在输出上和前5个版本有一点不同，这里针对1-5版本。 下面说下修改的是什么，这样就可以知道自己的模型应该修改哪里了。
3.2K20编辑于 2022-09-22 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。 理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。
6.8K33编辑于 2025-02-06 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 /dir 再传入内网： llama.cpp 服务需要模型文件才能运行，在你的 Linux 服务器上创建一个目录，用来存放 GGUF 格式的模型文件。 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
2.2K10编辑于 2025-10-11 5大技巧驯服大语言模型，部署效率狂飙
5 大技巧驯服大语言模型，部署效率狂飙嘿，AI 开发者们！是不是在和大语言模型 “斗智斗勇” 的过程中，感觉自己像在驯服一只超级神兽，时而被它的强大能力惊艳，时而又被各种难题搞得焦头烂额？ 别担心，今天就给大家带来 5 个超厉害的技巧，让你成功驯服大语言模型，部署效率直接狂飙，眼泪都要笑出来啦！一、为啥驯服大语言模型这么重要？1. 提升竞争力在当今竞争激烈的 AI 领域，能够高效地部署和应用大语言模型，就相当于拥有了一把锋利的宝剑。企业可以利用大语言模型优化业务流程，提高客户满意度，从而在市场中脱颖而出。 例如，在一个小型创业公司的智能客服项目中，使用云计算部署大语言模型，只需按使用量支付云服务费用，无需担心硬件维护等问题。边缘部署：将模型部署在离数据源或用户更近的边缘设备上，如智能音箱、智能摄像头等。 掌握了这 5 大技巧，AI 开发者们就能成功驯服大语言模型，让部署效率一路狂飙。在这个充满挑战和机遇的 AI 时代，让我们利用这些技巧，打造出更强大、更智能的应用，开启属于我们的 AI 传奇之旅吧！
44310编辑于 2025-05-15- 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek是一家专注于人工智能技术的公司（中国杭州深度求索）及其推出的大语言模型的名称。 DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
93410编辑于 2025-02-10 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama 的安装方式去安装 若你的显卡是在Linux上面 可以使用如下命令安装 curl -fsSL https://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 # 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1G ollama run deepseek-r1
2.9K20编辑于 2025-02-04 基于winform部署PP-OCRv5的推理模型paddleocrv5模型部署
编译并运行（F5）。 若需在 Release 下运行，可将 Debug 文件夹内所有文件复制到 Release 文件夹。 操作步骤 启动程序后，点击"选择图片"按钮，选择待识别的图片文件。
61900编辑于 2025-07-22- 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 Token：字符块，是大模型的最小输出单位，同时也是大模型的计费单位。 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。 keep_alive 否 控制模型在内存中的保持时长（默认：5m） 生成嵌入数据（/api/embed） 嵌入数据的作用是将输入内容转换成向量，可以用于向量检索等场景。
5.4K11编辑于 2025-03-30 - 来自专栏数据挖掘
大模型高效下载部署方式
下载模型sh hfd.sh gpt2 --tool aria2c -x 44.下载数据集sh hfd.sh wikitext --dataset --tool aria2c -x 4 二、国内魔塔社区下载下面以 cogvlm2-llama3-chinese-chat-19B 为例子SDK下载#模型下载from modelscope import snapshot_downloadmodel_dir = snapshot_download
79210编辑于 2024-07-15 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com/install.sh | sh当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型https://ollama.com/search# 模型的安装命令# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1Gollama run deepseek-r1
3.5K12编辑于 2025-01-26 5种大模型Agent模式
大模型中的5种AI Agent模式在大模型中，AI Agent（人工智能代理）模式是一种重要的应用方式，可以从以下几个方面来理解：1. 在大模型的背景下，AI Agent 是基于大规模预训练模型（如 GPT 等）构建的智能代理，能够利用模型的语言理解和生成能力来完成复杂的任务。 智能性：它基于大模型的强大语言理解能力，能够理解自然语言指令，并生成自然语言响应。这种智能性使其能够处理复杂的语言任务，如对话、写作、翻译等。 工作原理感知与理解：AI Agent 首先通过输入（如用户指令、环境数据等）感知外部信息，然后利用大模型的语言理解能力解析这些信息，确定任务目标。 下面介绍5种常见的AI Agent模式：1.
5K10编辑于 2025-05-07winform部署yolov5-onnx模型
【官方框架地址】 https://github.com/ultralytics/yolov5 【算法介绍】 Yolov5，全称为You Only Look Once version 5，是计算机视觉领域目标检测算法的一个里程碑式模型 该模型由ultralytics团队开发，并因其简洁高效的特点而备受关注。Yolov5在保留了前代模型（Yolov3）优点的同时，进一步优化了网络结构，提高了检测速度和准确率。 相较于前代模型，Yolov5在训练过程中采用了许多优化策略，如数据增强、学习率衰减、知识蒸馏等，进一步提高了模型的性能。 此外，Yolov5还支持多任务学习（Multi-task Learning），可以在同一模型中同时进行目标检测、实例分割和关键点检测等任务，提高了模型的泛化能力。 此外，由于Yolov5的简洁高效特点，该模型在移动设备、嵌入式系统等领域也有着广泛的应用前景。 总的来说，Yolov5是计算机视觉领域目标检测算法的一个重要进展。
56010编辑于 2025-07-17YOLOV5之TensorRT模型部署
这揭示了技术验证的三大陷阱：数据分布偏差：训练集与实际场景的类目分布差异边缘案例缺失：未覆盖长尾场景（如极端天气、特殊物体）动态适应能力：模型对环境变化的实时调整速度二、成本控制：从技术选型到全生命周期管理 成本优化的创新路径模型蒸馏：用大模型（教师）指导小模型（学生），在保持85%精度的前提下推理速度提升3倍动态批处理：根据请求量自动调整批处理大小，使GPU利用率从30%提升至75%混合部署：将简单任务分配至边缘设备 场景分类的决策树模型构建包含五大维度的场景评估体系：维度关键指标权重实时性要求最大允许延迟（ms）25%精度需求可接受误报率/漏报率30%数据规模日处理图像量（万级）15%环境复杂性光照/遮挡/运动模糊程度 ：YOLOv5n+TensorRT+边缘计算盒子关键：优化模型对货架商品的识别能力，支持离线运行与定期数据同步效果：单店部署成本<$500，数据更新周期缩短至15分钟四、三角平衡的决策框架1. YOLOv5-TensorRT的部署决策，正是这种系统能力的最佳试金石。
59610编辑于 2025-11-04- 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.2K20编辑于 2024-03-05 基于python部署paddleocrv5的onnx模型PPOCRv5模型部署源码+onnx模型+使用说明
项目简介 本项目是 PaddleOCRv5 的 ONNX 版本实现，具有以下特点： 支持简体中文、繁体中文、中文拼音、英文和日文识别 无需深度学习训练框架，可直接部署使用 支持 ARM 和 x86 架构 项目提供两种模型版本： Mobile 版本（默认） 已包含在项目中，位于 onnxocr/models/ppocrv5 目录下 无需额外下载 Server 版本（推荐，效果更好，但是推理时间会变长 可以调整批处理大小来减少内存使用 识别效果不理想 尝试使用 Server 版本模型 确保图片清晰度足够 检查图片是否包含支持的语言类型 6. 性能优化建议 使用 GPU 版本可以获得更好的性能 对于批量处理，建议使用批处理模式 可以根据实际需求调整模型参数 对于特定场景，可以考虑使用模型量化来提升性能 7. 源码特点 使用PP-OCRv5 模型 支持 5 种文字类型识别 识别精度比v4及其版本提升 13% 与 PaddleOCR 3.0 精度保持一致
3K10编辑于 2025-07-18- 来自专栏GiantPandaCV
大模型部署框架 FastLLM 简要解析
前言 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。 atoi(this->weight.dicts["gmask_token_id"].c_str()) : 130001; #ifdef USE_CUDA // 清理 CUDA 的大缓冲区 要在FastLLM中自定义一个模型，需要实现的核心部分就是这个模型文件了，从目前FastLLM提供的组件来看，基于Transformer架构的开源大模型支持的难度和工作量会比较小，而对于新的架构比如RWKV 比较期待FastLLM推出ONNX的支持，这样就可以更方便的和各种类型的大模型对接起来。 0x4. 0x5. 总结 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。
1.5K20编辑于 2023-08-22 - 来自专栏微言码道
本地部署大模型的几种方式
这之中当然有诸如GhatGPT, Gemini这样的私有化大模型, 更吸引人关注的可能是开源的可私有化部署的一些大模型. 比如Meta前两天开放的Lamma 3, Google的Gemma开源模型, 国内也有Qwen以及YI等. 无论私有的大模型, 还是开源的可私有化部署的大模型, 各有优缺点. 相对而言, 一些开源的可私有化部署的大模型, 可能更令人关注. 因为只要有足够的硬件资源, 你就能私有化部署这些大模型. 今天我就介绍几种常见的, 方便的私有化大模型的方式, 这些方式都是开源或免费的. 私有化部署方式 Ollama 要说私有化部署大模型最方便的方式, 我认为非Ollama莫属了. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
8.9K21编辑于 2024-04-23 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 LMDeploy介绍 LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。 接下来，我们看一下lmdeploy提供的部署功能。 2.1 模型转换 使用 TurboMind 推理模型需要先将模型转化为 TurboMind 的格式，目前支持在线转换和离线转换两种形式。 场景二（第5张图）：使用真实数据，测试吞吐量（request throughput）。 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。
2.8K00编辑于 2024-03-01 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! 二， 命令行交互 可以在命令行中用 ollama run qwen2 运行一个模型，然后在命令行中和它对话。 下面的gif动画没有做任何加速。 这个回复速度还是非常的感人的~ 三，Python接口交互 在命令行运行 诸如 ollama run qwen2，实际上就会在后台起了一个qwen2的模型服务。
4.1K11编辑于 2024-06-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号