- 综合排序
- 最热优先
- 最新优先
winform部署PaddleOCRV3推理模型
PaddleOCR关注于提供轻量级、灵活且高效的OCR能力，旨在帮助开发者和企业快速部署OCR功能，并支持多平台和多语言应用。 它可以自动处理从图像输入到文字输出的全流程，极大地简化了OCR的使用和部署流程。 轻量化和优化 PaddleOCR重视模型的轻量化和优化。它提供了多种大小的模型，以适应不同的计算资源和应用场景。此外，模型经过优化，能够在CPU、GPU和移动设备上快速运行。 易于部署 PaddleOCR支持多种部署方案，包括服务端、边缘计算和移动端，用户可以根据自己的需求选择最合适的部署方式。 【效果展示】 【实现部分代码】 FullOcrModel model = LocalFullModels.ChineseV3; byte[] sampleImageData; string sampleImageUrl
43610编辑于 2025-07-17- 来自专栏贾志刚-OpenCV学堂
OpenCV4 部署DeepLabv3+模型
引言 · 前面说了OpenCV DNN不光支持图像分类与对象检测模型。 此外还支持各种自定义的模型，deeplabv3模型是图像语义分割常用模型之一，本文我们演示OpenCV DNN如何调用Deeplabv3模型实现图像语义分割，支持的backbone网络分别为MobileNet 预训练模型下载地址如下： https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/model_zoo.md 预训练的模型下载之后可以看到 调用MobileNet的deeplabv3 下载MobileNet版本的deeplabv3模型，把mobilenetv2 ckpt转pb，脚本如下： python deeplab/export_model.py 接下来使用opencv加载xception转换好的pb模型 ?
1.9K10发布于 2020-09-14 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 它支持各种LLM，包括Llama 3、Mistral和Gemma。提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。 3.下载Docker软件点击下载链接：https://docs.docker.com/desktop/install/windows-install/4.安装Docker第三步、使用Docker部署Open 使用Ollama在本地搭建DeepSeek具有充分利用本地算力、保护数据隐私、便捷更新模型等优点，但同时也存在硬件要求高、技术门槛高、部署过程繁琐等缺点。
6.3K33编辑于 2025-02-06 - 来自专栏wayn的程序开发
企业级模型推理部署工具vllm使用指南 - 部署最新deepseek-v3-0324模型
对比 ollama 作为个人开发者部署模型工具而言，vLLM 专注于高并发请求和大规模生产环境，适用于企业级应用和需要高效推理的场景。 量化效果： INT4 量化：将 7B 模型显存需求从 14GB 压缩至 4GB，同时保持精度损失<1%。 适用于消费级显卡（如 RTX 4090）部署 7B-13B 模型。 4. 三、模型下载启动 这里用 DeepSeek 最新模型 V3-0324 模型下载来给大家作为参考。 在 huggingface 搜索 deepseek-ai/DeepSeek-V3-0324 即可找到 deepseek v3 的最新模型， 点击 Use this model 即可找到下载模型命令， 在 vllm 种，我们要下载模型并使用其中一个模型来启动服务器，请使用 vllm serve 命令，例如： vllm serve "deepseek-ai/DeepSeek-V3-0324" 安装并启动后
6.9K10编辑于 2025-04-09 - 来自专栏AI_aidlux
基于aidlux的ai模型边缘设备模型部署实战（3.图像分类）
经过前两次的学习已经掌握了环境配置和基本图像处理功能应用，接下来我们便进入该课程的主要部分，深度学习模型部署实战课程，实现自己的分类模型部署实战。 2、训练自己的数据集 然后我们根据第三节图像分类模型部署，打开notebook依次运行其中ipynb文件，安装好其中的onnx工具包，熟悉其中的部署代码，让案例他们能够运行起来。 图片 熟悉完相关函数调用后我们训练自己的分类数据集，为了便于演示，身边简单的3类水果分类数据集采集（西红柿，苹果，桃子），并将训练好的模型转换成onnx格式的模型。 3、模型部署并调用摄像头实时检测导入上传的onnx，修改文件路径，将调用摄像头分类检测代码，即可在手机端运行摄像头进行实时检测，手机上显示检测的结果和检测处理时间。 t=9.04、总结经过几次的学习已经掌握了相关的深度学习模型部署的相关步骤，当然我们可以进行更深一步的学习，包括图像检测，图像分割等等视觉任务的部署。
57420编辑于 2023-08-07 如何部署自己的模型：Pytorch模型部署实践
Pytorch是一个广泛使用的深度学习框架，但是在将模型部署到生产环境中时，需要注意一些细节和技巧。本文将讨论一些Pytorch模型部署的最佳实践。 选择合适的部署方式 在部署Pytorch模型之前，需要选择合适的部署方式。一种常见的方式是使用Flask或Django等Web框架将模型封装成API，以供其他应用程序调用。 另一种方式是使用TorchScript将Pytorch模型转换为可部署的格式。 torch.save(model.state_dict(), 'mnist_model.pth') 3. 首先，需要选择合适的部署方式，包括使用Flask或Django等Web框架将模型封装成API，或使用TorchScript将Pytorch模型转换为可部署的格式。
43210编辑于 2025-12-16- 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。 您将会看到 Ollama 的 Web 界面，通过它您可以开始构建、训练和部署深度学习模型。 三、llama3 模型下载安装 1、llama3 下载 默认下载的是llama3:8b。 这里冒号前面代表模型名称，冒号后面代表tag，可以从这里查看llama3的所有tag ollama pull llama3:70b 2、运行llama3模型 ollama run llama3 上述命令将自动拉取模型
7K00编辑于 2024-05-24 - 来自专栏人工智能
vLLM部署Qwen3:6B模型启动失败
命令exportVLLM_USE_MODELSCOPE=TrueexportVLLM_CPU_KVCACHE_SPACE=1vllmserve"Qwen/Qwen3-0.6B"--max-model-len8192 tmp1)(EngineCore_DP0pid=9787)[rank0]:C011314:50:28.1030009787torch/_inductor/scheduler.py:1366][0/0]tmp3= EngineCore_DP0pid=9787)[rank0]:C011314:50:28.1030009787torch/_inductor/scheduler.py:1366][0/0]tmp4=tmp3* :1366][0/0]File"/home/yuezht/vllm/.venv/lib/python3.12/site-packages/vllm/model_executor/models/qwen3. :1366][0/0]File"/home/yuezht/vllm/.venv/lib/python3.12/site-packages/vllm/model_executor/models/qwen3.
31011编辑于 2026-01-13 - 来自专栏charlieroro
istio部署模型
Istio的部署模型介绍 目录 Istio的部署模型介绍 部署模型 集群模式 单集群 多集群 网络模型 单网络 多网络 控制面模型 身份和信任模型 网格中的信任 网格之间的信任 网格模型 单网格 多网格 在一个涉及多集群的生产环境中，可以混合使用部署模型。例如，可以使用多个控制面来做到HA。在一个3集群环境中，可以将两个集群共享一个控制面，然后给第三个集群在不同的网络中添加另外一个控制面。 实际使用中，需要根据隔离性，性能，以及HA要求来选择合适的部署模型。本章将描述部署Istio时的各种选择和考量。 集群模式 该模式下，应用的负载会运行在多个集群中。 包含一个网络的单集群模型会包含一个控制面，这就是istio最简单的部署模型： ? 单集群的部署比较简单，但同时也缺少一些特性，如故障隔离和转移。如果需要高可用，则应该使用多集群模式。 网络模型 很多生产系统需要多个网络或子网来实现隔离和高可用。Istio支持将一个服务网格部署到多种类型的网络拓扑中。通过这种方式选择符合现有网络拓扑的网络模型。
1.2K20发布于 2020-09-08 - 来自专栏sktj
Kubernetes(3:部署)
1 3个节点： k8s-master k8s-node1 k8s-node2 2 yum install -y docker 3 所有节点安装kubelet kubeadm kubectl
72230发布于 2019-09-24 - 来自专栏C++开发学习交流
【AI模型】AI模型部署概述
AI模型部署方法 在AI深度学习模型的训练中，一般会用Python语言实现，原因是其灵活、可读性强。但在AI模型实际部署中，主要会用到C++，原因在于其语言自身的高效性。 在部署方面，OpenVIVO的开发也是相对比较简单的，提供了C、C++和python3种语言编程接口。 MediaPipe 还有助于将机器学习技术部署到各种不同硬件平台上的演示和应用程序中，为移动、桌面/云、web和物联网设备构建世界级ML解决方案和应用程序。 3. AI模型部署平台 AI 模型部署是将训练好的 AI 模型应用到实际场景中的过程。 以下是一些常见的 AI 模型部署平台： 云端部署 云端部署是最流行的 AI 模型部署方式之一，通常使用云计算平台来托管模型和处理请求。
1.8K10编辑于 2024-07-24 - 来自专栏AI模型部署实践
HAI - 腾讯混元3D模型一键部署
一、环境介绍 腾讯混元 3D 模型是一款先进的大规模 3D 资产创作系统，它可以用于生成带有高分辨率纹理贴图的高保真度 3D 模型。 该系统包含两个基础组件：一个大规模几何生成模型——混元 3D-DiT，以及一个大规模纹理生成模型——混元 3D-Paint。 几何生成模型基于流扩散的扩散模型构建，旨在生成与给定条件图像精确匹配的几何模型，为下游应用奠定坚实基础。 二、快速使用 步骤一：创建 Hunyuan3D 应用 1. 在单并发访问模型的情况下，建议配置如下： 模型 推荐算力套餐 Hunyuan3D-2 GPU 性能型 实例名称：自定义实例名称，若不填则默认使用实例 ID 替代。 购买数量：默认1台。 3. 此时，建议通过可视化界面（GUI）使用 Hunyuan3D 模型。 6. 您可以在此页面查看实例的详细配置信息，到此为止，说明您的 Hunyuan3D 应用实例购买成功。
4.3K11编辑于 2025-05-13 - 来自专栏算法之名
模型部署篇(二)
接模型部署篇 硬件搭建 硬件搭建其实挺简单的，把风扇固定好，把键盘、鼠标、USB卡都插在USB接口上，把显示器的HDMI线接在HDMI接口上，把摄像头的线接在摄像头插口上，接好网线就可以了，最后接上电源开机启动 root 执行编译命令 CUDA_VER=10.2 make -C nvdsinfer_custom_impl_Yolo 编辑文件prebuild.sh vim prebuild.sh 注释掉除yolov3- /prebuild.sh 此时会下载yolov3-tiny的配置和权重文件。 执行 deepstream-app -c deepstream_app_config_yoloV3_tiny.txt
83540编辑于 2023-03-01 如何部署 PyTorch 模型
使用 PyTorch 训练好了模型，如何部署到生产环境提供服务呢？ serve 官方给出的描述是： A flexible and easy to use tool for serving PyTorch models 从描述中就可知道 TorchServe 是用来部署 pytorch/serve/blob/master/README.md#install-torchserve-and-torch-model-archiver 下面简单描述一下用 TorchServe 部署模型的几个步骤 参考文件 https://github.com/louis-she/torch-serve-mnist/blob/main/mnist/model.py 3. handler.py （可选） 如果希望加入一些自定义的 model-name mnist --serialized-file mnist.pth.tar --model-file model.py --handler handler --runtime python3
33010编辑于 2025-12-16- 来自专栏数据分析与挖掘
pycaret之模型部署
1、预测模型 一旦使用deploy_model将模型成功部署到云中，或者使用save_model在本地成功部署了模型，就可以使用predict_model函数将其用于看不见的数据进行预测。 但是，一旦使用predict_model在保留集上生成了预测，并且选择了部署特定模型，就希望在包括保留在内的整个数据集上对模型进行最后一次训练。 部署模型 使用finalize_model确定模型后，即可进行部署。 可以使用save_model功能在本地使用经过训练的模型，该功能将转换管道和经过训练的模型保存为最终用户应用程序可以作为二进制pickle文件使用。 或者，可以使用PyCaret将模型部署在云上。 在云上部署模型就像编写deploy_model一样简单。 对于AWS用户 在将模型部署到AWS S3（“ aws”）之前，必须使用命令行界面配置环境变量。
95920发布于 2020-10-27 BEV模型部署全栈教程（3D检测+车道线+Occ）
通用坐标系尺度一致：相机检测会出现近大远小的情况，BEV同类目标尺度差异几乎没有，更容易学习特征尺度一致性BEV 是特斯拉自动驾驶系统中的一种模型，是一种基于图像的模型，用于将车辆周围的环境信息转换为平面图 目前最火和常用的视觉BEV（Bird's Eye View）模型之一是BEVDet。 这个模型特别受到关注，尤其是在自动驾驶领域，因为它直接在BEV空间中进行目标检测，能够有效整合来自多个摄像头的视觉信息，实现对环境的3D理解。 BEVDet因其在车辆环视视频中的应用和能输出目标的3D检测框而广受好评，适用于需要精确空间感知的场景。 六、数据需求数据量需求较大：由于2D -> 3D 的部分我们使用的是 MLP，非常容易过拟合。视觉上 3D 本身的 augmentation 很难做，而且对于硬件标定有依赖。
1.4K10编辑于 2024-10-08- 来自专栏进击的多媒体开发
Meta Llama3 大模型在 Mac 上的部署和运行
就在前不久，Meta 正式发布了最新版本的开源大模型 Llama3 ，是迄今为止能力最强的开源大模型。 Llama3 提供了两个版本 8B 和 70B ，如果你不了解 B 代表什么含义，参考这里：# 关于大模型的一些基础内容 其中，8B 版本适合在消费级 GPU 上高效部署和开发；70B 版本则专为大规模 Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。 它可以非常方便地在本地部署各种模型并通过接口使用，有点类似于 Docker 加载各种镜像容器。 其实在 Ollama 之前也有一些方案可以做大模型本地部署，但运行效果往往不尽如人意，比如 LocalAI等，另外还需要用到 Windows + GPU 才行，不像 Ollama 直接在 Mac 都能跑了 了，按如下命令直接运行就行： ollama run llama3:8b 效果如图： 到了这一步就可以愉快和大模型进行亲密交流了。
5.8K20编辑于 2024-04-25 - 来自专栏贾志刚-OpenCV学堂
Tensorflow的C语言接口部署DeeplabV3+语义分割模型
本文主要讲DeeplabV3+语义分割模型的tensorflow C接口部署，不涉及到模型的训练过程，训练过程可以参考： https://github.com/tensorflow/models/tree TF_Tensor* Mat2Tensor(cv::Matimg) { conststd::vector<std::int64_t>input_dims = { 1, 513, 513, 3 TF_NewSessionOptions(); uint8_tconfig[16] = { 0x32, 0xe, 0x9, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0xd0, 0x3f config.SerializeToString() list(map(hex, serialized)) print(list(map(hex, serialized))) 利用上面的配置，逐步打开及关闭3个模型的 实例演示 这是一个自己训练的用于分割细菌的模型，效果如下图。 ?
1.8K30发布于 2020-02-14 - 来自专栏python3
python3 部署
前几天去听了北京python-conf，老师们都在宣传python3的各种好处，和自力讨论之后，决定把自己的小项目都升级到python3。其实代码改起来还好，因为都是比较小的项目，问题主要卡在部署。 我使用的云服务器都是ubuntu14.04的，上面默认的python3是3.4版本，而我本地的是3.6.3版本。 python3.6.3 安装py3.6 然后用推荐的python3.6 -m venv virtualenv_name 的方法来创建虚拟环境 此时报错提示apt-get install python3-
76120发布于 2020-01-06 - 来自专栏计算机视觉战队
模型部署：pytorch转onnx部署实践（下）
在深度学习模型部署时，从pytorch转换onnx的过程中，踩了一些坑。本文总结了这些踩坑记录，希望可以帮助其他人。 在上一次分享的时候，我们已经撰写了pth转onnx的过程及一些部署过程，今天我们继续分享整个部署过程遇到的坑及解决办法！ （点击上方图片就可以进入《模型部署：pytorch转onnx踩坑实录（上）》） onnxruntime支持3维池化和3维卷积 在上次讲到opencv不支持3维池化，那么onnxruntime是否支持呢？ 如果深度学习模型有3维池化或3维卷积层，那么在转换到onnx文件后，使用onnxruntime部署深度学习是一个不错的选择。 此外，DBNet的官方代码里提供了转换到onnx模型文件，于是我依然编写了一套使用opencv部署DBNet文字检测的程序，依然是包含C++和Python两个版本的代码。
2.5K20编辑于 2022-01-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号