用户11849141

文章/答案/技术大牛

发布

LV0

我关注的人

最方便的应用构建——利用云原生快速搭建本地deepseek知识仓库

云原生构建（Cloud Native Build，简称CNB），是基于Docker生态，对环境、缓存、插件进行抽象的一种构建工具。它采用声明式的语法，让开发者能...

熊猫钓鱼 2025-08-012025-08-01 18:18:46

DeepSeek、存储、部署、开发、云原生

vLLM源码学习

vLLM从v0.6.0开始，为了解决功能碎片化、模块之间耦合严重、技术债等问题，并行开发了v1。v1不仅解决了上述问题，还提升了推理性能，让CPU调度开销更小。...

aaronwjzhao 2025-05-282025-05-28 14:04:48

LLM、pytorch

VLLM推理流程解析

完整文章清移步知乎，这个是最近有空时逐步走读了下vllm的流程，还不包含paged attention的实现具体解析，后续有空会把这paged attentio...

BBuf 2023-08-222023-08-22 09:20:29

分布式、output、text、脚本、模型

Higress 基于自定义插件访问 Redis

基于 wasm 机制，Higress 提供了优秀的可扩展性，用户可以基于 Go/C++/Rust 编写 wasm 插件，自定义请求处理逻辑，满足用户的个性化需求...

用户1107783 2024-04-112024-04-11 15:08:14

网关、redis、插件、服务、后端

MSE-Higress 云原生网关测评

在今天的技术环境中，网关的角色变得越来越关键。MSE-Higress 是一款遵循开源 Ingress/Gateway API 标准的下一代网关产品，具有许多引人...

用户10216580 2023-10-162023-10-16 18:28:44

插件、产品、服务、网关、云原生

vLLM多租户LoRA原理揭秘

首先需要加载模型Llama 3 8b，并向vLLM表明我们将使用LoRA，同时还需要设置max_lora_rank。

aaronwjzhao 2025-08-072025-08-07 18:54:41

LLM、大模型部署

10秒一键启动DeepSeek！超酷！

下周三，腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！

腾讯云开发者 2025-02-082025-02-08 13:57:47

开发、模型、DeepSeek、腾讯云、部署

DeepSeek-基于vLLM部署

注：使用不同的推理模型，需要的模型文件是不一样的，比如我前面用的ollama下载的模型，则只能在ollma里面使用，不能拿到vLLM来使用。

运维小路 2025-03-032025-03-03 22:06:46

DeepSeek、编译、部署、服务、模型

LLM 推理引擎之争：Ollama or vLLM ?

Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 构建高效、灵活的计算架构的模型推理框架。

Luga Lee 2025-04-242025-04-24 14:56:01

LLM、部署、量化、模型、性能

使用vLLM加速大语言模型推理

vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。区别于 chatglm.cpp 和 llama.cpp，仅是...

码之有理

腾讯｜后台开发 (已认证)

2024-03-132024-03-13 12:31:30

LLM

【CNB.COOL】智能花卉分类系统 – 部署指北

在现代软件开发中，高效的代码管理和制品管理是团队成功的关键。CNB.cool 是一个专为开发者和团队设计的云原生代码托管与制品管理平台，旨在帮助您提升开发效率、...

陌涛 2025-09-012025-09-01 21:32:43

机器学习、python、深度学习、pytorch

LLM运行框架对比：ollama与vllm浅析

开源的LLM已经成为程序员、爱好者和希望在日常工作中使用生成式AI并保持隐私的用户的最佳选择，对于企业的私有化部署而言也是如此。这些模型提供了优秀的性能，有时在...

半吊子全栈工匠 2025-03-102025-03-10 12:49:11

性能、LLM、部署、框架、模型

【大模型部署实战】VLLM+OpenWebUI实现DeepSeek模型部署，文末有福利

vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟大语言模型（LLM）推理和服务框架。...

AI浩 2025-03-172025-03-17 15:44:41

优化、大模型部署、DeepSeek、部署、模型

使用 Higress AI 网关代理 vLLM 推理服务

随着大语言模型技术的快速发展，越来越多的企业和组织开始考虑在本地私有化部署模型，以满足数据安全、合规性和低延迟等需求。在众多的大模型推理引擎中，vLLM 凭借其...

Se7en258 2025-06-122025-06-12 13:48:11

服务、模型、网关、部署、代理

CloudBase云开发MCP + CodeBuddy IDE：打造智能化全栈理财助手的完整实践

🌟 Hello，我是摘星！🌈 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。🦋 每一个优化都是我培育的花朵，每一个特性都是我放飞的蝴蝶。🔬 每一次代码审...

摘星. 2025-08-252025-08-25 07:57:20

腾讯云MCP场景教程

【CodeBuddy × 腾讯云 Lighthouse】定义 AI 开发-部暑新速度

CodeBuddy IDE 深度集成 AI 能力，覆盖从需求规划、产品设计到代码开发的全流程，打造“想法即产品”的一站式高效交付平台。现已无缝对接腾讯云轻量应用...

腾讯轻量云 2025-10-232025-10-23 22:13:11

CodeBuddyIDE、玩转Lighthouse、轻量应用服务器

LLM 系列（六）：模型推理篇

大型语言模型（LLM）的训练过程虽然耗资巨大且备受关注，但其真正的价值实现，却发生在推理（Inference）这一最终环节。推理是将训练好的模型应用于实际，...

磊叔的技术博客 2025-08-042025-08-04 16:04:40

LLM、模型、内存、硬件、优化

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2025-09-23

个人成就

TA 很懒，什么都没有留下╮（╯＿╰）╭

关注了：2关注者：0