- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与统计学
Qwen3.5 本地部署
Unsloth Dynamic 2.0 量化 Unsloth 其实是第一时间就发布了 Qwen3.5-397B-A17B 的 GGUF 格式文件（Qwen 给了 Unsloth day zero 访问权限 /llama.cpp/llama-server \ --model unsloth/Qwen3.5-397B-A17B-GGUF/MXFP4_MOE/Qwen3.5-397B-A17B-MXFP4 /Qwen3.5-397B-A17B --port 8000 --continuous-batching # 或者直接命令行对话 transformers chat Qwen/Qwen3.5-397B-A17B --reasoning-parser qwen3 vLLM： vllm serve Qwen/Qwen3.5-397B-A17B \ --port 8000 \ --tensor-parallel-size -397B-A17B # 视觉 + 文本推理（原生多模态） pip install mlx-vlm mlx_vlm.chat --model Qwen/Qwen3.5-397B-A17B 工具调用（
1.8K10编辑于 2026-03-02 - 来自专栏机器学习与统计学
Qwen3.5本地部署终极指南，Qwen3.5-27B
Qwen3.5 轻量版来了，更智能，更小巧，量化版本地部署，消费级显卡轻松跑 一文中测试了，十分建议：首选 Qwen3.5-27B，无论是官方benchmark测评还是其他网友评价，都支持这一结论 Qwen3.5 全阵容：阿里这次玩了个大的 阿里最新发布的 Qwen3.5，不再只是单个模型，而是一整个军团： 型号 类型 总参数 激活参数 定位 Qwen3.5-27B Dense 27B 27B 稳扎稳打型 Qwen3.5 -35B-A3B MoE 35B 3B 极速小钢炮 Qwen3.5-122B-A10B MoE 122B 10B 中杯选手 Qwen3.5-397B-A17B MoE 397B 17B 旗舰巨兽 两个关键词 硬件需求速查 这是最实际的部分，别收藏了不看： 型号 4-bit 量化 8-bit 量化 原始 FP16 Qwen3.5-27B 17 GB 30 GB 54 GB Qwen3.5-35B-A3B 22 GB 38 GB 70 GB Qwen3.5-122B-A10B 70 GB 132 GB 245 GB Qwen3.5-397B-A17B 214 GB 512 GB 810 GB 翻译成人话
7.7K41编辑于 2026-03-02 实测Qwen2.5-Math效果
Qwen2.5全家桶发布，特别是在中间还整了一个Qwen2.5-Math模型，特定针对数学能力进行推理。这不免让人想起前段时间OpenAI才发布的o1大模型。 到底Qwen2.5-Math效果怎么样，可以直接拿数学题目给他进行测试。 Qwen2.5-Math一直到这里还是得出的正确的步骤。但是后面的步骤有点看不懂了。 但是由于o1大模型得出的步骤和答案离正确答案更加接近，因此从评分上看效果要比Qwen2.5-Math要好一点。 本人还是很看好Qwen模型系列的，而且它还没有加入COT这种推理逻辑大杀器，推理能力上就能够和o1大模型差不多了，期望Qwen3的出现能够超越国外的大模型。
73310编辑于 2024-09-22Qwen-7B-Chat WebDemo
Qwen-7B-Chat WebDemo 环境准备 在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8 /Qwen-7B-Chat', cache_dir='/root/autodl-tmp', revision='v1.1.4') 代码准备 首先clone代码，打开autodl平台自带的学术镜像加速。 unset http_proxy && unset https_proxy 修改代码路径，将 /root/autodl-tmp/Qwen/web_demo.py中 13 行的模型更换为本地的/root/ autodl-tmp/qwen/Qwen-7B-Chat。 运行以下命令即可启动推理服务 cd /root/autodl-tmp/Qwen python web_demo.py --server-port 6006 将 autodl 的端口映射到本地的 http
33211编辑于 2025-07-17Qwen-7B-Chat Lora 微调
Qwen-7B-Chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 Qwen-7B-Chat 模型进行 Lora 微调。 本节所讲述的代码脚本在同级目录 04-Qwen-7B-Chat Lora 微调 下，运行该脚本来执行微调过程，但注意，本文代码未使用分布式框架，微调 Qwen-7B-Chat 模型至少需要 24G 及以上的显存 tokenizer = AutoTokenizer.from_pretrained('/root/autodl-tmp/qwen/Qwen-7B-Chat', use_fast=False, trust_remote_code /qwen/Qwen-7B-Chat/', use_fast=False, trust_remote_code=True) tokenizer.pad_token_id = tokenizer.eod_id /qwen/Qwen-7B-Chat/', trust_remote_code=True, torch_dtype=torch.half, device_map="auto") model.enable_input_require_grads
72710编辑于 2025-07-17Qwen-7B-Chat Ptuning 微调
Qwen-7B-Chat Ptuning 微调 Ptuning原理 参考transformers-code 数据加载与模型配置与LoRa一致,在此具体讲一下Ptuning的细节: 基本原理为冻结主模型全部参数 labels = [-100] * len(instruction["input_ids"]) + response["input_ids"] + [tokenizer.pad_token_id] # Qwen /output/Qwen", per_device_train_batch_size=2, gradient_accumulation_steps=2, logging_steps /Qwen-7B-Chat', use_fast=False, trust_remote_code=True) tokenizer.pad_token_id = tokenizer.eod_id ds.column_names) # 创建模型并以半精度形式加载 model = AutoModelForCausalLM.from_pretrained('/root/autodl-tmp/qwen
36410编辑于 2025-07-17- 来自专栏大模型本地部署
Qwen3.5本地部署
0.简介本教程参考了Unsloth上有关Qwen3.5部署的教程，但是国内由于网络等原因，部署的时候会遇到一系列问题，因此以下给出逐一解决的方法。后续会持续更新Qwen3.5其他系列模型。 1.Qwen3.5-35B-A3B1.1.Tips在本指南中我们将使用Dynamic4-bit，在24GBRAM/Mac设备上可实现快速推理效果。 根据你的用例，遵循下面的特定命令之一：1.2.2.1.思考模式精确编码任务：exportLLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF". \--top-k20\--min-p0.00通用任务：exportLLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF". /llama.cpp/llama-cli\--modelunsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf\--mmprojunsloth
1K00编辑于 2026-03-06 - 来自专栏LLM
万字长文解读Qwen进化史：27篇论文深度复盘Qwen模型家族
本篇将按照时间倒序从2026年3月追溯至2023年9月，梳理了Qwen生态系统中发布的27项LLM核心技术成果：基座大模型历经Qwen→Qwen2→Qwen2.5→Qwen3→Qwen3.5持续迭代升级 :https://huggingface.co/Qwen/Qwen3.5-397B-A17B作为Qwen生态截至现在的巅峰之作，Qwen3.5系列彻底贯彻了「全模态原生」与「线性注意力」的两大技术路线。 /Qwen3-CoderHuggingFace:https://huggingface.co/Qwen/Qwen3-Coder-NextQwen3-Coder-Next拥有80B的总参数量，但通过极度稀疏的 :https://huggingface.co/Qwen/Qwen3Guard-Stream-4BQwen3Guard是Qwen3系列配套的多语言安全护栏模型，模型覆盖119种语言与方言，提供0.6B/ 是GTE-Qwen（GeneralTextEmbeddings）系列的重大升级，底座从Qwen2.5切换为Qwen3LLM，语言能力大幅提升。
5700编辑于 2026-03-12 Qwen-7B-chat 全量微调
Qwen-7B-chat 全量微调 修改代码 首先我们要准训练模型的代码，这里我们使用的 modelscope 上的 Qwen-7B-chat 模型，大家自行下载即可。 只不过在全量微调的时候没有加载 LoraConfig，那我就直接给出代码，如果对代有什么问题，大家可以先自行探索Qwen lora的代码解释，有什么不懂的地方可以提Issue。 /model/qwen/Qwen-7B-Chat/") # 用于处理数据集的函数 def process_func(example): MAX_LENGTH = 128 # Llama分词器会将一个中文字切分为多个 labels = [-100] * len(instruction["input_ids"]) + response["input_ids"] + [tokenizer.pad_token_id] # Qwen /output/Qwen" \ --per_device_train_batch_size=1 \ --gradient_accumulation_steps=1 \ --logging_steps
45710编辑于 2025-07-17Qwen-7B-hat Transformers 部署调用
Qwen-7B-hat Transformers 部署调用 环境准备 在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04 snapshot_download, AutoModel, AutoTokenizer from modelscope import GenerationConfig model_dir = snapshot_download('qwen /Qwen-7B-Chat', cache_dir='/root/autodl-tmp', revision='v1.1.4') 代码准备 在/root/autodl-tmp路径下新建trans.py文件并在其中输入以下内容 transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig model_dir = '/root/autodl-tmp/qwen /Qwen-7B-Chat' tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained
37210编辑于 2025-07-17- 来自专栏Python与算法之美
Qwen7b微调保姆级教程
我们构造了一个修改大模型自我认知的3轮对话的玩具数据集，使用QLoRA算法，只需要5分钟的训练时间，就可以完成微调，并成功修改了LLM模型的自我认知(以Qwen7b-Chat为例)。 公众号算法美食屋后台回复关键词：torchkeras，可获取本文notebook源码~ 通过借鉴FastChat对各种开源LLM模型进行数据预处理方法统一管理的方法，因此本范例适用于非常多不同的开源LLM模型，包括 Qwen _7b' #远程：'Qwen/Qwen-7b-Chat' bnb_config=BitsAndBytesConfig( load_in_4bit=True, cp qwen_7b/*.py qwen_torchkeras/ 五，使用模型 为减少GPU压力，此处可再次重启kernel释放显存。 已经在Qwen的自我认知中，种下了一颗梦中情炉的种子。
2.5K31编辑于 2023-09-17 - 来自专栏叶子的数据科技专栏
使用 Qwen-Agent 结合浏览器插件
git clone https://github.com/QwenLM/Qwen-Agent.gitcd Qwen-Agentpip install -e . # 示例: 假设Qwen1.5-72B-Chat已经通过vLLM部署于http://localhost:8000/v1，则可用以下参数指定模型服务：# --llm Qwen1.5-72B-Chat 顺便说一下，魔搭社区提供了每天 1000 次的 Qwen/Qwen2.5-72B-Instruct 等模型的免费额度，可以用来测试。创建守护进程在实际的运行中，为了避免每次启动服务，可以创建守护进程。 systemctl daemon-reloadsudo systemctl enable qwen-serversudo systemctl start qwen-server## 查看状态sudo 引用Qwen-Agent/browser_qwen_cn.md at main · QwenLM/Qwen-Agent · GitHub
1K10编辑于 2024-12-21 Qwen1.5-7B-Chat FastApi 部署调用
Qwen1.5-7B-Chat FastApi 部署调用 环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch–>2.0.0–>3.8(ubuntu20.04 modelscope import snapshot_download, AutoModel, AutoTokenizer import os model_dir = snapshot_download('qwen /Qwen1.5-7B-Chat', cache_dir='/root/autodl-tmp', revision='master') 代码准备 在 /root/autodl-tmp 路径下新建 api.py 返回响应 # 主函数入口 if __name__ == '__main__': # 加载预训练的分词器和模型 model_name_or_path = '/root/autodl-tmp/qwen /Qwen1.5-7B-Chat' tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)
40110编辑于 2025-07-17- 来自专栏创作是最好的自我投资
基于Qwen2.5-Coder 快速搭建应用管理系统
Qwen2.5-Coder 特别为编程应用而设计。 如何基于 Qwen2.5-Coder 快速搭建应用管理系统，下面开始详细讲解。 快速搭建应用管理系统 我们今天主要需要使用的Qwen开源模型 为 Qwen2.5-Coder，点击Qwen2.5-Coder 模型合集进入Qwen2.5-Coder 模型合集详情页， 这里我们选择 Qwen2.5 -代码-demo 点击模型tab进入模型详情页，在模型详情页输入我们的需求【基于springboot生成一个项目代码包】 Qwen2.5-代码-demo 生成内容如下，我们按照Qwen2.5-代码-demo name=Qwen可以看到项目的具体返回结果 应用优化 这时，虽然我们看到我们的应用管理系统已经可以成功运行了，但是页面只有一个 Hello, Qwen!
79130编辑于 2025-01-15 - 来自专栏算法一只狗
Qwen为什么没有像 DeepSeek 一样出圈？
其实之前我曾经介绍过Qwen系列模型，它的效果也是堪比GPT-4o模型。在DeepSeek还没有这么火爆之前，我一直认为Qwen模型其实算是开源之光。 比如阿里在上半年发布的Qwen系列模型，其在2月份开源过Qwen1.5-110B大模型，并在Open LLM Leaderboard榜单（在 6 个关键基准上评估模型，用于在大量不同的评估任务上测试生成语言模型 ）中，拿下了开源第一名的成绩，总分达“75.42”的好成绩 而其在最新的Qwen2模型中，比开源的Llama-3-70B和Qwen1.5-110B还要强。 Qwen2的研发中，实现了在多种编程语言上的显著效果提升。 而在数学方面，大规模且高质量的数据帮助Qwen2-72B-Instruct实现了数学解题能力的飞升。 Qwen系列模型一直在推出自己的全方面对表OpenAI的模型。
1.1K00编辑于 2025-02-05 - 来自专栏人工智能
vLLM部署Qwen3:6B模型启动失败
命令exportVLLM_USE_MODELSCOPE=TrueexportVLLM_CPU_KVCACHE_SPACE=1vllmserve"Qwen/Qwen3-0.6B"--max-model-len8192 scheduler.py:1366][0/0]File"/home/yuezht/vllm/.venv/lib/python3.12/site-packages/vllm/model_executor/models/qwen2 scheduler.py:1366][0/0]File"/home/yuezht/vllm/.venv/lib/python3.12/site-packages/vllm/model_executor/models/qwen3 scheduler.py:1366][0/0]File"/home/yuezht/vllm/.venv/lib/python3.12/site-packages/vllm/model_executor/models/qwen2 28[core.py:866]File"/home/yuezht/vllm/.venv/lib/python3.12/site-packages/vllm/model_executor/models/qwen3
17011编辑于 2026-01-13 - 来自专栏自然语言处理
通义千问 - Code Qwen能力算法赛道季军方案
在23年最后一月，我们团队VScode参加了天池通义千问AI挑战赛 - Code Qwen能力算法赛道，经过初赛和复赛的评测，我们最后取得季军的成绩，团队成员来自中科院计算所、B站等单位，在这里非常感谢队友的努力付出 Qwen 1.8B 及 Qwen 72B 的代码能力上限。 初赛方案 高质量的数据是大模型提升效果的关键，初赛阶段主要聚焦在如何通过 SFT 提升基础模型的代码能力，需要选手基于最新开源的 Qwen 1.8 模型作为基础模型，所以初赛我们上分的关键主要通过收集高质量的代码数据提升模型的在 -d generation_base_dir ]; then mkdir generation_base_dir fi batch_size=1 n_samples=1 # For qwen base model, eos is ‘<|endoftext|>’; for fine-tuned qwen model, eos is ‘<|im_end|>’ eos_token=“<|im_end
49310编辑于 2024-01-08 - 来自专栏大模型应用开发
基于Spring Ai + Ollama + Qwen2.5Deepseek+Milvus实现RAG
docs/zh/install_standalone-docker.md安装Ollama参考官网的步骤就可以实现，同事可在ollama下载文生文、文生图、ocr、embbeding、deepseek、Qwen OllamaOptions.builder() .model("qwen2.5
1.3K10编辑于 2025-03-21 - 来自专栏信数据得永生
AttributeError: ‘Qwen2ForCausalLM‘ object has no attribute ‘chat‘ 解决方案
tolist() if oids[-1] == tok.eos_token_id: oids = oids[:-1] ans = tok.decode(oids) return ans Qwen2ForCausalLM.chat
1.3K10编辑于 2024-04-02 - 来自专栏机器学习与统计学
大模型 LLM 架构对比，DeepSeek、Llama、Qwen、Kimi、Mistral、Gemma
Qwen3 Qwen 团队持续交付高质量的开源 LLM。在2023 年 NeurIPS LLM 效率挑战赛中，排名靠前的解决方案都基于 Qwen2。 （顺便提一下，“Qwen3”没有空格不是笔误，我只是保留了 Qwen 开发者选择的原始拼写。） 6.1 Qwen3（密集模型） 我们先讨论密集模型架构。目前，0.6B 模型可能是现今最小的开源模型。 如果您对不依赖外部第三方 LLM 库的 Qwen3 可读实现感兴趣，我最近用纯 PyTorch 从头实现了 Qwen3。 6.2 Qwen3（MoE） 如前所述，Qwen3 还有两种 MoE 变体：30B-A3B 和 235B-A22B。为什么像 Qwen3 这样的架构同时提供密集和 MoE（稀疏）变体？ 值得注意的是，Qwen3 模型放弃了共享专家（早期 Qwen 模型如 Qwen2.5-MoE 使用了共享专家）。 遗憾的是，Qwen3 团队未披露为何放弃共享专家的原因。
2.3K10编辑于 2025-08-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号