- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
vLLM部署Qwen3:6B模型启动失败
忘记安装gcc g++ python-dev等依赖库，执行下面命令安装相应依赖库后解决
17011编辑于 2026-01-13 - 来自专栏机器学习与统计学
大模型写高考作文，状元是DeepSeek，榜眼是Qwen3，探花是Gemini
DeepSeek-R1、Kimi、Qwen-3-235B-A22B、豆包、Claude-3.7-sonnet、GPT-4.1、Gemini 2.5 Pro共同作答
36410编辑于 2025-06-08 - 来自专栏编程语言的世界
vLLM 部署 Qwen3-VL-32B-Thinking 模型 reasoning_content 为空问题解决记录
作为参数值--reasoning-parser qwen3第二步：排查推理内容分离问题通过测试发现：✅ 模型正常生成推理内容✅ <think>... reasoning_content 字段仍为 null第三步：发现根本原因关键发现：Qwen3-VL-32B-Thinking 模型的输出格式实际上遵循 DeepSeek-R1 格式，而不是标准的 Qwen3 正如文档所述：Qwen3-Thinking-2507 不输出 <think> 起始标记，导致 Qwen3 推理解析器无法解析它，因为它符合 DeepSeek-R1 格式。 推理功能特性默认启用：Qwen3 系列模型的推理功能默认处于启用状态禁用方法：如需禁用，在 API 请求中传入 enable_thinking=False格式兼容性：Qwen3-VL-32B-Thinking 使用 DeepSeek-R1 格式而非标准 Qwen3 格式3.
3.3K40编辑于 2025-10-28 - 来自专栏福大大架构师每日一题
ollama v0.12.1 更新详解：新增 Qwen3 Embedding、云模型支持与多项功能修复
本次更新不仅带来了全新的 Qwen3 Embedding 模型，还在工具调用、云模型交互、Linux 平台登录等方面进行了优化和修复，是一次功能与稳定性同步提升的重要版本。 二、核心更新内容 1. 新增模型 • Qwen3 Embedding 高性能的开源向量嵌入模型，由 Qwen 团队提供，适用于搜索、推荐、语义匹配等任务。 2. • 模型使用者：Qwen3 Embedding 将提升搜索与语义任务的精度，Harmony 工具支持可以在复杂任务中带来更高的可扩展性。 上线 Qwen3 Embedding 与云模型，让硬件门槛大幅降低； 2. Harmony 工具支持与思维链功能完善； 3.
46710编辑于 2025-12-18 - 来自专栏福大大架构师每日一题
ollama v0.12.2 版本更新详解：Qwen3 架构支持、Multi-Regex 分词器、新引擎前后缀匹配等功能升级
该版本不仅提升了对 Qwen3 架构（包括 MoE 混合专家模型）的运行支持，还在分词器、内置工具渲染、张量加载等方面做出重大调整。本文将详细解析本次更新的技术细节和影响。 一、核心更新摘要 1. Qwen3 架构模型（含 MoE）切换到 Ollama 新引擎运行 • 新引擎更好地支持 Qwen3 系列权重加载与推理，包括 Qwen3-MoE（混合专家）模型。 为了适配 Multi-Regex 方案和新引擎，本次更新重构了多个模型的加载方法，包括： • llama / llama4 系列 • mistral3 • mllama • qwen2、qwen25vl、qwen3 对推理系统维护者： • 新引擎对 Qwen3 MoE 支持，意味着可以在 Ollama 中稳定部署混合专家模型。 • 内置工具不重命名修正，提升与工具 API 对接的稳定性。 七、总结 ollama v0.12.2 是一次针对核心引擎、分词器、模型加载逻辑的全面升级，尤其是： • 新引擎全面支持 Qwen3 MoE • 多 Regex 分词器 • Tag 前后缀功能 • 内置工具渲染修复
33610编辑于 2025-12-18 - 来自专栏福大大架构师每日一题
DeepSeek-V3、Qwen3 齐登场，AI 领域再迎巨变！
不仅新增了 Meta 的 Llama 4、微软的 Phi4-Multimodal、深度求索的 DeepSeek-V3 以及 Qwen3 四大重量级模型，还优化了多项功能，修复了诸多 Bug，让 AI 开发者们直呼 Qwen3：阿里通义千问最新架构，即将发布 5. 其他重要改进与 Bug 修复 如果你是 AI 开发者、研究人员，或者对前沿 AI 技术感兴趣，这篇文章绝对不容错过！ 1. Qwen3：阿里通义千问最新架构 虽然 Qwen3 的模型尚未正式发布，但 Transformers v4.51.0 已支持其架构，预计阿里很快会推出新版本。 • Llama 4 带来更强大的多模态 MoE 模型 • Phi4-Multimodal 让轻量级多模态 AI 触手可及 • DeepSeek-V3 以低成本实现顶级性能 • Qwen3 蓄势待发，或将再次刷新中文
1.6K30编辑于 2025-04-07 - 来自专栏福大大架构师每日一题
lmdeploy v0.8.0发布！多项核心功能升级，性能爆表，打造AI部署新时代！
Qwen3系列全新支持 • 新增Qwen3及Qwen3MoE模型支持，由@lzhangzz和@CUHKSZxy推动，涵盖PyTorch引擎的全流程兼容，助力更丰富、更高效自然语言处理应用。 • Qwen3 fp8低精度支持，大幅降低计算资源需求同时确保精度。 • 支持Qwen3的AWQ量化，带来轻量化推理新选择。 • MoE门控优化，提升模型专家路由效率。 3. 快速体验Qwen3模型部署 from lmdeploy import LMEngine engine = LMEngine(model_name='Qwen3', device='cuda') response 详细教程及示例可查阅官方文档：https://lmdeploy.internlm.ai/docs 七、总结 InternLM lmdeploy v0.8.0版本带来： • 多设备、多节点并行推理支持 • Qwen3
63110编辑于 2025-05-05 - 来自专栏精益码农
还有比ollama更傻瓜式的大模型本地部署方式吗 ？
:8b 500a1f067a9f 5.2 GB 23 hours ago ## size 是预估的显存大小 qwen3:8b vs qwen3- 下载完ollama， 选择qwen3:8b大模型，开始下载模型。 1. ollama run qwen3:8b $ ollama run qwen3:8b >>> Send a message (/? curl http://localhost:11434/api/chat -d '{ "model": "qwen3:8b", "messages": [{ "role": "user" }], "stream": false }' {"model":"qwen3:8b","created_at":"2026-01-21T07:57:52.9621534Z","message":{"
44610编辑于 2026-01-27 - 来自专栏机器之心
从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路
下图对比了 gpt-oss-20B 与大小相当的 Qwen3 模型。 图 13：大小相当的 gpt-oss 和 Qwen3 模型。 可以看到，gpt-oss 20B 和 Qwen3 30B-A3B 在架构组件上非常相似。除了尺寸之外，主要区别在于 gpt-oss 采用了滑动窗口注意力，而 Qwen3 则没有。 例如，在查看多种尺寸的 Qwen3 MoE 模型（下图 17）时，它们在更多方面彼此之间进行了更均衡的缩放。 图 17：各种 Qwen3 模型的架构差异。 遗憾的是，目前尚无关于 Qwen3 训练时间的信息。 「no tools」的 gpt-oss-120b 数据取自官方模型卡，Qwen3 数据取自官方 Qwen3 代码库。
41410编辑于 2025-08-24 - 来自专栏机器学习与统计学
开源大模型, 重量级选手+1
，优势有三：高效计算：闪电注意力机制显著提升推理效率参数激活优化：虽然总参数量巨大，但每次只激活必要的专家模块线性扩展：时间和空间复杂度随序列长度近似线性增长模型总参数 4560 亿（456B）,比 Qwen3 智能搜索：就是联网搜索，官方建议当需要 MiniMax AI 进行创意写作时关闭此功能Think 模式：就是深度思考我让他生成黑客帝国数字雨 html，效果非常一般DeepSeek-R1-0528 蒸馏 Qwen3 :8B大模型，双 4090本地部署，深得我心比DeepSeek-R1-0528-Qwen3-8B 强，比 Qwen3:32B 弱，更是完全比不上 DeepSeek-R1-0528不过其Agent模式还是很 OK了然后让其设计知识卡片Qwen3 果真拉垮了吗？ 分别有何深意，输出 SVG 格式，3:4，小红书风格：——省略 1328 字它刚开始也是没有找到第四次的背影，不过在漫长的思考中，它发现并修复了最终效果还行吧，比 Qwen3-235b、Qwen3:32
57520编辑于 2025-06-17 - 来自专栏福大大架构师每日一题
DeepSpeed v0.16.6震撼发布！性能优化+BUG修复全解析，AI训练再提速！
新功能支持：Qwen3自动张量并行（AutoTP）支持，复杂场景下的TiedLayerSpec兼容性增强！ 4. 兼容性升级：适配PyTorch最新梯度钩子API，修复HPU内存映射问题。 新功能支持 • Qwen3自动张量并行（AutoTP）支持 新增对Qwen3模型的自动张量并行优化，简化大模型训练配置。
70110编辑于 2025-04-18 - 来自专栏猫头虎博客专区
DeepSeek R1 模型小版本升级，DeepSeek-R1-0528都更新了哪些新特性？
数学：AIME‑2025 87.5 %（国产第一，逼近 o3/Gemini‑2.5‑Pro） 代码：HumanEval‑Plus 91 % 综合逻辑：MMLU 87.2 此外，官方将思考链蒸馏到 Qwen3 ‑8B，得到 DeepSeek‑R1‑0528‑Qwen3‑8B，在 AIME‑2024 仅次于原版 R1‑0528，超过 Qwen3‑8B (+10 %)，逼平 Qwen3‑235B。
1.4K10编辑于 2025-05-31 - 来自专栏机器学习与统计学
大模型 LLM 架构对比，DeepSeek、Llama、Qwen、Kimi、Mistral、Gemma
图 18：Qwen3 0.6B 与 Llama 3 1B 的架构比较；注意 Qwen3 是更深的架构，层数更多，而 Llama 3 是更宽的架构，注意力头更多。 如果您对不依赖外部第三方 LLM 库的 Qwen3 可读实现感兴趣，我最近用纯 PyTorch 从头实现了 Qwen3。 6.2 Qwen3（MoE） 如前所述，Qwen3 还有两种 MoE 变体：30B-A3B 和 235B-A22B。为什么像 Qwen3 这样的架构同时提供密集和 MoE（稀疏）变体？ 图 19：DeepSeek-V3 与 Qwen3 235B-A22B 的架构比较。 如上图所示，DeepSeek-V3 和 Qwen3 235B-A22B 的架构非常相似。 值得注意的是，Qwen3 模型放弃了共享专家（早期 Qwen 模型如 Qwen2.5-MoE 使用了共享专家）。 遗憾的是，Qwen3 团队未披露为何放弃共享专家的原因。
2.3K10编辑于 2025-08-05 - 来自专栏福大大架构师每日一题
ollama v0.12.6 更新详解：搜索支持、性能优化与 Vulkan 实验性支持
模型搜索功能扩展 • 在运行 DeepSeek-V3.1、Qwen3 等支持工具调用的模型时，Ollama 应用现在支持搜索功能，大幅提升了模型交互和数据检索效率。 2. • 修复 Qwen3 模型的 distill 问题。 同时，一系列针对 Qwen3 系列模型和 GPU 支持的修正，让该版本更加稳定、适用范围更广。对于开发者而言，本次更新不仅改善了现有工作流程，还为未来硬件适配提供了新的可能。
39210编辑于 2025-12-18 - 来自专栏算法一只狗
开源之光！Qwen3-VL的真实体验到底如何？
Qwen3家族又新增了6个模型，并且在昨晚就已经提前预告了~一直就很期待Qwen3这个系列能不能再刷新一下开源模型的天花板。 实现了在多个维度的全面升级：在纯文本的理解与生成、视觉内容的感知与推理等多个维度，以及在上下文长度支持能力、对空间关系和动态视频的理解深度等关键指标方面，乃至在与智能体（Agent）交互过程中的综合表现上，Qwen3 写在最后整体来看，这一波阿里 Qwen3 家族的更新，不仅在模型层面扩展了多模态和安全方向，还在 API 产品化上进一步加快了落地节奏。 未来如果能进一步推出更小的蒸馏版本，让企业和个人开发者都能低成本部署，那 Qwen3 系列的影响力会再上一个台阶。
5.7K150编辑于 2025-09-26 - 来自专栏ceshiren0001
大语言模型提示词工程教程：实现自动化工具推理
swagger大模型上下文协议 MCP playwright-mcppython 工具调用示例没有工具调用的对话模型使用工具可以获得更加准确的结果带有 function call 的请求{ "model": "qwen3 required": ["language", "code"], "type": "object" } } } ]}大模型的响应{ "model": "qwen3 275,"prompt_eval_duration": 776227166,"eval_count": 42,"eval_duration": 1225024292}最终请求{ "model": "qwen3 required": ["language", "code"], "type": "object" } } } ]}最终响应{ "model": "qwen3
13510编辑于 2026-01-12 - 来自专栏AiPy实用案例
国产大模型集体开挂！GPT-4.1 被打成筛子，GLM-4.5 100% 成功率封神
从阿里 Qwen3 系列的集体暴走，到百度 ERNIE 的双双重摔；从 Gemini 2.5 Pro 的闪电速度，到 GPT-4.1 的史诗级翻车……130 项真实任务撕开了大模型的遮羞布：谁在裸泳？ 本次评测聚焦最新发布的旗舰模型，纳入通义千问三连发的Qwen3系列（含Thinking-2507深度推理版、Instruct-2507高效指令版、Coder-Plus专业编程版） 与智谱华章的GLM-4.5 GLM-4.5凭借完美成功率夺得桂冠，Qwen3系列表现亮眼包揽2-3名。值得注意的是，本次测评前三名均为国产模型！国内模型排名情况国产大模型整体表现优异，9款参测模型中有6款成功率达到80%以上。 GLM-4.5以完美表现领跑， 阿里Qwen3系列紧随其后，显示出国产AI技术的强劲实力和快速发展势头。 GLM-4.5的完美表现证明了国产AI技术的成熟度，而Qwen3系列的集体优异表现则展示了 中国AI企业在技术创新方面的持续投入和快速迭代能力。
51610编辑于 2025-07-31 【AIGC技术风暴】LLM时代的内容革命：如何用AI生成内容颠覆创作与商业生态？
结合Qwen3等前沿模型案例，展示文本生成、代码创作、视觉设计等场景的实战代码，并通过性能对比表格揭示AIGC相较传统生产的效率跃升（效率提升80%+，成本降低60%+）。 三年后，Qwen3等国产大模型已实现2000亿参数+超万亿token训练量的技术跨越。 自注意力机制)B-->C{上下文理解}C-->D[文本生成]C-->E[代码理解]C-->F[多模态融合]G[模型训练]-->H{参数规模}H-->|175B|I[GPT-3]H-->|2000B+|J[Qwen3 Qwen3采用混合专家系统（MoE）架构，在2000亿基础参数上实现动态扩展。 发展历程：2018年BERT开启预训练时代2020年GPT-3验证零样本能力2023年Qwen3实现多模态统一架构AIGC技术体系详解维度传统生产AIGC范式内容类型文字/图片文字/代码/图像/视频/3D
21710编辑于 2026-02-02- 来自专栏福大大架构师每日一题
ollama v0.16.3 发布：新增Cline集成、支持Gemma 3 / Llama 3 / Qwen 3架构、全新Zstd压缩支持与TUI交互升级详解
启动支持，还在多项关键功能上进行了拓展与修复，包括： • 新增 Cline CLI 集成支持：ollama launch cline • 新增 MLX Runner 对 Gemma 3、Llama3 和 Qwen3 在 model: add gemma3 / llama3 / qwen3 三条提交中，分别增加了对这三类架构的 MLX Runner 兼容。 新的解析函数在 model/parsers/parsers.go 中定义： case "qwen3": p = &Qwen3Parser{hasThinkingSupport: false, defaultThinking 光标定位增强 函数 cursorForCurrent() 支持模糊匹配当前选中项，并在存在相似名称 (e.g. qwen3 vs qwen3:8b) 时智能跳转对应位置，避免浏览冗余。 4. • 在模型层面：增加对新一代语言架构（Llama3 / Qwen3 / Gemma3）的支持，紧跟业界前沿。 • 在交互层面：重新设计 CLI 与 TUI，使多模型管理、自动代理配置更加简洁。
31910编辑于 2026-03-04 - 来自专栏福大大架构师每日一题
DeepSpeed v0.16.9重磅发布！解锁全新性能优化与多项关键功能，深度解析升级亮点与技术革新
引入qwen3与qwen3moe元数据加载支持 AutoTP作为DeepSpeed核心自动张量并行组件，通过智能管理模型参数的分布式加载实现大规模模型的高效训练。 此次升级中，新增对qwen3和qwen3moe两类模型元数据的自动加载支持，极大增强了AutoTP的适配能力。 这意味着使用qwen3系列模型的用户可以实现无缝化的自动并行训练，节省大量手动配置时间，同时提升训练的灵活性与效率。 4. 高效AutoTP实现模型并行自动化 支持qwen3、qwen3moe模型元数据加载使得AutoTP向更多主流大模型开放，用户能快速部署分布式训练作业，提升生产效率。 3.
93910编辑于 2025-05-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号