- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法一只狗
实测一手Qwen版本o1推理模型QWQ
说实话，这个模型被称为Qwen QWQ，我是有点惊讶的。QWQ是不我们日常使用的颜文字吗？ 有理由怀疑qwen团队在训练这个模型的时候，已经有点魔怔了~目前QwQ的模型权重已经放到了HuggingFace上，想要体验的可以去在线玩模型在一些数学和编程领域的数据集都表现了比较好的效果，在一些数据集上 对于最令大模型头痛的一道题目trawberry有几个r结果是正确的，确实推理能力上来之后，这种之前有问题的题目大模型已经可以做好了~在当前的热潮中，通义团队坦言，虽然 QwQ 显示出了卓越的分析实力，但它依旧是一个用于科研的试验性模型 写在最后这次把国内的一些近期有名的推理大模型做了一些简单的介绍和基础的评测，发现这些专门针对推理的大模型应该都是沿用了OpenAI o1大模型的那个技术。 这种技术包含了隐式化的COT生成和Post-training，确实能够有效提升大模型的推理能力。相信不久之后这些推理大模型将会在各个领域发挥更大的作用。
64320编辑于 2024-12-07 - 来自专栏大模型应用
大模型应用：大模型的词元化处理详解：BPE、WordPiece、Unigram.11
引言 词元化（Tokenization）是大模型预处理的核心步骤，将连续文本切分为模型可理解的最小语义单元（Token），这些词元可以是单词、子词或字符。 11. 对新文本进行分词（使用最长匹配策略）。注意：在WordPiece中，通常使用一个语言模型来评估合并后的似然变化，但这里我们使用对数似然增益的公式作为合并标准。6. 生成候选Token（例如所有单字、双字、多字组合，或者通过其他方式生成一个大词表）3. 构建初始大词表4. 训练Unigram语言模型（即计算每个词元的概率）5. 删除困惑度上升最小的词元（即对模型影响最小的词元）8. 更新词表，并重新计算每个词元的概率（重新训练语言模型）9. 重复步骤5-8直到词表大小达标10. 生成最终词表11. 六、总结 词元化是大模型理解文本的基础预处理步骤，核心是将中文文本切分为有语义的最小单元（Token）。
72733编辑于 2026-02-08 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (11) 变形记
有一天，小H在吃完午饭回到办公室，旁边几位同学在打《王者荣耀》，并且在挑拨匹配到的一对情侣队友分手。
37410编辑于 2023-11-27 - 来自专栏技术人生黄勇
不要盲目再使用DeepSeek R1和QWQ这些推理模型做RAG了
通过将专用检索器与强大的推理大模型连接起来，我们可以同时获得“三全其美”的效果： 高相关性文档检索 推理丰富的文本生成 通过直接引用减少幻觉 我们开源了构建 RAG 的整个流程（地址在文末），并分享了一些来之不易的经验 我们使用这两个模型为数据集生成嵌入，并组成两个向量数据库。然后，我们对这两个模型使用相同的查询，并在相应模型生成的向量数据库中找到前 5 个最相似的嵌入。 最后，推理大模型用精确的引文来解释其推理，将结论与来源联系起来。这建立了从问题到推理再到答案的明确联系，确保了严谨性和可访问性。 我们用各种法律查询尝试了该模型，该模型始终表现出不仅能够从源文件中提取信息，而且还能从中学习和推理的能力。 要点：对于问答和总结，R1 是循序渐进的法律逻辑的金矿。 它有助于模型更好地解释部分引用而不会丢失全局。
70500编辑于 2025-03-11 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.4K100发布于 2018-04-11 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
79501编辑于 2024-12-30 - 来自专栏AIOT
在Jetson上玩转大模型Day11：SAM2应用
见面文章中提到Google研究院所提出的ViT（Vision Transofmers）技术，将机器视觉与大语言模型结合成多模态的应用，为机器视觉领域开创新的纪元，于是在这个基础之上又发展出许多新的技术， 该模型也可以根据用户具体诉求，选择分割某个物体或某个区域，使控制更加精准。 该模型首先将图像转换为图像嵌入，从而允许从提示中高效地生成高质量的掩模。为模型提供了一个简单的接口用于提示模型，允许用户首先使用set_image方法设置图像，该方法计算必要的图像嵌入。 该模型可以将点和框提示以及之前预测迭代的掩码作为输入。 在帧上添加点击（或框）以获取和细化掩码（时空掩码） 在整个视频中传播点击（或框）以获得掩码 同时分割和跟踪多个目标 現在就可以開始好好跟隨每個ipynb裏面所提供的指示，開始輕鬆學習SAM2有趣並且強大的功能
94810编辑于 2024-11-08 - 来自专栏机器之心
IDC最新报告，7大维度11家大模型厂商比拼，唯一全优是谁？
近日，全球领先的国际数据公司（IDC） 最新发布的大模型实测报告《中国大模型市场主流产品评估，2024》从基础能力到应用能力 7 大维度对 11 家大模型厂商的 16 款市场主流产品进行实测。 在 IDC 列出的厂商里，有很多我们熟悉的公司，国外厂商如 OpenAI；国内厂商包括阿里、商汤、科大讯飞、百川、智谱、昆仑万维等 11 家大模型厂商的 16 款产品参与了本次评估。 基于上述两方面的设计，文心大模型已经发展出基础模型应用、智能体模式应用、多模态应用等多种创新应用模式，真正地把大模型能力转化成了生产力的提升。 例如在行业落地上，百度智能云推出千帆大模型平台，以一站式企业级大模型开发及服务运行平台服务大众。 一直到这波大模型浪潮，百度率先推出国产大模型产品，并不断迭代技术、推进落地应用。而经过一年半的「百模大战」，大模型进入了拼落地应用的阶段。
98310编辑于 2024-06-17 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.6K30编辑于 2023-10-10 - 来自专栏AIGC大模型应用
AI大模型企业应用实战(11)-Document Loader文件加载器机制
0 前言 loader机制让大模型具备实时学习的能力： 1 加载markdown 准备一个 md 文件： # 使用loader来加载markdown文本 from langchain_community.document_loaders
51600编辑于 2026-04-25 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 二、闭源大模型 闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.7K10编辑于 2024-10-09 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。 为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 训练三步骤 初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。
21.2K29编辑于 2023-11-22 - 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
1.9K11编辑于 2024-01-04 - 来自专栏AI科技评论
山海大模型发布：11年的积累，云知声如何翻越“山海”
5月24日，云知声发布的大模型，名字“山海”就是从中而来。 踏平“山海”，黄伟和云知声在大模型之路上求索，正带着人工智能走向2.0时代。 1 山海大模型 怎样在同类赛道里脱颖而出？ 而云知声对待大模型，不仅要“山海”在这些“基础课”中达到及格，更要让它能够在B端落地生根，产生实际的价值。 而这些能力，不只源于大模型自身的能力。 另一方面，在过去的11年里，深耕 To B 的云知声，也积累了大量行业的 Know How，以及核心高质量的训练数据。 诚然，大模型的发展路径不止一种，目前见到成果的路径，是如GPT采用的一样——更大的模型规模+更多的数据参数，做泛化大模型，再进行行业调优。 5月24日，云知声山海大模型暨成果发布会在北京举办，现场实测山海大模型十大核心能力，并发布一系列面向不同行业需求的产品应用。 北京金隅智造工场的发布会现场，台下座无虚席，现场宾客盈门。
60020编辑于 2023-08-08 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 task_type: 指定任务类型，如'CAUSAL_LM'，以确保LoRA适应正确应用到模型的相应部分。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结 本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解
97110编辑于 2024-08-13 - 来自专栏ClearSeve
C++11内存模型
最近看了极客时间——《现代C++实战三十讲》中的内存模型与Atomic一节，感觉对C++的内存模型理解还不是很清楚，看了后面的参考文献以及看了一些好的博客，算是基本了解了，根据参考文献整合一下。 Thread-1: Thread-2: x = 100; // A std::cout << x; // B C++11 C++11的内存模型共有6种，分四类。其中一致性的减弱会伴随着性能的增强。 参考链接 【1】C++11中的内存模型上篇 – 内存模型基础 【2】C++11中的内存模型下篇 – C++11支持的几种内存模型 【3】理解 C++ 的 Memory Order 【4】如何理解 C++ 11 的六种 memory order 【5】《现代C++实战三十讲》中的内存模型与Atomic
1K30编辑于 2022-02-11 - 来自专栏机器之心
国产推理大模型决战2025考研数学，看看谁第一个上岸？
数了一下时间轴大概是这样的： 2024 年 11 月 21 日，深度求索团队发布 DeepSeek-r1 模型； 2024 年 11 月 28 日，阿里通义团队发布 QwQ 模型； 2024 年 12 第二名则是来自智谱的 GLM-Zero-Preview，它以三门数学平均 138.70 的成绩仅次于 o1，成为国产大模型第一，且距第一名不到 3 分。第三名则是来自通义的 QwQ。 位于第二梯队（130 分以上）的模型有 GLM-zero-preview 和 QwQ，分别斩获 138.7 分和 137.0 分。 在数学一的评测过程中，GPT-o1、GLM-zero-preview、QwQ、DeepSeek-r1-lite 四款模型的得分相同。 这些测试结果一一看下来，我们可以发现：虽然 OpenAI 的 o1 在深度推理方面仍然是最强的，但国产推理大模型正在逐渐缩小与它的差距，此次智谱 GLM-zero-preview 和阿里 QwQ 的成绩说明了这一点
65310编辑于 2025-02-03 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 人类对齐（Human Alignment） ➢ 将大语言模型与人类的期望、需求以及价值观对齐 ➢ 基于人类反馈的强化学习对齐方法（RLHF） 大模型的研发已经成为一项系统工程 扩展定律（ Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升
55710编辑于 2025-03-15 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna BLOOM模型 BLOOM系列模型是由 Hugging Face公司的BigScience 团队训练的大语言模型。 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.3K10编辑于 2024-09-24 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十二）：Evaluate模型评估
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 本文重点介绍Evaluate模型评估。 二、Evaluate模型评估 2.1 概述 Transformers库中的evaluate API主要用于评估模型在特定数据集上的性能。 下面是一个使用Python和Transformers库进行模型评估的基本步骤，假设你已经有了一个预训练模型和相应的数据集处理器。 评估结果将包含各种指标，如准确率，具体指标还要取决于你的模型。
1.1K10编辑于 2024-08-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号