- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：稀疏注意力 vs 滑动窗口：大模型扩窗技术完全解析.58
而滑动窗口和稀疏注意力，就是给大模型扩宽视野的两个核心妙招：一个让大模型用放大镜看长文本，只看局部，快但短视，一个让大模型跳着看长文本，注重局部和重点，稍慢但全面。 强化“注意力机制” 当我们读这句话的时候，应该要有一种似曾相识的感觉，应该会不自觉地关联前面的内容，比如看到“扩窗技术”，会想起前文所说的“大模型视野有限”。 10 厘米，但移动放大镜就能看完整个画快，但看的时候不知道画的整体布局；关键特点： 计算快、省内存，手机/普通显卡都能运行；短视，比如第 1000 个字，看不到第 100 个字的关键信息；实现最简单，大模型入门级扩窗方案 扩窗技术的核心价值是：1. 整体意义：推动大模型更贴合实际应用扩窗技术降低了大模型的使用门槛，降低硬件成本、时间成本；拓展了大模型的应用场景，从短文本聊天到长文本处理；是大模型从理论阶段走向实际应用的关键技术之一。
26443编辑于 2026-03-27 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(2)
第3章 读懂ChatGPT的核心技术 基于Transformer的预训练语言模型 原始 Transformer 模型以编码器 ( Encoder )-解码器( Decoder )架构 编码器 ( Encoder 集成学习 GPT-4采用了集成技术来提高建模效率和优化模型的效果 算法 优点 缺点 线性算法 简单、运行高效和可解释性强 无法有效地模拟复杂的非线性关系，在很多场景中性能一般 非线性算法 效果比较好，能被广泛地应用于复杂的业务场景中 技术手段： ·双向多层的 Transformer ·大规模的无监督语料 ·掩码语言建模进行预训练 ·… 2、GPT 原创了 Zero-shot、 One-shot、 Few-shot 的推理方式。 3、GPT 原创性地使用了基于人工反馈的强化学习技术。 ChatGPT ·ChatGPT 补充了数十亿行的 GitHub 代码数据。 总结 大模型被广泛应用有以下几个前提 ·效果好 ·效率高 ·成本可控 目前，大模型在这几个方面还不够理想。
55710编辑于 2024-09-10 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升 需要设计对齐技术减少模型使用风险，并进一步提升模型性能 ➢ 工具使用：使用外部工具加强模型的弱点，拓展其能力范围
53710编辑于 2025-03-15 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 一、大语言模型的发展 大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。 1.6 当前的技术局限性 专业的领域，缺乏语料训练的情况下，GPT无法生成合适的回答。 可信度问题，缺乏答案的具体来源。 时效性问题，大模型底层训练数据是过往数据，再一次训练的成本很高。 把回报分数按排序依次传递，产生策略梯度，通过强化学习的方式更新PPO模型参数。 最后步骤2和步骤3可以循环迭代，可以不断完善模型。 最后，大语言模型作为一个被验证可行的方向，其“大”体现在数据集广泛，参数和层数大，计算量大，其价值体现在通用性上，有广泛的应用场景。
2.3K45编辑于 2023-05-30 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (2) 人妖之间的国度
描述原子弹原理的数学模型叫核裂变模型，它的核心是Langevin方程，是一个随机微分方程： 其中，η(t)为服从高斯分布的一个随机数。 借鉴这个思路，为了解决AI算法相关的海量数据计算问题，一个思路就是，用具有并发运算能力的硬件处理器，代替传统串行执行的CPU，来加速AI相关的简单重复运算，也就是找来一大批会打算盘的人民群众，减轻(当时 单条MMX 指令可以在2个指令周期内运算2个MMX寄存器的算术运算。 上图是《古墓丽影2》的截图。游戏海报中美丽的女战士劳拉，在游戏画面中变成了几何图形块的组合，色彩也非常丑陋。 这是因为，当时的计算机硬件，无法在1/30秒的时间中，基于较为完美的3D模型计算出屏幕上每一个像素的24-bit真彩RGB，妥协的方案是大大简化女战士劳拉的3D模型，用直线代替曲线，并用256色或16bit
50210编辑于 2023-09-25 - 来自专栏机器之心
华为鸿蒙4.0来了：大模型、AI画图能力兼备，还有「实况窗」
在 Office 等生产力工具之后，移动设备的操作系统也在快速进入大模型时代。 「今天我们已经进入了大模型的时代。华为盘古大模型将要助力鸿蒙生态，」华为常务董事、终端 BG CEO 余承东一开场就这样说道。 全面接入 AI 大模型 最近科技领域中最引人关注的是大模型，人们正在探索把类似 ChatGPT 的能力引入到各种应用上，这个落地速度比我们想象得要快。 基于 AI 大模型的文本生成是最新鸿蒙系统的一部分。随着大模型的成熟，小艺获得了全面升级，在交互、生产力提升和个性化服务三个方向上实现了增强。 首先是文本生成和总结能力。 从内到外的改进 除了围绕大模型的新技术，华为还在 Harmony OS 4 上围绕其他方面进行了一系列升级。
88850编辑于 2023-09-08 - 来自专栏Java技术
AI技术和大模型技术LLM
-CoderOilStation(程序员编程助手科技股份有限责任公司)AI技术和大模型技术LLM人工智能技术AI是美国高等院校哈佛大学的一种原型框架技术。AI技术西方和全球的部署研发和运用。 AI人工智能引领全球技术的更新和迭代监控不同的区域。相信知识不要服从于命运。美国麻省理工学院MIT会同步不同的领域模型驱动技术DDD(DomainDrivenDesign)。 领域模型驱动技术西方发达社会更注重不同想法和设计的美学应用。协会institute是定义技术标准的国际性知识传播组织。亚洲的工程师杰作Agent智能体应用于基本的搜索应用和广告商品推荐。 私有用户和公众的开放平台用户一小一大意味着平台的设计开始运行正常。大模型LLM(LargeLanguageModel)模型开放基础框架的模型搭建方式。很多的应用逻辑都是有编程范式和编程方法学。
22410编辑于 2026-03-08 - 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 所以最初在业务角度并不够重视，然而近期随着大模型技术的快速发展，我们也在逐步尝试将大模型在业务中落地，目前大模型在自然语言处理相关的业务里都取得了比传统模型更优的效果，下面详细介绍相关工作。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 Continue-Train为了进一步提升大模型在实际业务中的效果，同花顺与澜舟科技合作，引入孟子Mengzi 模型中的技术 ，针对大模型进行 Continue-Train 训练，让模型更适用于金融相关的 比如“用户问句相似问生成”这个任务，我们用到了知识蒸馏技术，将 10 层以上的大模型蒸馏成 3 层的小模型，性能上会有很大的提升，同时保证准确率不会有大幅下降的情况，GPT2-chinese-12 层单样本
3K20编辑于 2022-08-11 - 来自专栏京东技术
大模型技术及趋势总结
2. LLM的神经网络究竟在“想”什么 - 预测下一个单词 大模型的核心功能之一是预测文本序列中的下一个单词： •输入一个“部分”句子，如“cat sat on a”。 ◦泛化能力：大模型往往有更好的泛化能力，即在面对未见过的数据时，也能做出准确的预测和判断。 2）工具越多，能力越强： ◦功能扩展：为AI模型提供各种工具，可以使其功能得到显著扩展。 大模型可能生成听起来合理但实际上错误的信息，例如，生成一篇关于一个不存在的历史事件的文章，模型可能生成一篇关于“拿破仑在月球上宣布法国胜利”的文章，尽管这在现实中从未发生过。 2. 安全性问题 安全性问题涉及大模型可能遭受的恶意攻击和滥用，以及它们对用户隐私和数据安全的潜在威胁: 1. 对抗样本攻击：攻击者可能构造特殊的输入样本，导致模型做出错误的预测。 2. 多模态大模型是人工智能领域的重要进展，它们通过整合多种类型的数据，显著提升了模型的表现力和鲁棒性。这不仅使得人工智能系统能够更好地理解复杂的现实世界，也为未来的技术发展带来了无限可能。
89610编辑于 2024-07-04 大模型技术之Python基础
Python，作为人工智能时代的通用语言，正是连接大模型技术与商业价值的那座桥梁。用 Python 基础打底，不仅能让你学得更稳，更能让你在变现之路上跑得更快。 一、 穿透技术黑盒，从“调包侠”进阶为“应用构建者”在当前的大模型应用层开发中，Python 占据着绝对统治地位。 三、 驾驭 AI 生态工具，构建不可替代的职场护城河大模型技术迭代极快，今天流行 LangChain，明天可能就有新的框架出现。 结语AI 时代，机会属于那些既能仰望星空懂技术，又能脚踏实地写代码的人。Python 不是大模型学习的障碍，而是助飞的翅膀。 与其在概念的海洋中漂浮，不如沉下心来，用 Python 基础打底，构建起坚实的技术底座。当你用一行行代码将大模型转化为解决实际问题的产品时，你会发现，变现不再是焦虑的等待，而是水到渠成的必然。
14210编辑于 2026-03-20- 来自专栏码
最新最强，DeepSeek大模型v2的技术指标评测
最近，来自杭州的深度求索发布了第二代开源MoE模型DeepSeek-V2，从各项指标来看，都具备了领先水平，无论与开源模型，还是闭源模型对比，都处于第一梯队，是GPT-4, 文心4.0, Qwen1.5 72B, LLaMA3 70B等先进大模型的有力竞争对手。 编程能力 擅长编程任务和逻辑推理，适用于技术领域和需要复杂决策的应用场景。从官方把coder放在突出位置，就可以看出团队对自家大模型编程能力的自信。 技术进一步降低计算量，提高推理效率。 在当前主流的大模型服务中，我认为要具备以下几点才能称得上好模型：1. 开源，2. 价格低，3. 对中文的理解能力强，4. 在架构上支持更大的上下文窗口和更牛的性能。
8K10编辑于 2024-05-13 - 来自专栏大模型&AIGC
6种大模型微调技术
》（2）摘要内容微调是实际上利用大型预训练语言模型执行下游任务的首选方法。 ）V2版本：2023更新(1) 论文信息来自论文《GPT Understands, Too》，发表于2021年（2）摘要使用自然语言模式对预训练语言模型进行提示已被证明在自然语言理解（NLU）任务中有效 （2）摘要提示微调（Prompt Tuning），该方法仅对冻结的语言模型中的连续提示进行微调，极大地减少了训练时每个任务的存储和内存使用。 ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 尽管LoRA的可训练参数较少，训练吞吐量更高，并且与适配器不同，没有额外的推理延迟，但它在RoBERTa、DeBERTa、GPT-2和GPT-3上的模型质量上仍然与微调相当或更好。
2.7K00编辑于 2025-05-08 - 来自专栏架构之巅
大模型相关技术-初识RAG
简单来讲就是让用户的问题先经过一个提前预置的专业知识库，先检索知识库，将知识库的响应提交给大模型，让大模型总结输出，或者直接就输出了，不经过大模型总结。 为什么需要RAG 大模型在没有答案的情况下提供幻象数据，也就是胡说八道。 当用户需要特定的当前响应时，提供过时或通用的信息，模型提供的最新信息为训练模型时的数据。 图片 向量(vector)是在大语言模型、知识库交互、计算过程中的重要指标。它可以将文本和知识表示为数学向量，实现文本相似度计算、知识库检索和推理等功能。 是的，整体的流程是和es类似，哪思考一个问题为 什么不用es，反而用这么复杂的模型来实现呢？ - 哔哩哔哩 (bilibili.com) 我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
72641编辑于 2024-04-28 - 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
78120编辑于 2023-08-28 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
79310编辑于 2025-06-27 - 来自专栏xiaosen
大模型Prompt-Tuning技术入门
； 第二范式：基于「深度学习模型」的范式，如word2vec特征+LSTM等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少； 第三范式：基于「预训练模型+fine-tuning 2 Fine-Tuning(微调) Fine-Tuning属于一种迁移学习方式，在自然语言处理（NLP）中，Fine-Tuning是用于将预训练的语言模型适应于特定任务或领域。 4 Prompt-Tuning技术发展历程 Prompt-Tuning自GPT-3被提出以来，从传统的离散、连续的Prompt构建、走向面向超大规模模型的In-Context Learning、Instruction-tuning ）方法为每一个输入文本假设一个固定前缀提示，该提示表由神经网络参数化，并在下游任务微调时进行更新，整个过程中预训练的大模型参数被冻结。 Prompt Tuning特点： 优点： 大模型的微调新范式 模型参数规模大了之后，可以将大模型参数固定，指定附加参数来适配下游任务，而且适配性能基本和全参数微调相当。
1.5K30编辑于 2024-06-05 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型，作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
1.1K00编辑于 2025-07-01 - 来自专栏防止网络攻击
大模型技术的发展与实践
2、OpenAI大模型发展历程 关于OpenAI网上的介绍非常多了，大家应该也比较熟悉了，我这里不过多说明，这一小节重点讲一下GPT系列的发展历程。 ，或者有更先进、更厉害的模型出现了），下面图2是截止到2023年6月底国内外重要的大模型的发展脉络。 ChatGPT是一种特定的GPT应用，GPT是一种大模型，而大模型是一类具有大量参数的深度学习模型。 2、模型演示 Prompt：您好，请帮我解释一下什么是人工智能？ 五、总结与体会 我们对大模型相关的发展历史、openAI技术的发展脉络、当前国内外主流的大语言模型进行了简单的介绍，同时针对大模型区别于之前模型的核心技术原理进行了简单讲解，本章提到的预训练、指令微调、 未来大模型一定会革新所有的行业和场景的。读者需要对大模型相关的技术及行业、场景应用保持敏感，在工作中要将大模型相关的技术用起来。
2.5K10编辑于 2023-12-05 - 来自专栏运维开发王义杰
AI: 了解大模型降维技术
在大模型开发过程中，降维是一个关键的步骤。它可以帮助我们处理和分析高维数据，降低计算复杂度，提高模型性能。下面，我们将详细介绍降维的基本概念、常用方法以及在大模型开发中的应用。 2. 线性判别分析（LDA） 线性判别分析也是一种线性降维方法，它不仅考虑了数据的方差，还考虑了不同类别之间的可分性。LDA在分类任务中表现优异，但在数据的类别分布不均匀时可能效果不佳。 3. 三、降维在大模型开发中的应用 在大模型开发过程中，降维可以在以下几个方面发挥重要作用： 1. 2. 模型优化 降维可以帮助我们简化模型结构，降低模型的复杂度，减少过拟合的风险。特别是在处理高维数据时，降维能够提高模型的泛化能力，使其在测试集上的表现更加稳定。 3. 四、总结 降维是大模型开发过程中不可或缺的一部分。通过适当的降维技术，我们可以有效地处理高维数据，提高模型的性能和稳定性。
73510编辑于 2024-07-10 - 来自专栏xiaosen
大模型Prompt-Tuning技术进阶
超大规模模型进入新的纪元，而这些轰动世界的产物，离不开强大的Prompt-Tuning技术。 2. Instruction-Tuning(指令学习) 面向超大规模模型第二个Prompt技术是指令学习。 ,x2,y2,…xtest作为输入来让大模型补全输出ytest），思维链多了中间的中间的推导提示。 PEFT(大模型参数高效微调) 目前在工业界应用大模型主流方式：参数高效微调方法（Parameter-Efficient Fine-Tuning，PEFT），PEFT 方法仅微调少量或额外的模型参数，固定大部分预训练参数 2.
91610编辑于 2024-06-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号