- 综合排序
- 最热优先
- 最新优先
- 来自专栏掘金安东尼
👾打开 RAG 对接大模型的黑盒 —— 9 大隐藏问题
前一段时间，各个大模型在争斗：谁能携带更长、更大的上下文 Prompt，比如 Kimi 说 200 万字，阿里通义千问又说自己能达 1000 万字；大家都知道 Prompt 很重要，但是 RAG 和 长的上下文文本携带 Prompt 给他介绍一下相关背景，然后大模型就有更专业的应答能力了。 实际操作会更复杂一点，但是原理就是这么一个原理，如图： 如上图，当我们问大模型：“五四运动的历史意义”，它可能泛泛而谈；此时，此时，我们引入了专业知识库（书、教材、论文文献等），然后通过提取文本形成区块 /模型没有回答问题/模型编造有害的或带有偏见的答案 接下来，一起揭秘：RAG 对接大模型的黑盒 —— 9 大问题 来源：Seven Failure Points When Engineering a Retrieval 总结 本篇提供了开发 RAG 通道 9 个痛点，并针对每个痛点都给了相应的解决思路。 RAG 是非常重要的专用检索+通用大模型的技术手段，在赋能模型、满足特定化场景中非常重要！
77810编辑于 2024-04-04 - 来自专栏媒矿工厂
LLMZip:使用大语言模型实现无损文本压缩
文章结果显示，利用最新的大语言模型进行文本压缩不仅可以提高压缩率，还能更准确地估计语言的熵，为未来文本处理技术的发展提供了新的可能性。 他们的方案仍然没有超过如BSC和ZPAQ等最先进的文本压缩算法。 因此，现在研究使用如LLaMA-7B这样的大语言模型是否可以获得更好的压缩结果和更精确的英语熵估计是很自然的。 本文展示了当使用LLaMA-7B大语言模型作为预测器时，使用text8数据集的1MB部分估计得出的熵的渐进上界为0.709比特/字符。这个数值与最先进的文本压缩算法之间仍存在一定差距。 这些发现表明，对于需要高效压缩的应用场景，如移动设备和网络通信，采用基于大语言模型的压缩方法可能是一个值得探索的方向。同时，这也提示在实际应用中应考虑不同压缩算法对不同文本长度的适应性。 结论 本文的结论指出，利用大语言模型（如LLaMA-7B）进行文本压缩能够显著提高压缩效率，并且可以达到比传统文本压缩算法（如BSC、ZPAQ和paq8h）更优的压缩比。
2.3K10编辑于 2024-05-11 - 来自专栏圆圆的算法笔记
利用大模型打造文本摘要训练新范式
这篇文章主要讨论的是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的生成式文本摘要训练范式。 这部分对比学习loss的计算方式如下： 4、大模型优化文本摘要 随着GPT等大模型的兴起，人们发现用大模型生成的摘要甚至比人工生成的质量还要好。 这篇文章提出了3种利用大模型生成训练样本的方式。 第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。 GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。 5、总结 大模型在摘要生成上的能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的生成器，取代人工标注结果，将成为未来的发展趋势。
3.4K50编辑于 2023-08-17 - 来自专栏DeepHub IMBA
9月大型语言模型研究论文总结
大型语言模型(llm)在今年发展迅速，随着新一代模型不断地被开发，研究人员和工程师了解最新进展变得非常重要。本文总结9-10月期间发布了一些重要的LLM论文。 (AnyMAL)，这是一个可以对多种输入模态信号(即文本、图像、视频、音频、IMU运动传感器)进行推理，并生成文本响应的统一模型。 ，在各种应用程序中具有无与伦比的文本生成能力。 SmartPlay中的每个游戏都独特地挑战了智能LLM代理的9个重要功能的子集，包括对象依赖性推理，提前计划，空间推理，从历史中学习和理解随机性。 为了更系统地开发和优化LM管道，论文提出了DSPy，这是一个编程模型，它将LM管道抽象为文本转换图，即命令式计算图，其中通过声明性模块调用LM。
76621编辑于 2023-10-23 卷土重来的大模型越狱 - 长文本才是那个罪人
最近一段时间，大模型的"长文本"，成了最炙手可热的词。 从20万token的Claude3，到200万字的Kimi。 再到通义千问的1000万字，360的500万字。 但在这一路狂奔之时，Anthropic，也就是造Claude的公司，今天，给长文本，泼了一盘冷水。 一句话总结就是： 直接利用长文本的特性，量大管饱，给大模型灌海量的有害问答对，从而实现越狱。 越狱其实跟Prompt有一点像，只不过视角不同，Prompt是人们挖掘大模型的潜力而做的提示词工程，是“积极使用者”的视角；而“越狱”则是使用Prompt让大模型做出违背开发者意志的行为，是“黑客攻击者 但是随着大模型和Agent的逐步结合，进入到生活中的方方面面，这样的例子和风险可能会越积越多，直到挑战到人类道德底线。 越狱这个词，在去年大模型疯狂做安全对齐之后，已经越来越少有人提起了，毕竟，难度真的越来越大。 但是这次，在长文本的军备竞赛之上，越狱这玩意，又卷土重来。
26900编辑于 2025-04-14- 来自专栏大模型应用
大模型应用：TTA文本驱动音频：MusicGen大模型参数调优+音频情绪可视化.23
一、引言 随着语音大模型的普及，不管是TTS还是ASR，都与音频处理有着紧密的联系，AIGC的蓬勃发展，也催生了文本到音频（Text-to-Audio, TTA）的落地场景，音乐生成也走进了我们的实际应用 基于传统的信号合成技术凭借完全可控、轻量化的优势，在场景化音效补充中不可替代；而声乐大模型也是雨后勃发，以 MusicGen 为代表的 TTA 大模型，则通过海量数据训练实现了文本意图驱动的创意生成。 今天我们围绕声音的本质深度解析音频合成的核心逻辑，深度的理解一套融合MusicGen 大模型（创意核心）+ 传统信号合成（场景增强）+ 多维度可视化（效果验证） 的音频生成系统，涵盖模型原理、参数配置、 核心采用MusicGen大模型从文本描述生成基础音乐，再通过分形噪声合成和数字混响等传统方法增强场景效果，实现了“AI创意生成+人工精细化调整”的协作模式。 TTA大模型生成核心音频 print("\n 步骤1: 初始化TTA大模型") tta_generator = TTAAudioGenerator()
43232编辑于 2026-02-20 - 来自专栏猫头虎博客专区
开源大模型DeepSeek.ai火遍全球:9条让DeepSeek颠覆通用大模型的事实
DeepSeek.ai火遍全球的几个事实: DeepSeek 不是套壳不是蒸馏美国的大模型。 虽然中国有些大模型是套壳和蒸馏的, 但 DeepSeek 不是。 一方面能够减少上下文漂移、逻辑更连贯, 也能减少一些重复中间步骤, 在数学、代码和文本摘要场景能提升效率。 CoT: Chain of thought (思维链)。 数据, 训练了 R1-Zero 模型, 探索了模型不依赖人类标注数据微调、自主推演的能力, 打开了新的思路。 比如轻量化设计把大钢板换成钢条 (类似通过稀疏的办法减少大模型的参数量); 涡轮增压利用废气能量增加空气供给, 提高燃烧效率; 精密制造, 使得发动机零部件的配合更加紧密, 从而减少能量损失; 等等。 基础大模型终将 commoditize (商品化), toB 领域看谁能将 LLM 更好和复杂的生产环节衔接好帮客户落地提高生产效率, toC 领域看谁有流量入口, 最终才会获取 AI 产业价值创造中最多的利润
1.1K10编辑于 2025-02-02 - 来自专栏数据分析与挖掘
LLM（大语言模型）解码时是怎么生成文本的？
use_cache (bool, optional, defaults to True) - 模型是否应该使用过去最后的键/值注意力（如果适用于模型）来加速解码。 在论文中，建议的值在3e-4到 9e-4之间，取决于模型的大小。 9Multinomial sampling 与总是选择概率最高的标记作为下一个标记的贪婪搜索相反，多项式抽样（也称为祖先抽样）根据模型给出的整个词汇的概率分布来随机选择下一个标记。 房 间 设 施 ： 住 9 楼 标 房 ， 朝 西 ， 马 路 上 的 喧 嚣 比 较'] [{'generated_text': '房间：建筑风格比较独 特 ， 墙 壁 由 黑 色 为 主 ， 给 人 草 坪 和 远 处 的 大 海 。
6.3K30编辑于 2023-04-27 - 来自专栏大数据文摘
LLM Accelerator：使用参考文本无损加速大语言模型推理
目前的大语言模型大多是自回归模型。自回归是指模型在输出时往往采用逐词输出的方式，即在输出每个词时，模型需要将之前输出的词作为输入。而这种自回归模式通常在输出时制约着并行加速器的充分利用。 在许多应用场景中，大模型的输出常常与一些参考文本有很大的相似性，例如在以下三个常见的场景中： 1. 检索增强的生成。 图1：大模型的输出与参考文本存在相似性的常见场景 基于以上观察，研究员们以参考文本与模型输出的重复性作为突破自回归瓶颈的着力点，希望可以提高并行加速器利用率，加速大语言模型推理，进而提出了一种利用输出与参考文本的重复性来实现一步输出多个词的方法 图2：LLM Accelerator 解码算法 具体来说，在每一步解码时，让模型先匹配已有的输出结果与参考文本，如果发现某个参考文本与已有的输出相符，那么模型很可能顺延已有的参考文本继续输出。 以上方法能够保证解码结果与基准方法完全一致，并可以提高每个解码步骤的输出词数，从而实现大模型推理的无损加速。
73030编辑于 2023-05-22 - 来自专栏Dance with GenAI
用阶跃星辰AI大模型批量识别图片中的文本
国内大模型公式阶跃星辰推出的Step-1V是一款千亿参数的多模态大模型， 该模型在多个领域表现出色，特别是在图像理解、多轮指令跟随、数学能力、逻辑推理和文本创作等方面。 多模态大模型在文本大模型的基础上，增加了多模输入能力，如语音、图像、视频等，并将它们融合在一起，以实现更全面、更准确的理解和推理。 step-1v该模型拥有强大的图像理解能力，暂时只开放文本和图像输入，且仅支持文本生成。上下文长度分别为8k和32k。 中输入提示词： 写一个Python脚本，完成一个OCR的任务，具体步骤如下： 打开文件夹：D:\downloads\世界人工智能大会WAIC2024展商名录 读取里面所有的png图片； 用step-1v-8k大模型将图片中的表格内容识别出来 step-1v-8k大模型的api_key为："XXX" step-1v-8k大模型的代码示例： # -*- coding: utf8 -*- import base64 import requests
1.1K10编辑于 2024-07-31 - 来自专栏人工智能前沿讲习
【强基固本】大模型的四种文本解码策略
在大型语言模型（LLM）的迷人世界中，模型架构、数据处理和优化常常成为关注的焦点。但解码策略在文本生成中扮演着至关重要的角色，却经常被忽视。 在这篇文章中，我们将通过深入探讨贪婪搜索和束搜索的机制，以及采用顶K采样和核采样的技术，来探索LLM是如何生成文本的。 我们将文本“I have a dream”输入到GPT-2模型中，并让它生成接下来的五个词（单词或子词）。 通过这些策略，我们可以更好地理解GPT-2是如何生成文本的。 人们常常误解认为像GPT-2这样的大型语言模型（LLM）直接生成文本。实际上并非如此。 最终，模型生成logits，这些logits通过softmax函数转换为概率。
84810编辑于 2024-06-05 - 来自专栏AI那点小事
算法提高 9-2 文本加密
问题描述 先编写函数EncryptChar,按照下述规则将给定的字符c转化（加密）为新的字符：”A”转化”B”，”B”转化为”C”，… …”Z”转化为”a”，”a”转化为”b”,… …, “z”转化为”A”，其它字符不加密。编写程序，加密给定字符串。 样例输出 与上面的样例输入对应的输出。 例：
52940发布于 2020-04-20 - 来自专栏Soul Joy Hub
ASR文本纠错模型
文本纠错任务是一项NLP基础任务，其输入是一个可能含有错误字词的句子，输出是一个正确的中文句子。ASR（语音识别）文本的错误类型很多，有多字、少字、错别字、同音近音字等等。 1. /github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 spm=1001.2014.3001.5502 上述模型考虑到了文本错字进行纠错，但在中文ASR的场景下，很多情况是由于中文拼音读音相同或相近导致的识别错误。 FastCorrect 上述模型都是在自编码模型上进行检错与纠错。也就是说，文本的输入输出序列长度是不变的，且输出纠错结果的token位置必须是与输入位置对齐的。 这就使得模型无法很好的纠正文本中多字、少字的错误。
3.3K20编辑于 2022-11-30 - 来自专栏开源服务指南
玩转大语言模型：文本生成和模型控制的革新之道 | 开源日报 0901
它允许您以一种简单直观的语法，基于 Handlebars 模板，实现文本生成、提示和逻辑控制的混合，产生清晰和易于理解的输出结构。 此外，Guidance 还提供了模型加速功能，可在处理多个生成或 LLM（大型语言模型）控制流语句时显着提高推理性能，从而提供更快的结果。 支持基于角色的聊天模型（如 ChatGPT ）的轻松集成。 与 Hugging Face 模型的轻松集成，包括提供模型加速、边界优化和正则表达式模式引导等功能。 Guidance 的目标是使文本生成和模型控制更加灵活、高效，为开发者和团队提供更多自由度和便利性。它适用于多种用途，包括自然语言生成、文本处理和实时流式处理。 允许用户自动生成数据集，用于训练模型。 提供训练和评估模型的功能。 Nougat 项目的出现极大地简化了学术文档处理的流程，为研究人员和开发者提供了更多便利。
50420编辑于 2023-09-14 - 来自专栏大模型应用
大模型应用：本地大模型部署中的Token效率优化与性能分析.9
引言 在大模型应用日益普及的今天，对模型交互过程中Token消耗的深入理解和有效管理变得至关重要。 Token作为大模型处理文本的基本单位，不仅直接关系到模型的响应速度和质量，更影响着计算资源的消耗和使用成本。 随着模型规模的不断扩大和应用场景的多样化，如何在不牺牲对话质量的前提下优化Token使用效率，已成为提升大模型应用经济性和实用性的关键问题。 对于Qwen1.5-1.8B-Chat模型，输入文本会被 tokenizer 转换成一系列的token ID，模型对这些token进行编码并生成相应的输出token。 助理回复："我是通义千问，一个由开发的大语言模型。我致力于帮助用户解答问题、提供信息和执行各种任务。"
53143编辑于 2026-02-06 - 来自专栏Python与算法之美
9，模型的评估
模块中的交叉验证相关方法可以评估模型的泛化能力，能够有效避免过度拟合。 二，分类模型的评估 模型分类效果全部信息： confusion_matrix 混淆矩阵,误差矩阵。 ? 模型整体分类效果： accuracy 正确率。通用分类评估指标。 模型对某种类别的分类效果： precision 精确率，也叫查准率。模型不把正样本标错的能力。“不冤枉一个好人”。 recall 召回率，也叫查全率。模型识别出全部正样本的能力。 三，回归模型的评估 回归模型最常用的评估指标有： r2_score(r方，拟合优度，可决系数) explained_variance_score(解释方差得分) ? ? 留出法 为了解决过拟合问题，常见的方法将数据分为训练集和测试集，用训练集去训练模型的参数，用测试集去测试训练后模型的表现。
96631发布于 2020-07-17 - 来自专栏人工智能极简应用
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
一、引言 上一篇对ChatTTS文本转语音模型原理和实战进行了讲解，第6次拿到了热榜第一。今天，分享其对称功能（语音转文本）模型：Whisper。 二、Whisper 模型原理 2.1 模型架构 Whisper是一个典型的transformer Encoder-Decoder结构，针对语音和文本分别进行多任务（Multitask）处理。 2.3 文本处理 Whisper文本处理：文本token包含3类：special tokens（标记tokens）、text tokens（文本tokens）、timestamp tokens（时间戳 ），基于标记tokens控制文本的开始和结束，基于timestamp tokens让语音时间与文本对其。 __": main() 这里采用argparse处理命令行参数，将mp3音频文件输入后，经过speech2text语音转文本函数处理，返回对应的文本，结果如下： 3.5 模型部署 如果想将该服务部署成语音识别
7.4K20编辑于 2024-08-13 - 来自专栏DeepHub IMBA
Chonkie：面向大语言模型的轻量级文本分块处理库
Chonkie是一个专为大语言模型（LLM）应用场景设计的轻量级文本分块处理库，提供高效的文本分割和管理解决方案。该库采用最小依赖设计理念，特别适用于现实世界的自然语言处理管道。 文本分块概述 文本分块是将大型文本文档分解为更小、更易于管理的文本片段的过程，这些片段可以有效应用于检索增强生成（RAG）应用程序和大语言模型处理。 所有大语言模型都有固定的上下文长度限制，这个限制决定了模型在单次推理中能够处理的最大token数量。文本分块技术能够将超长文档分解为符合模型处理能力的token片段。 其次是计算效率考量。 Token count: 9 神经网络分块器（Neural Chunker） 神经网络分块器采用深度学习模型来检测文本中的语义转换点，能够在主题或上下文发生显著变化的位置进行文档分割。 总结 Chonkie作为一个专业的文本分块处理库，为大语言模型应用提供了全面而高效的解决方案。
59711编辑于 2025-08-20 - 来自专栏程序员的知识天地
Python中9大时间序列预测模型
当有预测模型来预测未知变量时，在时间充当独立变量和目标因变量的情况下，时间序列预测就出现了。 预测值可以是潜在雇员的工资或银行账户持有人的信用评分。 模型的表示法涉及指定模型p的顺序作为AR函数的参数。 ）模型。 它结合了ARIMA模型，能够在季节性水平上执行相同的自回归、差分和移动平均建模。 SARIMAX方法还可用于使用外生变量对包含的模型进行建模，例如ARX，MAX，ARMAX和ARIMAX。
1.7K40发布于 2019-05-25 - 来自专栏GPUS开发者
在Jetson上玩转大模型Day9：建立EffectiveViT测试环境
後來受到NLP在Transformer技術的突破，對視覺技術產生非常大的衝擊，於是Google在2021年提出的ViT（Vision Transform）技術，對機器視覺上的圖片分類、物體檢測、語義分割等應用 ，產生非常大的變化，不僅在效能上有所突破，並且爲視覺與大語言模型相結合的多模態技術，開創新的格局。 本文章的重點，在於爲大家提供一個快速搭建測試不同ViT模型的實驗環境，因此需要尋找合適的模型來進行示範，爲此我們找到非常適合在邊緣AI設備上部署的EfficientViT模型。 opencv-python timm==0.6.13 tqdm torchprofile matplotlib git+https://github.com/zhijian-liu/torchpack.git@3a5a9f7ac665444e1eb45942ee3f8fc7ffbd84e5 目前項目提供三大類應用，我們可以到 https://github.com/mit-han-lab/efficientvit/tree/master/applications 看到cls.md、sam.md
36410编辑于 2024-11-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号