- 综合排序
- 最热优先
- 最新优先
- 来自专栏媒矿工厂
LLMZip:使用大语言模型实现无损文本压缩
文章结果显示，利用最新的大语言模型进行文本压缩不仅可以提高压缩率，还能更准确地估计语言的熵，为未来文本处理技术的发展提供了新的可能性。 实验结果：通过在不同的文本数据集上测试，验证了LLaMA-7B模型压缩性能的有效性，特别是在text8数据集上获得了优异的压缩比。 他们的方案仍然没有超过如BSC和ZPAQ等最先进的文本压缩算法。 因此，现在研究使用如LLaMA-7B这样的大语言模型是否可以获得更好的压缩结果和更精确的英语熵估计是很自然的。 本文展示了当使用LLaMA-7B大语言模型作为预测器时，使用text8数据集的1MB部分估计得出的熵的渐进上界为0.709比特/字符。这个数值与最先进的文本压缩算法之间仍存在一定差距。 结论 本文的结论指出，利用大语言模型（如LLaMA-7B）进行文本压缩能够显著提高压缩效率，并且可以达到比传统文本压缩算法（如BSC、ZPAQ和paq8h）更优的压缩比。
2.3K10编辑于 2024-05-11 - 来自专栏圆圆的算法笔记
利用大模型打造文本摘要训练新范式
这篇文章主要讨论的是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的生成式文本摘要训练范式。 这部分对比学习loss的计算方式如下： 4、大模型优化文本摘要 随着GPT等大模型的兴起，人们发现用大模型生成的摘要甚至比人工生成的质量还要好。 这篇文章提出了3种利用大模型生成训练样本的方式。 第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。 GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。 5、总结 大模型在摘要生成上的能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的生成器，取代人工标注结果，将成为未来的发展趋势。
3.4K50编辑于 2023-08-17 - 来自专栏大模型应用
大模型应用：构建智能大模型运维体系：模型健康度监测系统实践.8
引言 大型语言模型已成为各行各业的核心基础设施。从客户服务到内容创作，从代码生成到科学研究，大模型正深度融入企业的核心业务流程。 传统的系统监控工具如Zabbix、Prometheus等虽然能监控基础硬件资源，但无法深入理解大模型服务的特殊行为模式，无法感知模型推理的内在质量，更无法预测服务性能的潜在风险。 今天我们将以模型健康度监测系统为例，深度剖析现代大模型运维平台的设计理念、技术实现与创新亮点。通过详细的流程分析、架构解读和实践场景说明，为构建智能化的模型运维体系提供完整的实践参考和技术路线图。 模型监控：显示模型推理速度、内存占用、吞吐量等图表。性能分析：显示性能评分趋势、请求统计、生成统计等。告警信息：显示当前的告警列表。模型交互：提供文本生成界面。4.3 数据交互流程1. ): """智能性能评分算法 - 基于大模型服务特性的专业评分体系""" score = 100 # 基准分数 # CPU性能 (权重: 25%) - 考虑到大模型推理对CPU
34543编辑于 2026-02-05 卷土重来的大模型越狱 - 长文本才是那个罪人
最近一段时间，大模型的"长文本"，成了最炙手可热的词。 从20万token的Claude3，到200万字的Kimi。 再到通义千问的1000万字，360的500万字。 但在这一路狂奔之时，Anthropic，也就是造Claude的公司，今天，给长文本，泼了一盘冷水。 一句话总结就是： 直接利用长文本的特性，量大管饱，给大模型灌海量的有害问答对，从而实现越狱。 越狱其实跟Prompt有一点像，只不过视角不同，Prompt是人们挖掘大模型的潜力而做的提示词工程，是“积极使用者”的视角；而“越狱”则是使用Prompt让大模型做出违背开发者意志的行为，是“黑客攻击者 但是随着大模型和Agent的逐步结合，进入到生活中的方方面面，这样的例子和风险可能会越积越多，直到挑战到人类道德底线。 越狱这个词，在去年大模型疯狂做安全对齐之后，已经越来越少有人提起了，毕竟，难度真的越来越大。 但是这次，在长文本的军备竞赛之上，越狱这玩意，又卷土重来。
26900编辑于 2025-04-14- 来自专栏token的技术分享
基于.NET8的AI大模型管理
此外，AIDotNet API还支持多种AI大模型，包括OpenAI、星火大模型、Claudia、智谱AI、Ollama、通义千问（阿里云）、AzureOpenAI以及腾讯混元大模型，满足了用户对各种AI 模型的需求。 基于.NET Core 8实现使用EntityFrameworkCore对于数据库操作。基于MiniApis提供WebAPI服务。 功能实现 支持用户管理 支持渠道管理 支持token管理 提供数据统计预览 支持日志查看 支持系统设置 支持接入外部Chat链接 支持支付宝购买账号余额 AI大模型支持列表 OpenAI （支持function ） 星火大模型（支持function） Claudia 智谱AI Ollama 通义千问（阿里云） AzureOpenAI（支持function） 腾讯混元大模型 支持数据库 SqlServer 配置类型
36110编辑于 2024-05-28 - 来自专栏大模型应用
大模型应用：TTA文本驱动音频：MusicGen大模型参数调优+音频情绪可视化.23
一、引言 随着语音大模型的普及，不管是TTS还是ASR，都与音频处理有着紧密的联系，AIGC的蓬勃发展，也催生了文本到音频（Text-to-Audio, TTA）的落地场景，音乐生成也走进了我们的实际应用 基于传统的信号合成技术凭借完全可控、轻量化的优势，在场景化音效补充中不可替代；而声乐大模型也是雨后勃发，以 MusicGen 为代表的 TTA 大模型，则通过海量数据训练实现了文本意图驱动的创意生成。 今天我们围绕声音的本质深度解析音频合成的核心逻辑，深度的理解一套融合MusicGen 大模型（创意核心）+ 传统信号合成（场景增强）+ 多维度可视化（效果验证） 的音频生成系统，涵盖模型原理、参数配置、 核心采用MusicGen大模型从文本描述生成基础音乐，再通过分形噪声合成和数字混响等传统方法增强场景效果，实现了“AI创意生成+人工精细化调整”的协作模式。 TTA大模型生成核心音频 print("\n 步骤1: 初始化TTA大模型") tta_generator = TTAAudioGenerator()
43232编辑于 2026-02-20 - 来自专栏MavenTalk
开源社区大模型目前面临的8大瓶颈问题
但面对商业化的ClosedAI和OpenAI等语言模型，还存在一些瓶颈。 数据量不足，预训练数据有限 开源社区很难获得大规模高质量的数据集来进行模型预训练，导致其模型质量无法与业内巨头相提并论。 数据量的不足直接限制了模型的表达能力和推理能力。 算力资源有限，GPU/TPU数量相对较少 开源社区几乎没有足够的GPU/TPU来训练超大规模的模型参数，很难进行长时间的预训练，无法匹敌巨头公司拥有的算力优势。算力的缺乏是开源模型质量提升的硬限制。 商业化受限，收入有限，难以持续投入 开源社区很难直接通过模型商业化来获得持续的财务支持，长期投入会面临资金短缺问题。 模型泛化、可解释性与安全性等方面有待提高 开源模型的可解释性和安全性还需要加强，部署时存在不确定性，这也是限制其应用的一个因素。
58630编辑于 2023-09-06 - 来自专栏数据分析与挖掘
LLM（大语言模型）解码时是怎么生成文本的？
use_cache (bool, optional, defaults to True) - 模型是否应该使用过去最后的键/值注意力（如果适用于模型）来加速解码。 在论文中 ，建议值从3e-4到2e-3不等，取决于模型的大小。 8Contrastive search 对比搜索解码策略是在2022年的论文A Contrastive Framework for Neural Text Generation https://arxiv.org 草 坪 和 远 处 的 大 海 。 但是， n-gram 惩罚使用时必须谨慎，如一篇关于 纽约 这个城市的文章就不应使用 2-gram 惩罚，否则，城市名称在整个文本中将只出现一次！
6.3K30编辑于 2023-04-27 - 来自专栏大数据文摘
LLM Accelerator：使用参考文本无损加速大语言模型推理
目前的大语言模型大多是自回归模型。自回归是指模型在输出时往往采用逐词输出的方式，即在输出每个词时，模型需要将之前输出的词作为输入。而这种自回归模式通常在输出时制约着并行加速器的充分利用。 在许多应用场景中，大模型的输出常常与一些参考文本有很大的相似性，例如在以下三个常见的场景中： 1. 检索增强的生成。 图1：大模型的输出与参考文本存在相似性的常见场景 基于以上观察，研究员们以参考文本与模型输出的重复性作为突破自回归瓶颈的着力点，希望可以提高并行加速器利用率，加速大语言模型推理，进而提出了一种利用输出与参考文本的重复性来实现一步输出多个词的方法 图2：LLM Accelerator 解码算法 具体来说，在每一步解码时，让模型先匹配已有的输出结果与参考文本，如果发现某个参考文本与已有的输出相符，那么模型很可能顺延已有的参考文本继续输出。 以上方法能够保证解码结果与基准方法完全一致，并可以提高每个解码步骤的输出词数，从而实现大模型推理的无损加速。
73130编辑于 2023-05-22 - 来自专栏Dance with GenAI
用阶跃星辰AI大模型批量识别图片中的文本
国内大模型公式阶跃星辰推出的Step-1V是一款千亿参数的多模态大模型， 该模型在多个领域表现出色，特别是在图像理解、多轮指令跟随、数学能力、逻辑推理和文本创作等方面。 多模态大模型在文本大模型的基础上，增加了多模输入能力，如语音、图像、视频等，并将它们融合在一起，以实现更全面、更准确的理解和推理。 step-1v该模型拥有强大的图像理解能力，暂时只开放文本和图像输入，且仅支持文本生成。上下文长度分别为8k和32k。 大模型将图片中的表格内容识别出来，保存为excel表格，表格名称为图片文件名，保存在同一个文件夹中； 注意： 每一步都要输出信息到屏幕上 直接使用requests库与stepfun API进行交互，绕过 step-1v-8k大模型的api_key为："XXX" step-1v-8k大模型的代码示例： # -*- coding: utf8 -*- import base64 import requests
1.1K10编辑于 2024-07-31 - 来自专栏人工智能前沿讲习
【强基固本】大模型的四种文本解码策略
在大型语言模型（LLM）的迷人世界中，模型架构、数据处理和优化常常成为关注的焦点。但解码策略在文本生成中扮演着至关重要的角色，却经常被忽视。 在这篇文章中，我们将通过深入探讨贪婪搜索和束搜索的机制，以及采用顶K采样和核采样的技术，来探索LLM是如何生成文本的。 我们将文本“I have a dream”输入到GPT-2模型中，并让它生成接下来的五个词（单词或子词）。 通过这些策略，我们可以更好地理解GPT-2是如何生成文本的。 人们常常误解认为像GPT-2这样的大型语言模型（LLM）直接生成文本。实际上并非如此。 最终，模型生成logits，这些logits通过softmax函数转换为概率。
84810编辑于 2024-06-05 - 来自专栏老张的求知思考世界
全链路压测(8)：构建三大模型
梳理核心链路的一个重要目的是获得流量模型。但在全链路压测中，除了流量模型，业务模型和数据模型一样重要。这篇文章，为大家介绍如何构建这三大模型。 下图是一个常见的电商双11大促时候的业务场景模型图，我以这个思维导图为例来做分析说明。 峰值流量模型 预估的流量模型要以峰值流量场景来预估，否则很可能由于错误的预估导致准备不足而致使大促期间线上出现问题。这不仅是一个技术和监控的问题，还要综合考虑本次大促期间业务目标以及业务转化率的因素。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。 ，确认以下信息： 是否有热点数据相关的操作：比如说所有用户秒杀同一件商品； 不同类型数据处理逻辑有差异时，需通过测试数据多样化提高性能测试代码覆盖率； 缓存数据：要确认是否有缓存，缓存大小为多少（排除大key
1.5K30编辑于 2022-05-17 - 来自专栏Soul Joy Hub
ASR文本纠错模型
文本纠错任务是一项NLP基础任务，其输入是一个可能含有错误字词的句子，输出是一个正确的中文句子。ASR（语音识别）文本的错误类型很多，有多字、少字、错别字、同音近音字等等。 1. /github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 spm=1001.2014.3001.5502 上述模型考虑到了文本错字进行纠错，但在中文ASR的场景下，很多情况是由于中文拼音读音相同或相近导致的识别错误。 FastCorrect 上述模型都是在自编码模型上进行检错与纠错。也就是说，文本的输入输出序列长度是不变的，且输出纠错结果的token位置必须是与输入位置对齐的。 这就使得模型无法很好的纠正文本中多字、少字的错误。
3.3K20编辑于 2022-11-30 - 来自专栏开源服务指南
玩转大语言模型：文本生成和模型控制的革新之道 | 开源日报 0901
它允许您以一种简单直观的语法，基于 Handlebars 模板，实现文本生成、提示和逻辑控制的混合，产生清晰和易于理解的输出结构。 此外，Guidance 还提供了模型加速功能，可在处理多个生成或 LLM（大型语言模型）控制流语句时显着提高推理性能，从而提供更快的结果。 支持基于角色的聊天模型（如 ChatGPT ）的轻松集成。 与 Hugging Face 模型的轻松集成，包括提供模型加速、边界优化和正则表达式模式引导等功能。 Guidance 的目标是使文本生成和模型控制更加灵活、高效，为开发者和团队提供更多自由度和便利性。它适用于多种用途，包括自然语言生成、文本处理和实时流式处理。 允许用户自动生成数据集，用于训练模型。 提供训练和评估模型的功能。 Nougat 项目的出现极大地简化了学术文档处理的流程，为研究人员和开发者提供了更多便利。
50420编辑于 2023-09-14 - 来自专栏MavenTalk
8家国产AI大模型开放使用，人手一个大模型的时代来临
什么是大模型 先做个扫盲，AI大模型是“人工智能预训练大模型”的简称。语言模型是一种人工智能模型，它被训练成理解和生成人类语言。 这8家分别是谁 百度（文心一言） 抖音（云雀大模型） 智谱AI（GLM大模型） 中科院（紫东太初大模型） 百川智能（百川大模型） 商汤（日日新大模型） MiniMax（ABAB大模型） 上海人工智能实验室 （书生通用大模型） 书生通用大模型与云雀大模型我确实是第一次听说，国内大模型再现当年百团「团购」大战的身影，截至2023年7月,中国累计已经有130个大模型问世。 MiniMax（ABAB大模型） https://www.sensetime.com/ 商汤（日日新大模型） https://intern-ai.org.cn 上海人工智能实验室（书生通用大模型） 至于这8家的AI大模型的能力如何，交给你来评判吧。不过至今为止，依旧是无人能挑战ChatGPT的霸主地位。 祝你早日用上AI大模型，帮助自己提升工作、生活、学习效率。
3.1K40编辑于 2023-09-06 - 来自专栏人工智能极简应用
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
一、引言 上一篇对ChatTTS文本转语音模型原理和实战进行了讲解，第6次拿到了热榜第一。今天，分享其对称功能（语音转文本）模型：Whisper。 二、Whisper 模型原理 2.1 模型架构 Whisper是一个典型的transformer Encoder-Decoder结构，针对语音和文本分别进行多任务（Multitask）处理。 2.3 文本处理 Whisper文本处理：文本token包含3类：special tokens（标记tokens）、text tokens（文本tokens）、timestamp tokens（时间戳 ），基于标记tokens控制文本的开始和结束，基于timestamp tokens让语音时间与文本对其。 __": main() 这里采用argparse处理命令行参数，将mp3音频文件输入后，经过speech2text语音转文本函数处理，返回对应的文本，结果如下： 3.5 模型部署 如果想将该服务部署成语音识别
7.4K20编辑于 2024-08-13 - 来自专栏DeepHub IMBA
Chonkie：面向大语言模型的轻量级文本分块处理库
Chonkie是一个专为大语言模型（LLM）应用场景设计的轻量级文本分块处理库，提供高效的文本分割和管理解决方案。该库采用最小依赖设计理念，特别适用于现实世界的自然语言处理管道。 文本分块概述 文本分块是将大型文本文档分解为更小、更易于管理的文本片段的过程，这些片段可以有效应用于检索增强生成（RAG）应用程序和大语言模型处理。 文档分块的必要性分析 在大语言模型应用中，将整个文档作为单一输入存在多个限制因素。 首先是上下文窗口限制。 所有大语言模型都有固定的上下文长度限制，这个限制决定了模型在单次推理中能够处理的最大token数量。文本分块技术能够将超长文档分解为符合模型处理能力的token片段。 其次是计算效率考量。 总结 Chonkie作为一个专业的文本分块处理库，为大语言模型应用提供了全面而高效的解决方案。
59711编辑于 2025-08-20 - 来自专栏YO大数据
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
目录导航 1 什么是Embedding 2 为什么使用Embedding 3 数据向量化的处理流程 4 Embedding实战 1 什么是Embedding 在大模型中，"embedding"指的是将某种类型的输入数据 切块 对于大型文档，直接处理可能会因为模型的输入限制（如Token数量限制）而变得不可行。在这种情况下，需要将大文档分割成更小的部分。这些部分应该尽可能保持语义的完整性，例如按段落或章节切分。 切块的目的是确保每块文本的大小适合模型处理，同时尽量减少上下文信息的丢失。 3. 嵌入 在切块后，每个文本块将被转换为数值向量，即通过OpenAI的embedding API进行嵌入。 当我们使用向量化模型（如OpenAI的text-embedding-ada-002模型）将文本转化为向量后，每个向量的维度表示某种语义特征，向量中的值反映了相应特征的强度。 Tiktoken 是 OpenAI 开发的一个库，用于从模型生成的文本中计算 token 数量。
14.6K21编辑于 2024-05-25 - 来自专栏大模型应用
大模型应用：文本转语音实践：Tacotron2预训练模型和SpeechT5模型应用.19
模型的判断指标不管是简单的工具还是复杂的大模型，我们都能通过这三个问题快速判断它的水平，这也是后续理解技术的关键：表述的清晰度：能不能读对，清晰度是最基础的要求：比如“银行（háng）”不能读成“银行（ 16kHz采样率的音频使用稀疏矩阵乘法优化计算支持并行化的批量推理架构特点： 单层GRU网络双softmax输出层（分别处理高8位和低8位）支持16-bit音频生成2.3 文本处理器文本处理器将原始文本转换为模型可处理的音素序列 应用实例import torchimport torchaudioimport soundfile as sfdef simple_tts_demo(): print("第一步：检查TTS大模型的可行性 SpeechT5 整体架构SpeechT5 采用 “编码器 - 解码器” 的端到端架构，核心目标是实现从文本序列到语音声学特征的直接映射，整体分为三大核心组件：文本处理器（SpeechT5Processor ）：负责文本的预处理（分词、字符转 ID、长度归一化等），将人类可读的文本转换为模型可理解的张量（Tensor）格式，是连接自然语言和模型输入的桥梁。
31032编辑于 2026-02-16 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 更为厉害的是，它能够驾驭多种数据类型，无论是文本这种富含语义信息的类型，图像这种视觉性的内容，还是声音这种带有听觉特征的类型，通用大模型都能游刃有余地处理，进而实现对不同模态数据跨模态的理解与生成。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
76301编辑于 2024-12-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号