- 综合排序
- 最热优先
- 最新优先
- 来自专栏媒矿工厂
LLMZip:使用大语言模型实现无损文本压缩
文章结果显示，利用最新的大语言模型进行文本压缩不仅可以提高压缩率，还能更准确地估计语言的熵，为未来文本处理技术的发展提供了新的可能性。 他们的方案仍然没有超过如BSC和ZPAQ等最先进的文本压缩算法。 因此，现在研究使用如LLaMA-7B这样的大语言模型是否可以获得更好的压缩结果和更精确的英语熵估计是很自然的。 本文展示了当使用LLaMA-7B大语言模型作为预测器时，使用text8数据集的1MB部分估计得出的熵的渐进上界为0.709比特/字符。这个数值与最先进的文本压缩算法之间仍存在一定差距。 表3 测量自10个批次100,000个标记的熵界均值与方差 这种大小的差异可能影响模型的性能评估，因为不同的数据量可能导致模型表现的不同。 结论 本文的结论指出，利用大语言模型（如LLaMA-7B）进行文本压缩能够显著提高压缩效率，并且可以达到比传统文本压缩算法（如BSC、ZPAQ和paq8h）更优的压缩比。
2.3K10编辑于 2024-05-11 - 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.5K30编辑于 2023-09-12 - 来自专栏圆圆的算法笔记
利用大模型打造文本摘要训练新范式
这篇文章主要讨论的是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的生成式文本摘要训练范式。 这部分对比学习loss的计算方式如下： 4、大模型优化文本摘要 随着GPT等大模型的兴起，人们发现用大模型生成的摘要甚至比人工生成的质量还要好。 这篇文章提出了3种利用大模型生成训练样本的方式。 第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。 GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。 5、总结 大模型在摘要生成上的能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的生成器，取代人工标注结果，将成为未来的发展趋势。
3.4K50编辑于 2023-08-17 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 根据任务的具体要求，可以以多种方式来实现文本分块，下面是针对不同需求分块方法： 按字符分块：此方法将文本分解为单个字符。它适用于需要细粒度文本分析的任务，例如字符级语言模型或某些类型的文本预处理。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? BERTScore：使用一个预先训练好的 BERT 模型来评估与参考文本相比生成文本的质量。它使用 BERT 嵌入来度量两个文本之间的语义相似度。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.2K10编辑于 2024-12-24 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 识别边界，不要认为大模型无所不能 大语言模型的能力确实令人惊叹，它们可以处理和解析大量的文本数据，生成有逻辑和连贯性的文本，甚至在某些任务上超越了人类的表现。 然而，这并不意味着我们应该盲目崇拜这些大模型，认为它们无所不能。 事实上，大模型仍然存在着许多局限性和边界。尽管它们可以处理大量的文本数据，但它们并不能像人类一样真正理解语言和语境的细微差别。
61410编辑于 2023-12-04 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.5K10编辑于 2023-10-13 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 文本分类任务原理基础：文本分类是自然语言处理的基础任务，要求模型将文本划分到预定义的类别中。这就像让一个孩子学会区分"水果"和"蔬菜"一样，模型需要理解文本的语义内容并做出正确判断。 预测接口标准化接口抽象：统一的预测接口，支持不同模型类型输入输出规范：文本输入，标签输出模型无关性：适用于传统机器学习模型和深度学习模型完整评估流程：import numpy as npfrom sklearn.metrics 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
42132编辑于 2026-02-07 卷土重来的大模型越狱 - 长文本才是那个罪人
最近一段时间，大模型的"长文本"，成了最炙手可热的词。 从20万token的Claude3，到200万字的Kimi。 再到通义千问的1000万字，360的500万字。 但在这一路狂奔之时，Anthropic，也就是造Claude的公司，今天，给长文本，泼了一盘冷水。 一句话总结就是： 直接利用长文本的特性，量大管饱，给大模型灌海量的有害问答对，从而实现越狱。 越狱其实跟Prompt有一点像，只不过视角不同，Prompt是人们挖掘大模型的潜力而做的提示词工程，是“积极使用者”的视角；而“越狱”则是使用Prompt让大模型做出违背开发者意志的行为，是“黑客攻击者 但是随着大模型和Agent的逐步结合，进入到生活中的方方面面，这样的例子和风险可能会越积越多，直到挑战到人类道德底线。 越狱这个词，在去年大模型疯狂做安全对齐之后，已经越来越少有人提起了，毕竟，难度真的越来越大。 但是这次，在长文本的军备竞赛之上，越狱这玩意，又卷土重来。
26900编辑于 2025-04-14- 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家，并行工作以处理查询。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户Proxy代理；二是防火墙，它为模型提供了保护层。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.1K11编辑于 2024-04-03 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ 但这样的模型推理成本会很高，就像现在 GPT-4 读一篇论文要 10 美金，只有高净值客户和探索科学前沿的场景才消费得起。 推理性能优化的空间更大，因为 Transformer 的结构，很多场景下有效算力只有 10%~20%。如果做 batching，时延和带宽又会成为 trade-off。 我认为，大模型本身的智商固然重要，大模型与外部环境交互的能力和大模型之间协作的组织结构才能让大模型走得更远。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
63230编辑于 2023-09-01 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家，并行工作以处理查询。 通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
86610编辑于 2024-04-12 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 示例代码：通过知识蒸馏和量化压缩文本分类器 在基本了解了各种压缩技术后，让我们看一个如何在Python中进行压缩的实际示例。 这是必要的，因为模型期望输入文本以特定的方式表示。 在这里，我根据每个批次的最长示例填充样本。这使批次能够表示为PyTorch张量。
48510编辑于 2024-09-24 - 来自专栏大模型应用
大模型应用：TTA文本驱动音频：MusicGen大模型参数调优+音频情绪可视化.23
一、引言 随着语音大模型的普及，不管是TTS还是ASR，都与音频处理有着紧密的联系，AIGC的蓬勃发展，也催生了文本到音频（Text-to-Audio, TTA）的落地场景，音乐生成也走进了我们的实际应用 基于传统的信号合成技术凭借完全可控、轻量化的优势，在场景化音效补充中不可替代；而声乐大模型也是雨后勃发，以 MusicGen 为代表的 TTA 大模型，则通过海量数据训练实现了文本意图驱动的创意生成。 今天我们围绕声音的本质深度解析音频合成的核心逻辑，深度的理解一套融合MusicGen 大模型（创意核心）+ 传统信号合成（场景增强）+ 多维度可视化（效果验证） 的音频生成系统，涵盖模型原理、参数配置、 核心采用MusicGen大模型从文本描述生成基础音乐，再通过分形噪声合成和数字混响等传统方法增强场景效果，实现了“AI创意生成+人工精细化调整”的协作模式。 TTA大模型生成核心音频 print("\n 步骤1: 初始化TTA大模型") tta_generator = TTAAudioGenerator()
43232编辑于 2026-02-20 - 来自专栏数据分析与挖掘
LLM（大语言模型）解码时是怎么生成文本的？
use_cache (bool, optional, defaults to True) - 模型是否应该使用过去最后的键/值注意力（如果适用于模型）来加速解码。 在论文中，建议的值在3e-4到 9e-4之间，取决于模型的大小。 在论文中 ，建议值从3e-4到2e-3不等，取决于模型的大小。 草 坪 和 远 处 的 大 海 。 但是， n-gram 惩罚使用时必须谨慎，如一篇关于 纽约 这个城市的文章就不应使用 2-gram 惩罚，否则，城市名称在整个文本中将只出现一次！
6.3K30编辑于 2023-04-27 - 来自专栏大数据文摘
LLM Accelerator：使用参考文本无损加速大语言模型推理
目前的大语言模型大多是自回归模型。自回归是指模型在输出时往往采用逐词输出的方式，即在输出每个词时，模型需要将之前输出的词作为输入。而这种自回归模式通常在输出时制约着并行加速器的充分利用。 在许多应用场景中，大模型的输出常常与一些参考文本有很大的相似性，例如在以下三个常见的场景中： 1. 检索增强的生成。 图1：大模型的输出与参考文本存在相似性的常见场景 基于以上观察，研究员们以参考文本与模型输出的重复性作为突破自回归瓶颈的着力点，希望可以提高并行加速器利用率，加速大语言模型推理，进而提出了一种利用输出与参考文本的重复性来实现一步输出多个词的方法 以上方法能够保证解码结果与基准方法完全一致，并可以提高每个解码步骤的输出词数，从而实现大模型推理的无损加速。 在检索增强实验中，研究员们使用检索模型对每个查询返回10个最相关的文档，然后拼接到查询后作为模型输入，将这10个文档作为参考文本。
73130编辑于 2023-05-22 - 来自专栏Dance with GenAI
用阶跃星辰AI大模型批量识别图片中的文本
国内大模型公式阶跃星辰推出的Step-1V是一款千亿参数的多模态大模型， 该模型在多个领域表现出色，特别是在图像理解、多轮指令跟随、数学能力、逻辑推理和文本创作等方面。 多模态大模型在文本大模型的基础上，增加了多模输入能力，如语音、图像、视频等，并将它们融合在一起，以实现更全面、更准确的理解和推理。 step-1v该模型拥有强大的图像理解能力，暂时只开放文本和图像输入，且仅支持文本生成。上下文长度分别为8k和32k。 中输入提示词： 写一个Python脚本，完成一个OCR的任务，具体步骤如下： 打开文件夹：D:\downloads\世界人工智能大会WAIC2024展商名录 读取里面所有的png图片； 用step-1v-8k大模型将图片中的表格内容识别出来 step-1v-8k大模型的api_key为："XXX" step-1v-8k大模型的代码示例： # -*- coding: utf8 -*- import base64 import requests
1.1K10编辑于 2024-07-31 - 来自专栏人工智能前沿讲习
【强基固本】大模型的四种文本解码策略
在大型语言模型（LLM）的迷人世界中，模型架构、数据处理和优化常常成为关注的焦点。但解码策略在文本生成中扮演着至关重要的角色，却经常被忽视。 我们将文本“I have a dream”输入到GPT-2模型中，并让它生成接下来的五个词（单词或子词）。 通过这些策略，我们可以更好地理解GPT-2是如何生成文本的。 人们常常误解认为像GPT-2这样的大型语言模型（LLM）直接生成文本。实际上并非如此。 最终，模型生成logits，这些logits通过softmax函数转换为概率。 、B、C和D，具有以下概率： (A) = 30% (B) = 15% (C) = 5% (D) = 1% 在顶K采样中，词元D会被忽略，算法将以以下概率输出： A 60%的时间 B 30%的时间 C 10%
84810编辑于 2024-06-05 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 10. Haystack Haystack 是由 deepset 开发的一个开源框架，专门帮助企业构建生产级的 大模型应用、RAG（检索增强生成）流水线以及复杂的搜索应用。 GLMagent除了基础智能体生成能力外，智谱推出的GLMAgent还支持通过API调用实现文本对话、文生图、联网搜索等多样化功能。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
12.1K30编辑于 2025-03-24 - 来自专栏量子位
清华大模型人才遭哄抢！盘点5大学术重镇10大产业玩家
国内大模型力量百家争鸣：5大学术重镇，10大产业巨头 清华不是这轮浪潮中唯一的宠儿。随着AIGC和类ChatGPT产品相关话题日益高涨的热度，国内大模型人才市场好不热闹。 为此，量子位梳理了百家争鸣的国内产学研界大模型重镇，代表性机构和代表性人物，共计5支学术界团队和10大产业界力量，排名不分先后。当然极有可能挂一漏万，欢迎在评论区中补充。 △太乙根据提示次“小桥流水人家，水彩”生成的画作 接下来聊聊10家极具代表性的产业界力量： 01：百度 提起百度的NLP技术，最被人熟知的是文心大模型。 澜舟科技给予Transformer的“孟子”大模型，走轻量化路线，仅包含10亿参数量，可处理多语言、多模态数据，同时支持多种文本理解和文本生成任务。 10：浪潮信息 去年年中，浪潮信息推出了4个技能大模型（SkillModel），分别为对话模型“源晓问”、问答模型“源晓搜”、翻译模型“源晓译”、古文模型“源晓文”，它们4个都基于“源1.0”大模型生成
1.9K20编辑于 2023-02-24 - 来自专栏Soul Joy Hub
ASR文本纠错模型
文本纠错任务是一项NLP基础任务，其输入是一个可能含有错误字词的句子，输出是一个正确的中文句子。ASR（语音识别）文本的错误类型很多，有多字、少字、错别字、同音近音字等等。 1. /github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 spm=1001.2014.3001.5502 上述模型考虑到了文本错字进行纠错，但在中文ASR的场景下，很多情况是由于中文拼音读音相同或相近导致的识别错误。 FastCorrect 上述模型都是在自编码模型上进行检错与纠错。也就是说，文本的输入输出序列长度是不变的，且输出纠错结果的token位置必须是与输入位置对齐的。 这就使得模型无法很好的纠正文本中多字、少字的错误。
3.3K20编辑于 2022-11-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号