- 综合排序
- 最热优先
- 最新优先
- 来自专栏NewBeeNLP
LLM4Rec：当推荐系统遇到大语言模型
X=\left\{[C L S], T_n, T_{n-1}, \ldots, T_1\right\} Embedding层：有4种emb形式，目的是从自然语言和推荐模型两个角度充分表征输入 Token FT OR NOT FT 上文是从『Where』的角度对 LLM4RS 工作进行整理，下面从『How』的角度看，大模型如何应用。 ； Quadrant-2：和 Quadrant-1 比较像，不过使用了更大的语言模型，功能也不再局限于仅提供语义特征；比如更多的世界知识、推理能力、总结能力； Quadrant-4：通过对 LLM 的推荐数据训练 ；是否需要 ID-index 探索更适合语言模型的 ID 索引和建模策略 避免大模型偏见： 问题：由于训练数据的不平衡等因素导致的大模型输出存在某种偏好或倾向，进而引发一系列伦理和社会问题 Can ChatGPT A Fairness Evaluation Benchmark for Recommendation with Large Language Model 大模型安全问题： GPT4 technical
5.1K11编辑于 2024-01-17 - 来自专栏IT从业者张某某
大语言模型-01-语言模型发展历程-03-预训练语言模型到大语言模型
简介 1.1语言模型发展历程 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型。 从语言建模到任务求解，这是科学思维的一次重要跃升。 语言模型的发展历程如下： 神经语言模型（Neural Language Models,NLM） 预训练语言模型（Pre-trained Language Model，PLM） 预训练语言模型是一种在大规模文本数据上进行无监督学习得到的语言模型 语言模型任务是根据给定的上文预测下一个单词，通过这种方式，模型可以学习到语言的统计规律和语义表示。 通常需要对于结构进行修改，或者进行大规模微调 尽管早期研究工作较多，但是没有工作能够通过统一途径同时解决上述代表性挑战 大语言模型的到来 海量无标注文本数据预训练得到的大型预训练语言模型 通常指参数规模达到百亿 、千亿甚至万亿的模型 经过大规模数据预训练的数十亿参数的高性能模型也可以称为大语言模型 与传统语言模型构建的差异 极大地扩展了模型参数和数据数量 需要更为复杂、精细的模型训练方法 模型需要能够学习更多的数据知识
83800编辑于 2025-03-15 - 来自专栏产品笔记
大语言模型(LLM)
最近，作为代表性的大语言模型应用ChatGPT展现出了超强的人机对话能力和任务求解能力，对于整个AI研究社区带来了重大影响。01 — 什么是大语言模型？ 目前，大语言模型取得如此巨大的成就，总结了五方面原因：模型、数据和计算资源的扩展；高效稳定的训练手段；语言模型能力诱导；对齐训练，将大语言模型与人类偏好对齐；工具使用（潜在发展方向）； ---- 02 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 （4）文本生成：大型语言模型可以使用先前学习的模式和结构来生成新的文本。例如，可以使用大型语言模型来生成诗歌、短故事、或者以特定主题的文章。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。
1.9K50编辑于 2023-09-09 - 来自专栏muller的测试分享
Mistral 大语言模型
它由 Meta Platforms 和 Google DeepMind 的前员工于 2023 年 4 月创立。 在线 Chat 服务 Le Chat开源大语言模型 Mistral MixtralMistral 大语言模型Mistral-7BMistral-7B 大型语言模型 (LLM) 是一个预训练的生成文本模型 r = llm.invoke('请为google编写web自动化测试用例，使用pytest page object设计模式，断言使用hamcrest') debug(r)Mixtral 大语言模型 Mixtral 大语言模型介绍这是一种具有开放权重的高质量稀疏专家混合模型 (SMoE)。 它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。特别是，它在大多数标准基准测试中匹配或优于 GPT3.5。Mixtral 的特点可以优雅地处理 32k 令牌的上下文。
55810编辑于 2024-09-03 - 来自专栏机器学习/数据可视化
MySQL必学4大语言
MySQL必学4种语言 本篇文章记录的是MySQL中常用的4种语言： DDL DDL，data defination language，指的是数据定义语言，其主要作用是创建数据库，对库表的结构进行删除和修改等操作 主要是对数据库中的表记录进行操作的语言，包含往表中插入数据、表中数据的更新、表的删除等 表中插入数据 表中数据更新 删除表 表中插入数据 -- 将字段名和字段的值一一对应起来，可以只插入部分字段 -- ，主要是对数据库中的登录和用户的权限进行控制的语言，包含 用户登录MySQL数据库 修改用户密码及忘记密码如何解决 创建普通用户及授权 撤销权限revoke 查看权限及删除用户 全部命令 1. ：指定从哪里开始显示，显示多少行 简写：limit 5, 4：表示从第5行开始，显示4行数据 select name, age from user limit 5; -- 只显示5行数据 select name, age from user limit 5 offset 4; -- 从第4（offset）行开始显示5(limit)行数据 select name, age from user limit
54940编辑于 2023-08-25 - 来自专栏IT从业者张某某
大语言模型-1.1-语言模型发展历程
简介 本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术 1.1语言模型发展历程 大模型的能力 范围广泛的世界知识： 例如，了解历史事件如2024年巴黎奥运会的详细情况，包括参赛国家、主要比赛项目和获奖者的信息；或者解释科学理论，比如量子计算的基本原理及其对未来计算机技术的影响 这里没有继续问，一问一个不吱声 大语言模型的百花齐放时代 论文地址: https://arxiv.org/abs/2303.18223 https://hub.baai.ac.cn/view 通常需要对于结构进行修改，或者进行大规模微调 尽管早期研究工作较多，但是没有工作能够通过统一途径同时解决上述代表性挑战 大语言模型的到来 海量无标注文本数据预训练得到的大型预训练语言模型 通常指参数规模达到百亿 、千亿甚至万亿的模型 经过大规模数据预训练的数十亿参数的高性能模型也可以称为大语言模型 与传统语言模型构建的差异 极大地扩展了模型参数和数据数量 需要更为复杂、精细的模型训练方法 模型需要能够学习更多的数据知识
64800编辑于 2025-03-15 - 来自专栏云云众生s
为什么大语言模型这么大？
语言模型的参数数量指的是标记预测权重中浮点数的数量。一个80亿参数的语言模型有80亿个浮点参数。 这通常意味着，一个700亿参数的语言模型能够处理一个80亿参数的语言模型无法处理的任务，或者一个700亿参数的语言模型能够比一个80亿参数的语言模型更好地完成任务。 量化是一种压缩形式，你将模型的浮点权重转换为较小的数字，例如将一个具有140GB float16参数（16位浮点数）的700亿参数模型转换为35GB的4位参数（Q4）。 当你阅读模型量化级别，例如Q4或fp16/float16时，你可以这样理解： 首字母 数字 含义 Q 或 I 4 四位整数 f、fp 或 float 16 16位IEEE 754浮点数（半精度） 使用量化是在拥有的视频内存 但是，如果您处理的是 80 亿参数的 Q4 量化或更低量化的模型，那么将模型权重塞入 Docker 镜像中会很好用。 超过该阈值，您需要将模型分解成更小的块 就像上游模型那样。
60200编辑于 2025-01-25 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 但是通过扩展参数规模、数据规模和计算算力，大语言模型的能力显著超越了小型语言模型的能力。 有趣的是，这种通过扩展所带来的性能提升通常显著高于通过改进架构、算法等方面所带来的改进。 年提出了一种可选的扩展法则，旨在指导大语言模型充分利用给定的算力资源进行优化训练。
65310编辑于 2025-03-15 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 一、大语言模型的发展 大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。 ，第一阶段是无监督预训练，基于海量的文本集通过Transformer学习一个大容量的语言模型，第二阶段基于标注数据进行参数微调。 最后，大语言模型作为一个被验证可行的方向，其“大”体现在数据集广泛，参数和层数大，计算量大，其价值体现在通用性上，有广泛的应用场景。 大语言模型能够发展，主要还是模型具备很好的并行扩展性，随着数据量和计算量的增加，主要挑战在工程和调优上。
2.4K45编辑于 2023-05-30 - 来自专栏AI
GPT与大语言模型
GPT与大语言模型：从GPT-1到GPT-4的演变近年来，随着人工智能技术的飞速发展，尤其是自然语言处理（NLP）领域，大语言模型（Large Language Models, LLMs）取得了显著进展 其中，GPT系列模型（Generative Pre-trained Transformer）作为最具代表性的架构之一，从GPT-1到GPT-4的演变过程，展示了AI在理解和生成自然语言方面的巨大飞跃。 4. GPT-4：更强的能力与多模态能力GPT-4简介GPT-4是目前最新的GPT模型，于2023年发布。 特别是在与人类的交互中，GPT-4能够生成更加自然、流畅、并且有逻辑性的回应。5. 总结与未来展望从GPT-1到GPT-4，GPT系列模型经历了从基础的语言理解到强大的生成能力的逐步演变。 通过学习GPT模型的发展历程，你将能够理解大语言模型如何在自然语言处理任务中不断突破技术瓶颈，并应用于实际场景。随着未来技术的不断进步，GPT系列将继续为我们提供更强大的语言生成和理解能力。
95710编辑于 2025-02-10 - 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
背景 LangChain 是一个用于开发由大型语言模型（Large Language Model，LLM）驱动的应用程序的框架。 旨在简化使用大型语言模型的应用程序。 作为一个语言模型集成框架，LangChain 的用例与一般语言模型的用例有很大的重叠。 重叠范围包括文档分析和总结摘要, 代码分析和聊天机器人。 Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好 &吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强
95110编辑于 2025-08-04 - 来自专栏云云众生s
什么是大语言模型？
什么是大语言模型？ 关于大语言模型是什么、为什么它们被使用、不同类型以及未来可能涉及的 LLM（大语言模型）应用的基础知识。 翻译自 What Is a Large Language Model? LLM 代表大语言模型（Large Language Model）。当然，这引出了一个非常重要的第二个问题，“大语言模型是什么？” 在本文中，我们将提供大语言模型的定义，并讨论 LLM 的含义。 解释大语言模型 大语言模型的定义：LLM 是一种以其巨大的规模为特征的语言模型，能够包含数十亿个参数，构建复杂的人工神经网络。 语言表示（Language Representation） 语言表示模型使用深度学习技术和变换器（产生生成式 AI 的架构），适用于自然语言处理。这使得语言可以转化为视觉媒体，如写作。 4. GPT-4 就是一个例子，它是 GPT 的新型多模态版本。
1.3K10编辑于 2024-03-28 - 来自专栏机器学习
介绍大语言模型（LLM）
大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 大语言模型的应用领域大语言模型在多个领域展现了巨大的应用潜力：文本生成：大语言模型可以生成高质量的文本，用于写作辅助、新闻生成、小说创作等。例如，GPT-3可以根据提示生成连贯的故事情节和文章。 大语言模型的优势和挑战大语言模型具有许多优势，但也面临一些挑战：优势高效的学习能力：大语言模型能够从海量数据中学习语言模式，捕捉复杂的语言关系和结构。 未来的发展方向随着技术的不断进步，大语言模型在未来有望实现更多的突破：模型压缩和优化：通过模型压缩和优化技术，降低大语言模型的计算资源需求，推动其在移动设备和资源受限环境中的应用。
1.4K00编辑于 2024-07-30 - 来自专栏AI工程落地
大语言模型--评价指标
困惑度 衡量语言建模能力的重要指标，通过计算给定文本序列概率的倒数的几何平均，来衡量模型对于语言的建模能力。基础公式如下： 其中，u代表整个句子，T是文本u的单词总数。 P(u)是模型对文本u的建模概率， 代表文本中的第 个词元，( |<) 则表示在给定前 − 1 个词元的条件下第 个词元出现的概率。 变换之后的公式如下： BLEU 是一种再机器翻译领域广泛采用的评估指标，通过度量模型生成的文本和参考文本之间的词汇相似度来评估生成质量。 比如rouge-2度量模型生成的文本和“参考”之间匹配的“bigrams”的数量，示例如下： Rouge-L 度量模型生成的文本和“参考”之间的最长公共子序列（LCS），用来衡量两个序列的相似性 准确率 计算模型预测正确的样本数占总样本数的比例，计算步骤如下： 1、假如答案是四个选项，模型会生成每个选项对应的概率。
1.4K10编辑于 2024-06-11 - 来自专栏机器学习AI算法工程
医疗大语言模型：CareGPT
CareGPT (关怀GPT)是一个医疗大语言模型，同时它集合了数十个公开可用的医疗微调数据集和开放可用的医疗大语言模型，包含LLM的训练、测评、部署等以促进医疗LLM快速发展。 特性： 添加ChatGPT fine-tuning实现，推荐有额度的朋友在ChatGPT上进行微调实验； 支持ChatGPT-Next-Web部署微调的模型； 支持Gradio部署微调的模型； 支持LLaMA 、LLaMA-2全系列模型训练； 支持LoRA、QLoRA，包括后续PPO、DPO强化学习训练； 支持模型与知识库结合问答； 开源了超过60个医院科室的导诊材料信息； 开发了支持GPT-4/ChatGPT Medbase_data openmedlab/Awesome-Medical-Dataset 奖励训练数据 MedicalGPT/reward Zhongjing/rw comparison_gpt4_ query 列的内容将会和 prompt 列拼接作为模型输入。history 列应当是一个列表，其中每个元素是一个字符串二元组，分别代表用户请求和模型答复。
95210编辑于 2024-06-08 - 来自专栏数据派THU
独家 | 大语言模型教程
另一方面，思维和语言是相互关联的，正如GPT4所呈现的那样，一个足够强大的语言模型仍然可以表现出某种思维能力。在接下来的内容中，让我们来探索如何使大语言模型（LLM）智能化的科学创举。 上下文学习 GPT3表明，扩大语言模型的规模可以大大提高了与任务无关的、少样本性能。 模型大小 在TriviaQA上，GPT3的性能随着模型大小的增长而平稳增长，它表明语言模型会随着其容量的增加而吸收更多的知识。单样本和少样本的表现比零样本的性能有更加显著的提高。 语言模型的数据集大小已经迅速扩大，例如CommonCrawl 数据集中包含了近1万亿个单词，在无需对同一序列更新两次的情况下，用它足以训练最大的模型。 InstructGPT 通过使用来自人类反馈的强化学习（RLHF）对语言模型进行微调，实现语言模型与用户在通用任务上的意图一致。这种技术利用人类的偏好作为奖励信号来微调模型。
95131编辑于 2023-11-09 - 来自专栏IT从业者张某某
大语言模型-01-语言模型发展历程-01
简介 本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术 1.1语言模型发展历程 大模型的能力 范围广泛的世界知识： 例如，了解历史事件如2024年巴黎奥运会的详细情况，包括参赛国家、主要比赛项目和获奖者的信息；或者解释科学理论，比如量子计算的基本原理及其对未来计算机技术的影响 这里没有继续问，一问一个不吱声 大语言模型的百花齐放时代 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型。 从语言建模到任务求解，这是科学思维的一次重要跃升。 语言模型的发展历程如下： 统计语言模型（Statistical Language models,SLM） ➢ 主要建立在统计学习理论框架，通常使用链式法则建模句子序列 ➢ 例如： n-gram 语言模型 通常这种方式可以结合不同阶数估计方法的优势 但仍然不能从根本解决数据稀疏性问题 神经语言模型（Neural Language Models,NLM） 在自然语言处理领域，NLM 指神经语言模型
50100编辑于 2025-03-15 - 来自专栏学习
【机器学习】---大语言模型
引言：开启大语言模型的奇幻旅程 近年来，人工智能（AI）领域正在经历一场前所未有的技术革命，而其中最耀眼的明星莫过于大语言模型（Large Language Models, LLMs）。 本文将以系统且易懂的方式，深入探讨大语言模型的基本原理、广泛应用场景、技术最新进展，并带您从零开始构建和部署一个属于自己的语言模型。准备好了吗？让我们一起揭开大语言模型的神秘面纱。 第一部分：什么是大语言模型？ 1. 走近大语言模型 大语言模型并非传统意义上的“语言学家”，而是通过深度学习技术训练的大规模神经网络，其核心目标是理解、生成并操控自然语言。 第二部分：大语言模型的应用场景 大语言模型的应用范围广阔，无论是文本生成、智能问答，还是代码生成、语言翻译，它都扮演着重要角色。以下是几个代表性的应用领域： 1. 多语言翻译：跨文化桥梁 借助大语言模型的强大能力，可以实现高质量的多语言翻译，为跨文化交流和国际化业务提供技术支持。 第三部分：如何构建和部署一个大语言模型？ 1.
69910编辑于 2025-01-13 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 它的训练集包含了45种自然语言和12种编程语言，1.5TB的预处理文本转化为了350B的唯一token。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom
1.1K10编辑于 2024-03-29 - 来自专栏AI工程落地
大语言模型--开源数据集
Huggingface排行榜默认数据集 Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 本文主要介绍Huggingface开源大模型排行榜上默认使用的数据集以及如何搭建自己的大模型评估工具 搭建大模型评估工具 1.下载数据集到本地 from datasets import load_dataset (arxiv.org) 数据集地址：Rowan/hellaswag · Datasets at Hugging Face 语言：English 介绍：用于测试模型的常识推理能力，比如问题是：”一个苹果掉下来 是一个包含8.5k的小学数学题，主要用于测试大模型的数学和逻辑推理能力。 ：English 介绍：OpenAI发布的测试大模型编程能力的数据集，编程问题是用Python编写的。
2.3K20编辑于 2024-09-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号