- 综合排序
- 最热优先
- 最新优先
- 来自专栏磐创AI技术团队的专栏
拥有LLM模型
介绍如何使用LoRA对GIT-LLM模型进行微调。 测试和讨论已开发的模型。 调查由GIT的图像编码器嵌入的“图像嵌入”是否指示与“文本嵌入”相同空间中的特定字符。 大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 不仅仅满足于OPT，还将引入更强大的LLM，LLaMA和MPT。 整合这两个模型可以以与OPT类似的方式完成。 回顾损失，明显可以看出使用LLaMA2和MPT作为LLM的模型显示出更为令人满意的减少。让我们也观察一下推断的结果。 关于第一张图片，对于所有模型，表情似乎比OPT-350m更自然。
58110编辑于 2024-06-06 6个开源的最佳本地运行大语言模型（LLM）工具
本文为你精选出 6 款适合本地运行 LLM（如 DeepSeek R1）的优秀工具。 它支持来自多个模型提供方的 gguf 格式文件，例如 DeepSeek R1[4]、Phi-3[5]、Mistral[6]和 Gemma[7] 等。 如上方示意图所示，本文使用的是 Meta-Llama-3.1-8B-Instruct.Q6_K.llamafile，其中 Q6 表示量化等级。 在前文提到的所有开源本地 LLM 工具中，Ollama 拥有最多的贡献者，且具备更强的可扩展性。 6. 更多信息 山行AI希望本文对你有所帮助，由笔者翻译整理自：https://medium.com/@amosgyamfi/the-6-best-llm-tools-to-run-models-locally-eedd0f7c2bbd
3.2K10编辑于 2026-03-13- 来自专栏产品笔记
大语言模型(LLM)
目前的大语言模型采用与小模型类似的Transformer架构和预训练目标（如 Language Modeling），与小模型的主要区别在于增加模型大小、训练数据和计算资源。 目前，大语言模型取得如此巨大的成就，总结了五方面原因：模型、数据和计算资源的扩展；高效稳定的训练手段；语言模型能力诱导；对齐训练，将大语言模型与人类偏好对齐；工具使用（潜在发展方向）； ---- 02 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 指令微调通过收集指令格式的实例来微调大模型，大大增强了模型遵循人类指令的能力，能够让模型更好地泛化到未知任务。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。
1.8K50编辑于 2023-09-09 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
最近在学习OCI的生成式AI相关方面的内容，对相关内容做一下整理，内容涉及LLM基础、LLM架构、提示（Promot）、微调（fine-tuning）、各种模型、OCI的生成式AI、RAG，及向量数据库等等 什么是LLM？ LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 注意，LLM中第一个L是指模型参数的数量。 按照此时的候选词汇概率高低，LM大概率会选择“狗”填入括号中，如果句子变为“我写信给农场，希望他们送我一个宠物，他们送给我一只小（）”。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 下面是一个模型分布图，注意纵轴，参数的数量是成10倍增长的。 以上内容是关于LLM基础及架构的一个简单介绍，后续会介绍提示及微调等方面的内容。感谢关注MySQL解决方案工程师。
55210编辑于 2024-06-14 - 来自专栏xiaosen
LLM主流开源代表模型
LLM主流开源大模型介绍 1 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） 2 ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 2.2 模型结构 ChatGLM-6B 采用了 prefix decoder-only 的 transformer 模型框架，在输入上采用双向的注意力机制，在输出上采用单向注意力机制。 小结 主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
63710编辑于 2024-06-04 - 来自专栏机器学习
介绍大语言模型（LLM）
介绍大语言模型（LLM）近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著的进展，其中大语言模型（Large Language Models，简称LLM）成为了引人注目的焦点。 大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 自Transformer架构提出以来，多个大规模语言模型相继问世，如：GPT（生成预训练变换器）系列：由OpenAI推出的GPT系列模型是最具代表性的LLM之一。 未来的发展方向随着技术的不断进步，大语言模型在未来有望实现更多的突破：模型压缩和优化：通过模型压缩和优化技术，降低大语言模型的计算资源需求，推动其在移动设备和资源受限环境中的应用。
1.3K00编辑于 2024-07-30 - 来自专栏ceshiren0001
MCP零基础学习（6）｜与大型语言模型（LLM）的深度融合
本期内容将进一步深入，聚焦于 MCP 与大型语言模型（LLM）的深度融合，探索如何通过协议与模型的协同，释放更强大的智能潜力。 本文将围绕三大关键实践方向展开：本地模型集成（如 Ollama、vLLM）、在线模型扩展（如 OpenAI、DeepSeek），以及提示词模板的高效设计。 通过具体示例与实战技巧，帮助开发者全面掌握 MCP 与 LLM 的集成方法，构建更灵活、可控且高性能的 AI 应用系统。 一、MCP与LLM集成架构设计1.1 整体架构概述MCP与LLM的集成通常采用客户端-服务器架构：+----------------+ +----------------+ +--- API调用LLM后端：实际执行模型推理的组件二、本地模型接入：Ollama/vLLM + MCP2.1 Ollama集成方案环境准备首先安装必要的依赖：# 安装Ollamacurl -fsSL https
52100编辑于 2025-08-22 2025年6月AI技术前沿：隐私保护模型与LLM偏见缓解
隐私保护生成模型技术AAAI/ACM SIGAI博士联盟参与者Debalina Padariya的研究聚焦隐私保护生成模型。 其工作涉及在保护数据隐私的前提下构建生成模型，并探索该技术在多项目中的应用潜力。 大型语言模型偏见缓解Mahammed Kamruzzaman的研究致力于识别和缓解大型语言模型（LLMs）中的偏见问题，特别关注社会人口统计与文化维度上的偏见表现形式，并提出相应 mitigation
22910编辑于 2025-09-04- 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 2、源码部署： 安装Node.js 支持Ollama的WebUI非常多，笔者体验过热度第一的那个WebUI(github.com/open-webui/…%EF%BC%8C%E9%9C%80%E8%A6% 81Docker%E6%88%96%E8%80%85Kubernetes%E9%83%A8%E7%BD%B2%EF%BC%8C%E6%9C%89%E7%82%B9%E9%BA%BB%E7%83%A6%EF github.com/ollama-webu…%EF%BC%8C%E9%9D%9E%E5%B8%B8%E8%BD%BB%E9%87%8F%E7%BA%A7%EF%BC%8C%E5%8F%AA%E9%9C%80%E8%A6%
7K00编辑于 2024-05-24 - 来自专栏xiaosen
LLM-AI大模型介绍
大语言模型 (LLM) 背景 大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数，并在大规模数据集上进行训练。 这些模型通过堆叠多个注意力层来提高其处理复杂语言任务的能力。 随着模型参数数量的增加，LLM展现出了小模型所不具备的特殊能力，如上下文学习能力和逐步推理能力。 这些能力的涌现使得LLM在多项任务中取得了显著的效果提升。 LLM的训练过程通常包括预训练和微调两个阶段。 LLM的应用产生了深远的影响，例如ChatGPT等模型展现出了强大的人机对话能力和任务求解能力，这对整个AI研究社区产生了重大影响。 nice, day, today} reference: {today, is, a, nice, day} ☕️ 其中{today, is, a, nice, day}匹配，所以匹配度为5/6
65310编辑于 2024-04-20 - 来自专栏DeepHub IMBA
开源大型语言模型(llm)总结
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面： 模型规模的增长：LLM的规模越来越大，参数数量显著增加。 此外，还有一些压缩和加速技术，可以在保持性能的同时减少模型的计算资源消耗。 理解和应对偏见：LLM的发展也关注了如何更好地理解和应对模型中的偏见。 位于阿布扎比的技术创新研究所(TII)宣布了其开源大型语言模型(LLM)——Falcon-40B。 GPT J gpt - j6b是使用Ben Wang的Mesh Transformer JAX训练的Transformer 模型。“GPT-J”表示模型的类别，“6B”表示可训练参数的个数。 除了以上6个比较好的开源大语言模型外，还有各种不同版本，所以HuggingFace创建了一个排行榜（leaderboard） 有兴趣的可以看看： https://huggingface.co/spaces
76542编辑于 2023-08-30 什么是大语言模型（LLM）
大语言模型（LargeLanguageModel，简称LLM）是一种旨在理解和生成人类语言的人工智能模型。 1.定义与基本原理大语言模型是一种基于深度学习的自然语言处理模型。其“大”主要体现在两个方面：参数规模大：模型包含数十亿至数千亿的可调节参数，用以学习语言数据中的细微模式和复杂关系。 模型通过遮盖或预测文本中缺失的词来学习语言的统计规律、语法和语义。微调让模型适应特定的下游任务或领域。 4.常见的大语言模型例子以下是一些具有代表性和影响力的大语言模型：模型名称开发机构主要特点GPT系列OpenAI最具代表性的自回归语言模型系列。 5.面临的挑战与局限尽管能力强大，大语言模型的发展仍面临若干显著挑战：巨大的资源消耗：训练顶级LLM需要庞大的计算集群和巨额电力，导致极高的经济成本和环境足迹，这使得其研发主要集中于少数大型科技机构。
77310编辑于 2026-03-03- 来自专栏喔家ArchiSelf
解读大模型（LLM）的token
大型语言模型(LLM)不能真正理解原始文本，相反，文本被转换为称为token的数字表示形式，然后将这些token提供给模型进行处理。 token 在区块链中代表是通证或者代币，那么token在LLM中代表的是什么呢？ 1. 什么是token？ 在 LLM 中，token代表模型可以理解和生成的最小意义单位，是模型的基础单元。 3. token 对LLM 的影响 关于token的数量如何影响模型的响应，常常感到困惑的是，更多的token是否使模型更加详细而具体呢？ tokenization是将输入和输出文本分割成更小的单元，由 LLM AI 模型处理的过程。 6. token 相关技术的展望 虽然token传统上代表文本单位，但是token的概念正在超越语言要素的范畴。
20.6K51编辑于 2023-10-08 - 来自专栏产品笔记
大语言模型（LLM）LangChain介绍
LangChain是一个利用大语言模型的能力开发各种下游应用的开源框架，它的核心理念是为各种大语言模型应用实现通用的接口，简化大语言模型应用的开发难度，主要的模块示意图为： Index：提供了各类文档导入 Models：提供了对各类大语言模型的管理和集成，除闭源的大语言模型 API 接口外，还提供对多个开源模型仓库中开源大语言模型的集成接口，以及在云上部署的大语言模型接口。 ，如问答任务提供了 Question Answering Chain，文本摘要任务提供了 Summarization Chain，文本生成 SQL 任务提供了 SQL Chain，数学计算任务提供了 LLM 选择合适的 Chain 以及模型推理模式来完成任务。 Agents 通过 SQL chain 查询账号余额，通过调用网页查询接口的 LLM 查找实时黄金价格，通过调用 LLM Math 计算能买到的黄金数量完成最终的任务，这一系列的逻辑操作均可以在 Agents
1.2K30编辑于 2023-09-09 LLM 系列（六）：模型推理篇
引言 大型语言模型（LLM）的训练过程虽然耗资巨大且备受关注，但其真正的价值实现，却发生在 推理（Inference） 这一最终环节。 推理是将训练好的模型应用于实际，根据 用户输入（Prompt）生成响应的过程 。无论是驱动一个实时聊天机器人，还是进行离线文档分析，高效、可靠的推理是所有 LLM 应用的基石。 现代主流的生成式 LLM（如 GPT 系列）本质上都是 自回归（Autoregressive） 模型。 这种循序渐进的特性是 LLM 能够生成连贯、上下文相关文本的基础。但它也带来了固有的算法性挑战：随着序列的增长，模型在下一步需要处理的上下文也随之增加，导致计算量不断累积，速度越来越慢。 对量化模型的优化可能落后于专用框架，单请求低延迟场景非其最强项。 高并发、吞吐量敏感的在线服务。 TensorRT-LLM 压榨 NVIDIA GPU 的极致性能。
3.4K24编辑于 2025-08-04LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 自适应学习率，动量优化 大多数LLM训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练 • 成本效益：找到最优的规模与成本平衡点 • 研发规划：指导下一代模型的设计方向 哲学层面思考 6、最新发展与前沿趋势 强化学习训练的突破 技术创新前沿 未来发展趋势 7、总结 技术本质理解 • 统计学习的力量
1.5K30编辑于 2025-07-02- 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 - 来自专栏机器学习炼丹术
LLM6 | The AI Revolution in Medicine：GPT 4
6 第六章的标题是"So Much More: Math, Coding, and Logic"，由Peter Lee撰写。 <<大型语言模型LLM与Visual>> LLM入门1 | 初见LLaMA | MetaAI LLM入门2 | 羊驼AIpaca | Stanford LLM入门3 | 基于cpu和hugging face 的LLaMA部署 LLM入门4 | Segment Anything | MetaAI LLM入门5 | SAM代码从入门到出门 | MetaAI <<其他>> 医学图像重建 | Radon变换，滤波反投影算法 数据结构与存储结构 小白学PyTorch | 8 实战之MNIST小试牛刀 小白学PyTorch | 7 最新版本torchvision.transforms常用API翻译与讲解 小白学PyTorch | 6 &生成模型
37410编辑于 2023-09-01 - 来自专栏第一专栏
LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】
2.大语言模型基础 2.1、编码器和解码器架构 这个架构常用于编码器-解码器架构是一种常用于序列到序列（Seq2Seq）任务的深度学习架构。 2.2、注意力机制 2.2.1、注意力机制（Attention） 注意力机制允许模型在处理信息时更加灵活和智能地选择性地关注输入的不同部分，从而提高了模型的性能和表现力。 Feed-Forward Network层任务 考虑注意力机制可能对复杂过程的拟合程度不够, 通过增加两层网络来增强模型的能力。 2.4、BERT 预训练模型：在大规模数据事先训练，然后在特定任务上微调。 拿到预训练好的模型为底座，按照上述流程图去进行特定任务的微调。
90530编辑于 2023-09-26 从0开始训练自己的LLM（6）
训练完后的模型如何给业务用呢？需要把模型的参数保存下来，给业务用，下次加载出来就可以了。 同时前面定义的模型是输出最匹配的结果，但是每次输出结果都一样太死板，用过大模型的都知道，我们需要制定一个temperure参数，介于0到1之间，越接近0，结果越准确。越接近1，返回的结果越发散。 我们的模型如何添加这个参数呢？本文介绍下具体的方法和实现。 训练完模型后，我们使用训练好的模型来进行一次文本推理 inference_device = torch.device("cpu") model.to(inference_device) model.eval
10110编辑于 2026-03-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号