- 综合排序
- 最热优先
- 最新优先
- 来自专栏CreateAMind
多模态大型语言模型综述
多模态大型语言模型综述 A Survey on Multimodal Large Language Models https://arxiv.org/pdf/2306.13549 摘要 近期，以 GPT 索引术语—多模态大语言模型，视觉语言模型，大语言模型。 1 引言 近年来，大语言模型（LLMs）[1]–[5] 取得了显著进展。 然而，以端到端方式训练一个大型多模态模型成本高昂。一种更实际的做法是在预训练的视觉编码器与 LLM 之间引入一个可学习的连接器（connector）。 例如，Woodpecker [77] 采用 GPT-4V 基于图像直接评判模型回答的质量。由于 GPT-4V 可直接访问图像，预期其评估比纯文本 GPT-4 更准确。 然而，鉴于纯文本 LLM 只能访问有限的图像上下文且依赖参考标注，Woodpecker [77] 改用 GPT-4V 直接基于图像对模型回答进行评估。
71710编辑于 2026-03-11 - 来自专栏深度学习自然语言处理
DreamLLM：多功能多模态大型语言模型，你的DreamLLM~
abs/2309.11499 GitHub：https://github.com/RunpeiDong/DreamLLM 进NLP群—>加入NLP交流群 摘要 DREAMLLM是一个学习框架，实现了通用的多模态大型语言模型 二是促进了原始、交错文档的生成，对文本和图像内容以及非结构化布局进行建模，使得模型能够有效地学习所有条件、边际和联合多模式分布。 简介 在多模态任务中，内容理解和创作是机器智能的终极目标之一。 为此，多模式大语言模型成功进入视觉领域。MLLMs在多模态理解能力方面取得了前所未有的进展。通常通过将图像作为多模式输入来增强LLM，以促进语言输出的多模式理解。 其目的是通过语言后验来捕捉多模式的条件分布或边际分布。然而，涉及生成图像、文本或两者的多模式创作，需要一个通用的生成模型来同时学习语言和图像后验，而这一点目前尚未得到充分的探索。 模型训练 模型训练分为对齐训练、I-GPT预训练和监督微调。 实验结果 多模态理解：多模式理解使人类能够与以单词和视觉内容为条件的主体进行互动。
2.2K30编辑于 2023-09-26 - 来自专栏点云PCL
全栈式多终端模型部署框架 nndeploy 重磅开源！
为了更好地满足多终端深度学习应用的需求，我们自豪地宣布，全栈式多终端模型部署框架 nndeploy 正式开源！ 多终端适配：nndeploy 支持多种不同操作系统和硬件架构，包括 iOS、Android、Linux、Windows 等。这意味着您可以在各种终端设备上无缝运行您的深度学习模型。 多架构支持：nndeploy 能够在不同的硬件架构上运行，包括 x86 和 ARM 架构。这意味着开发人员可以轻松部署深度学习模型到不同种类的设备上，无需独立进行开发和优化。 这简化了端到端部署流程，同时高效地解决了多模型部署的挑战。 高性能：nndeploy 提供了广泛的配置选项，以保证推理性能。 您可以直接操作推理框架内部分配的输入和输出，实现零拷贝的前后处理，从而最大限度地利用终端设备的计算资源，保证低延迟和高吞吐量的推理。
81110编辑于 2023-09-20 - 来自专栏AIGC 先锋科技
手机上的 GPT-4V 级多模态大型语言模型！
近年来，多模态大型语言模型（MLLMs）的爆发性增长已经从根本上改变了AI研究和产业的前景，为作者揭示了迈向下一个AI里程碑的光明道路。 1 Introduction 随着多模态大型语言模型（MLLM）的快速发展，作者的理解、推理和交互能力在多个模态下有了显著提升。 考虑到这些局限，越来越多的人对探索更高效、轻量级的MLLM产生了兴趣，这些模型可以在终端设备上运行。 借助这一基础，高质量的多语言多模态指令调优有助于 MiniCPM-Llama3-V 2.5 将其多模态能力扩展到超过 30 种语言。 高效的终端部署。 Qwen-VL-Chat，Yi-VL，DeepSeek-VL和InternVL更多关注通过高分辨率输入，更多的训练数据和更好的数据比例等不同的技术提高模型能力的改进。 在终端端的多模态大量语言模型。
54510编辑于 2024-08-19 - 来自专栏ytkah
LLaMA大型语言模型
LLaMA (Large Language Model Meta AI)是Meta公司发布的大型语言模型系列，近日LLaMA种子文件被合并到了GitHub 上，同时一些项目维护者给予了批准，目前该项目在 什么是LLaMA LLaMA是Meta（前脸书）于2月25日首次推出的大型语言模型，相当于超快超小型GPT-3，参数量只有后者的10%，只需要单张GPU就能运行。 公司 CEO 扎克伯格表示，LLaMA 旨在帮助研究人员推进研究工作，LLM（大型语言模型）在文本生成、问题回答、书面材料总结，以及自动证明数学定理、预测蛋白质结构等更复杂的方面也有很大的发展前景。 而且在规模化模型层面，我们的 65B 参数模型也完全能够与 Chinchilla 或者 PaLM-540B 等顶尖大语言模型相媲美。” 更不用说微软声称正建立在 "新的下一代 OpenAI 大型语言模型 "基础上的 Bing Chat（又名Sydney），它比 ChatGPT 更先进，而且还与 Bing 搜索整合。
2.8K40编辑于 2023-03-08 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 注意，LLM中第一个L是指模型参数的数量。 按照此时的候选词汇概率高低，LM大概率会选择“狗”填入括号中，如果句子变为“我写信给农场，希望他们送我一个宠物，他们送给我一只小（）”。 ，并改变了以往自然语言处理中常用的循环神经网络（RNN）或卷积神经网络（CNN）的主导地位，使得 Transformer 架构成为许多先进语言模型的基础。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 解码 Decoder 模型用于接收连续的词汇并输出下一个词汇。例如，GPT-4，Llama，BLOOM，Falcon，...。 解码主要用于生成文本，聊天模型等等。
55110编辑于 2024-06-14 - 来自专栏AIGC 先锋科技
字节提出 LLaVA-OneVision ：首个突破多模态模型性能瓶颈的开源大型模型 ！
作者提出了LLaVA-OneVision，这是一系列由LLaVA-NeXT博客系列中的 insights 整合的开源大型多模态模型（LMMs）。 特别地，作者的论文做出了以下贡献： 大规模多模态模型。 High-Quality Knowledge 大型公共图像文本数据通常质量较低，使得多模态预训练的数据扩展效率降低。因此，建议在计算预算有限的情况下，关注高质量知识学习。 由于单图像数据对多模态能力至关重要，作者明确地收集了一个大型单图像数据集供模型学习。作者从收集到的数据来源中挑选构建了一个平衡的集合，结果总共包含了320万样本。 如表5所示，LaVa-OneVision在比以前的大型语言模型大得多的LLM上的效果相当或更好。LaVa-OneVision的优势在复杂的基准测试（如EgoSchema和VideoMME）中尤为明显。
2.4K10编辑于 2024-08-14 基于腾讯云的堡垒机解决方案：为大型企业多终端运维赋能
摘要： 本文详细介绍了堡垒机技术在大型企业多终端运维中的应用价值、挑战和操作指南。通过结合腾讯云产品，提供了一个高效、安全、易于管理的堡垒机解决方案。 在大型企业中，它对于保护多终端运维安全至关重要，特别是在需要隔离管理员访问权限和记录所有操作日志的场景中。 关键挑战： 访问控制： 如何确保只有授权用户才能访问特定系统。 操作示例： 通过腾讯云控制台创建堡垒机实例，配置用户权限和访问策略。 集成多终端运维系统： 原理说明： 通过API或SDK将堡垒机与企业现有的运维系统集成，实现自动化访问控制。 自动扩缩容，负载均衡 场景化案例： 某大型银行使用腾讯云堡垒机后，运维安全事件减少了30%，根据IDC报告，这主要归功于腾讯云堡垒机的自动化访问控制和实时审计功能。 通过本文的技术指南，企业可以深入了解如何利用腾讯云堡垒机提升多终端运维的安全性和效率。
45010编辑于 2025-07-28- 来自专栏AIGC 先锋科技
字节提出 MammothModa | 超越 LLaVA，集成视觉能力的多模态大型语言模型 ！
在本报告中，作者介绍了MammothModa，这是又一款旨在从基础水平线开始实现最先进性能的多模态大型语言模型（MLLM）。 1 Introduction 近期，多模态大型语言模型（MLLMs）因其能够理解和生成受视觉输入影响的语言而受到了广泛关注。 高质量的双语数据集：为了最小化视觉幻觉并提高模型鲁棒性，作者精心策划并筛选了一个高质量的双语多模态数据集。 这种平衡确保了多模态大型语言模型在处理高分辨率视觉特征时的高效处理和鲁棒性能。 尽管视觉合并模块从空间角度解决了高分辨率视觉标记的挑战，但是当时间维度变得更长，即理解视频时，视觉标记也会急剧增加。 4 Conclusion 在本次报告中，作者介绍了MammothModa，这是一个先进的多模态大型语言模型（MLLM），旨在在视觉语言任务上表现出色。
62210编辑于 2024-07-11 - 来自专栏iSharkFly
Discourse 如何通过终端工具访问 PGSQL
PGSQL 在 Discourse 中是通过容器方式运行的，要访问 PGSQL 中的数据那么首先需要进入到容器后才可以。进入容器的命令为： cd /var/discourse/ . | | | postgres=CTc/postgres(4 rows)discourse=> ^Cdiscourse=> 这也是直接访问
54110编辑于 2024-07-26 论文解读 - 大型多模态模型中现实世界个性化基准测试
近年来，人工智能领域经历了重大变革，从专注于特定简单任务的小型模型转向能够处理复杂任务的统一大型多模态模型（LMMs）。 总结来说，论文的主要贡献包括：•为了满足人类对大型多模态模型的实际需求，论文首次提出了一个多模态基准，旨在全面评估LMMs在实际场景中的表现。 作者希望论文的研究能够推动多模态大型模型在现实世界中的应用，并为多维个性化的发展铺平道路。 3.2 大型多模态模型基于大型语言模型（LLMs）的成功，近期研究将大型语言模型与视觉编码器结合，开发出具有强大视觉理解和语义生成能力的LMMs。许多优秀的开源项目和闭源项目已经开发出来。 在本研究中，论文利用MDI基准评估现有大型多模态模型解决个性化需求的能力，并为未来LMMs的研究提供见解。
33610编辑于 2025-11-12- 来自专栏专注于java领域技术分析
大型网站架构技术模型
例如一个大型网站将购物，论坛，搜索，广告分割成不同的应用。由独立的团队负责部署在不同的机器上。 1.3.3.3 分布式数据与存储 大型网站要处理以P为单位的海量数据，单台机器就算进行了磁盘扩容的情况下也存储不了那么多大的容量的时候就采用分布式存储，除了对传统数据库进行分布式部署外，还要对nosql 1.5.3 本地缓存 在应用服务器本地缓存的热点数据，应用程序可以在本机内存中直接访问数据，而无须访问数据库。 1.5.4 分布式缓存 大型网站的数据量非常庞大，即使只缓存一小部分，需要的内存空间也不是单机能承受的，所以除了本地缓存，还需要分布式缓存。将数据缓存在一个装门的分布式缓存集群中。 消除并发访问高峰，访问的高峰期，可以把突然增加的访问数据放到消息队列中，等消费者依次去处理。 1.7 冗余 为保证服务器的高可用，负载再小的服务器也至少要部署两台构成一个集群。
1.5K30发布于 2020-09-08 - 来自专栏数据科学（冷冻工厂）
大型语言模型如何工作？
引言 本文旨在以浅显易懂的方式，向读者阐释大型语言模型（LLM）的工作原理。 了解上面两个模型的不同之处。 第一个模型是文档补全器，只会根据最有可能成为下一个字符的内容来补全提示。这是我们用一部分互联网数据训练的基础模型。 第二个模型是文档生成器，会根据提示问题生成更像人类的回答。这就是 ChatGPT 模型。 ChatGPT 模型是一种推理模型，能够根据提示问题生成响应。 如果你不想深入数学和编程的复杂性，那么专注于提示工程是个不错的选择，因为它仅通过更巧妙地设计提示，就能让大型语言模型（LLM）发挥出最佳性能。 因此，Prompt工程在大型语言模型（LLM）的生态系统中发挥着至关重要的作用 总结 你已经耐心阅读到这里，我确信要完全理解这些信息需要花费一些时间，尤其是对于那些新接触大型语言模型（LLM）领域的读者
44910编辑于 2024-07-05 - 来自专栏人工智能前沿讲习
【综述专栏】大型语言模型遇上文本中心的多模态情感分析
ChatGPT的出现为将大型语言模型（LLMs）应用于文本中心的多模态任务打开了巨大的潜力。然而，目前尚不清楚现有的LLMs如何能更好地适应文本中心的多模态情感分析任务。 同时，增强理解图像等模态能力的大型多模态模型（LMMs）也为多模态相关任务提供了新的思路。它们可以直接进行零样本或少样本上下文学习，无需监督训练。 大型语言模型 一般来说，大型语言模型（LLMs）指的是具有数百亿甚至更多参数的Transformer模型，这些模型通过在大量文本数据上进行高成本训练，如GPT-3 [2]、PaLM [22]、Galactica 我们的目标是全面总结LLMs在多模态情感分析领域的表现。 大型多模态模型 大型多模态模型（LMMs）旨在处理和整合各种数据类型，如文本、图像、音频和视频。 LLava [113]是一种集成预训练的CLIP [116]视觉编码器（ViT-L/14）、Vicuna [115]语言模型和一个简单的线性投影层的大型多模态模型。
2.2K10编辑于 2024-06-18 - 来自专栏数据科学（冷冻工厂）
什么是大型语言模型 ？
怀着对这一领域的浓厚兴趣，我加入了ChatGPT，并很快被激发了学习其背后的大型语言模型（LLMs）技术的热情。然而，像许多人一样，我对LLMs一窍不通，不知道如何入门。 模型定义 大型语言模型（LLMs），例如ChatGPT，正在成为当今技术界的热门话题。根据维基百科，LLM的定义是：LLM是一种因其能够实现通用语言理解和生成而著称的语言模型。 训练这些超大型模型是非常昂贵的。训练像 GPT-3 这样的模型需要花费数百万美元。 目前，表现最为卓越的模型 GPT-4 已经不再是单一的模型，而是多个模型的集合体。 这些模型各自针对特定领域进行了训练或微调，它们在推理时相互协作，以实现最优的性能表现。 不过，无需担心，我们的目标是掌握大型语言模型的基础理论。 模型架构 在大型语言模型（LLM）诞生之前，神经网络的机器学习确实只能使用较小的数据集，对于文本的上下文理解能力十分有限。这导致早期的模型无法像人类那样深入理解文本。
46310编辑于 2024-06-18 - 来自专栏百科知识
如何开发大型语言模型？
开发大型语言模型需要进行以下步骤：数据收集：收集大量的文本数据，包括书籍、新闻、社交媒体、网页等，以便训练模型。 模型设计：选择适合的模型架构，如循环神经网络（RNN）、长短时记忆网络（LSTM）、变压器网络（Transformer）等，以便实现对文本的自然语言处理。 模型训练：使用收集到的数据对模型进行训练，以便模型能够学习到文本数据中的规律和模式。模型优化：对模型进行优化，如调整超参数、使用正则化技术、使用预训练模型等，以便提高模型的性能和泛化能力。 模型评估：使用测试数据对模型进行评估，以便了解模型的性能和效果。模型部署：将训练好的模型部署到生产环境中，以便实现对文本的自然语言处理。 开发大型语言模型需要大量的计算资源和时间，因此需要使用高性能计算机和分布式计算技术，以便加速模型的训练和优化。同时，还需要进行不断的迭代和改进，以便提高模型的性能和效果。
1.1K10编辑于 2023-05-18 - 来自专栏信息化漫谈
上个小菜：大型网站的访问全流程
访问一个大型网站，当你输入www.sina.com.cn网址后，几秒后，在网页中显示了具体内容，这一切经历了什么？其实台上一分钟，台下十年功，背后发生了很多事，今天我们一起来看一看。 1、在IE中输入域名后，首先访问DNS 你先发现通过智能DNS的作用，不同的来源，比如电信、移动、联通的用户，得到的IP地址是不同的。这样能从第一步保证网站的访问速度。 如下图，电信、联通用户通过相同的DNS解析后，将访问不同的目标IP地址网页。 注：智能DNS实际需要域名服务商、或你的自建DNS的支持。 ? 2、访问网页时，web服务器将产生PV、UV数据 打开首页时，web服务器将产生log日志，一个网页对应一个PV（Page View）。 如果你访问了该网站的多个网页，那么一个UV对应多个PV。如果是一个购物型的网站，PV值应更小一些，保证用户能过几个网页即可成功下单。
1.1K30发布于 2019-09-24 - 来自专栏程序员的知识天地
Python爬虫小偏方：突破登录和访问频率限制，多研究对方不同终端产品
但是老猿相信大部分的爬虫选手们都没有这么多的资源，所以就会绞尽脑汁研究和各种尝试对方的访问控制策略，如果始终无法破局，这时就要跳出来想下其他办法，比如多使用一下对方的产品，包括APP，网站，微信等，抓包看看他们之间的 URL有没有关联，访问控制策略是否一致等，有时你会找到新的突破口。 APP的用户详细页面一个账号大概只能访问100次/天(有点记不清具体数字了)就不能访问了。 通过APP获取分享到微信的url的接口访问频率控制放得很宽松。 虽然在微信上不用登录访问，没有账号限制了，但是还是有单个IP的访问频率控制。 （要使用adsl拨号来解决单个IP访问频率控制问题）。
2K30发布于 2019-05-15 - 来自专栏未来先知
xGen-MM(BLIP-3), 一种开放大型多模态模型 !
本报告介绍了xGen-MM（也称为BLIP-3），这是一个用于开发大型多模态模型（LMMs）的框架。该框架包括精心策划的数据集、训练配方、模型架构以及一系列LMMs。 如MM1 [9]和Idefics2 [11]所示，此类多模态交错数据集对于扩展大型多模态模型训练，并实现诸如多模态情境学习等基本功能至关重要。 BLIP3-OCR-200M是一个针对现有大型多模态模型在处理像文档和图表等文本丰富的图像的局限性的 curated 大型多模态标注数据集。 8 Conclusion 作者提出了xGen-MM (BLIP-3)，这是一个全面框架，可在大规模多模态数据集的混合上训练一系列开源大型多模态模型。 通过开源xGen-MM (BLIP-3)，作者的精选数据集，和作者的SFT微调代码库，作者希望为研究社区提供可访问的多模态基础模型和数据集，使实践者能够进一步探索并推进LMMs的潜力和新出现的特性。
1K10编辑于 2024-09-02 - 来自专栏BioIT爱好者
Linux 中多终端同步 history 记录
问题1：终端 a 执行的这部分命令终端 b 上看不到。 但是问题 2 貌似不会出现，个人在 CentOS 7 中测试了一下，发现终端 a 正常退出，相关命令的确会写入到~/.bash_history文件中，即 c0+c1；但终端 b 也正常退出后，终端 b ，然后按向上，ls出现）的确也是有一定的使用需求，但真正的需求个人觉得更应该是这样的： 我可以看到多终端实时同步 history 的优点，但是就我个人而言，我会讨厌它。 所以，我们增加一个问题 3：当打开一个 shell 终端后，不管是正常退出还是非正常退出，执行的所有命令均实时追加到~/.bash_history文件中，但当前终端不会实时同步其他终端的 history ，除非我重新开启了一个新终端。
4.1K30发布于 2021-10-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号