- 综合排序
- 最热优先
- 最新优先
- 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
多模态大模型核心技术 1多模态的困难 困难 数据集标志困难 人工标注生成 COCO Visual Genome ... 图像生成文本 模型 OpenAl的DALL-E2和GPT4 谷歌大脑的 lmaen和Stable Diffusion 百度的文心一言 文本生成图像 基于GAN的文本生成图像方法 AlignDRAW 图像解码器 把隐信息还原成图像 4语音多模态技术 文本生成语音 以前技术：拼接法和参数法 基于非深度学习的文本生成语音技术 隐马尔可夫模型 (HMM) 文本信息提取模块 声学特征提取模块 7 多模态大模型高效的训练方法 第一类训练方法：前缀调优(Prefix Tuning)和提示调优(ProTuning) 第二类训练方法：P-Tuning和P-Tuning v2 第三类训练方法（最火 Long-Range Attention，QLoRA)技术 8 GPT-4多模型核心技术介绍 Transformer：编码器-解码器框架 编码器：衍生出了自编码大模型，如BERT、RoBERT和ALBERT
61610编辑于 2024-09-10 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升 需要设计对齐技术减少模型使用风险，并进一步提升模型性能 ➢ 工具使用：使用外部工具加强模型的弱点，拓展其能力范围
78010编辑于 2025-03-15 C-RADIOv4：统一三大模型的视觉骨干技术
技术概述某机构推出的 C-RADIOv4 是一种新型聚合式视觉骨干网络，通过将三个强教师模型——SigLIP2-g-384、DINOv3-7B 和 SAM3——蒸馏至单个学生编码器中，实现了模型统一。 核心思路简洁：不再需要在视觉语言模型、自监督密集模型和分割模型之间做选择，而是用一个骨干网络同时逼近三者。RADIO 中的聚合蒸馏技术RADIO 系列采用聚合蒸馏技术。 C-RADIOv4 升级了教师模型：SigLIP2-g-384：强化图文对齐能力DINOv3-7B：提供高质量自监督密集特征SAM3：提供面向分割的特征，并保证与 SAM3 解码器兼容学生模型的训练目标 此外，训练过程采用 DAMP 技术，向权重注入乘性噪声，进一步提升了模型对数据损坏及小分布偏移的鲁棒性。角分散感知的总结损失实现教师平衡先前 RADIO 模型的总结损失使用学生与教师嵌入间的余弦距离。 关键技术要点单一统一骨干：C-RADIOv4 将 SigLIP2-g-384、DINOv3-7B 与 SAM3 蒸馏至单一 ViT 风格编码器，同时支持分类、检索、密集预测与分割。
60610编辑于 2026-02-12- 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
LangChain 为 LLM 及相关技术（如嵌入模型和向量存储）实现了标准接口，并与数百个 LLM 提供商集成。 Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好 &吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强 小结： - 研发&测试环境：为了方便部署和测试，使用云服务 - 大客户生产环境：安全审核严格，大多数采用自建大模型的方式 总结 LangChain 是什么？
1K10编辑于 2025-08-04 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 一、大语言模型的发展 大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。 论文做了不同参数的验证工作，n(params)是参数梳理，n(layers)是模型层数，d(model)是FFN层数的1/4，d(head)是多注意头的维数，所有测试使用的上下文token数是2048。 1.6 当前的技术局限性 专业的领域，缺乏语料训练的情况下，GPT无法生成合适的回答。 可信度问题，缺乏答案的具体来源。 时效性问题，大模型底层训练数据是过往数据，再一次训练的成本很高。 最后，大语言模型作为一个被验证可行的方向，其“大”体现在数据集广泛，参数和层数大，计算量大，其价值体现在通用性上，有广泛的应用场景。
2.5K45编辑于 2023-05-30 - 来自专栏Java技术
AI技术和大模型技术LLM
-CoderOilStation(程序员编程助手科技股份有限责任公司)AI技术和大模型技术LLM人工智能技术AI是美国高等院校哈佛大学的一种原型框架技术。AI技术西方和全球的部署研发和运用。 AI人工智能引领全球技术的更新和迭代监控不同的区域。相信知识不要服从于命运。美国麻省理工学院MIT会同步不同的领域模型驱动技术DDD(DomainDrivenDesign)。 领域模型驱动技术西方发达社会更注重不同想法和设计的美学应用。协会institute是定义技术标准的国际性知识传播组织。亚洲的工程师杰作Agent智能体应用于基本的搜索应用和广告商品推荐。 私有用户和公众的开放平台用户一小一大意味着平台的设计开始运行正常。大模型LLM(LargeLanguageModel)模型开放基础框架的模型搭建方式。很多的应用逻辑都是有编程范式和编程方法学。
29010编辑于 2026-03-08 - 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 所以最初在业务角度并不够重视，然而近期随着大模型技术的快速发展，我们也在逐步尝试将大模型在业务中落地，目前大模型在自然语言处理相关的业务里都取得了比传统模型更优的效果，下面详细介绍相关工作。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 图片以 NER 任务为例，我们尝试用常规的深度模型 LSTM + CRF 串联的 F1 值只有 92% 左右，使用大模型之后，F1 值可以达到 96～97%，提升了4～5% 。 Continue-Train为了进一步提升大模型在实际业务中的效果，同花顺与澜舟科技合作，引入孟子Mengzi 模型中的技术 ，针对大模型进行 Continue-Train 训练，让模型更适用于金融相关的
3.3K20编辑于 2022-08-11 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (4) 珠算小助手们的家
实际上，圆周率还有很多种算法，例如莱布尼茨提出的最容易记忆的： Pi = 4*((1) - (1/3) + (1/5) - (1/7) + (1/9) - (1/11) + (1/13) ...... ) 还有欧拉在解决巴塞尔问题中发现的： Pi = sqrt (6*(1+1/4+1/9+1/16+1/25+ ... )） （虽然欧拉对于这个结果的证明是错的，但比当时大数学家伯努利算不出来还是要强的 而在《大模型与AI底层技术揭秘 (2) 人妖之间的国度》中，我们提到的原子弹的Langevin方程，是一个可以充分发挥并行计算优势的算法，如果有了GPU，或一大批珠算小助手，就可以通过并行计算的方式来加速计算 聪明的小H看出，原来4080Ti和H100里面就是有一大批珠算小助手呀！ 是的，只是这些珠算小助手被称为“CUDA Core”。 SM内部的架构如下图： 在H100中，每个SM包含4个Partition，每个Partition中有32个FP32 CUDA Core(也可以执行FP64和整数运算)，以及1个Tensor Core
62740编辑于 2023-10-08 - 来自专栏大模型成长之路
【大模型学习 | MINIGPT-4原理】
MINIGPT-4: ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS在GPT4未开源的情况下，作者认为其表现优越是因为采用了最为先进的 LLM模型，因此，作者在BLIP2的基础上，将LLM模型替换为了Vicuna，同样也是通过一个线性映射层将图像表征映射为LLM的输入。 开源代码：https://minigpt-4.github.io/一、预训练方法预训练方法几乎和BLIP2模型一致，可以参考：【大模型学习 | BLIP2原理】-腾讯云开发者社区-腾讯云1.1 Q-Former ； MINI-GPT4表现比BLIP2要强上许多？ ① MiniGPT-4 使用的是 Vicuna（基于 LLaMA 的开源 ChatGPT 对话模型），具有更强的自然语言表达和指令理解能力；而BLIP-2 使用的 LLM 主要是 Flan-T5 或 OPT
85010编辑于 2025-07-02 - 来自专栏京东技术
大模型技术及趋势总结
后门攻击：在模型中植入后门，使得在特定触发条件下模型表现出异常行为。 3. 成员推断攻击：攻击者尝试推断出训练集中是否包含特定的数据点。 4. 模型窃取：通过查询模型来复制其功能，侵犯模型版权。 •对模型进行加固，提高其抗攻击能力。 •采用加密存储和差分隐私技术来保护数据隐私。 •增强模型的可解释性，以便更好地理解和控制模型行为。 如同时输入文本和图像与多模态大模型进行交互，现在的4o就能做到。 Prompt技巧（后续章节详解） Prompt或许并不是人类与大模型进行交互的唯一和最好的方式，但一定是当下使用最多的方式。 RAG（Retrieval-Augmented Generation） 什么是RAG RAG（Retrieval-Augmented Generation）技术是一种结合检索和生成的方法，用于提升大语言模型 多模态大模型是人工智能领域的重要进展，它们通过整合多种类型的数据，显著提升了模型的表现力和鲁棒性。这不仅使得人工智能系统能够更好地理解复杂的现实世界，也为未来的技术发展带来了无限可能。
1.1K10编辑于 2024-07-04 大模型技术之Python基础
Python，作为人工智能时代的通用语言，正是连接大模型技术与商业价值的那座桥梁。用 Python 基础打底，不仅能让你学得更稳，更能让你在变现之路上跑得更快。 一、 穿透技术黑盒，从“调包侠”进阶为“应用构建者”在当前的大模型应用层开发中，Python 占据着绝对统治地位。 三、 驾驭 AI 生态工具，构建不可替代的职场护城河大模型技术迭代极快，今天流行 LangChain，明天可能就有新的框架出现。 结语AI 时代，机会属于那些既能仰望星空懂技术，又能脚踏实地写代码的人。Python 不是大模型学习的障碍，而是助飞的翅膀。 与其在概念的海洋中漂浮，不如沉下心来，用 Python 基础打底，构建起坚实的技术底座。当你用一行行代码将大模型转化为解决实际问题的产品时，你会发现，变现不再是焦虑的等待，而是水到渠成的必然。
24110编辑于 2026-03-20- 来自专栏大模型&AIGC
6种大模型微调技术
(4) 结构在seq前面加idx个虚拟token，以此构造一个连续的token，作为微调参数（结构一样是transformer）。 之后拼接query正常输入LLM，并只训练这些embedding(4) 特点效果优于GPT-3的few-shot learning当模型参数量达100亿时，接近于全模型微调效果4.P-tuning（2021 ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 （4）结构在每一层self-attention中，添加新的参数 $\bigtriangleup W$$$h=W_0x+\bigtriangleup Wx=W_0x+BAx$$其中，预训练模型的原始参数为 在wikiSQL/MultiNLI数据集上测试得出结论：小的γ值，能达到较好好的效果（一般为4-8）(7) 特点优点：用于低资源的场景。也就是硬件设备资源有限的情况下。更新参数量少。
3.3K00编辑于 2025-05-08 - 来自专栏啄木鸟软件测试
大模型测试：技术深度解析
与此同时，传统软件测试范式——基于明确输入/输出断言、覆盖路径与边界值的方法——在大模型面前频频失效。 这些案例揭示一个现实：大模型测试不是‘加个Prompt跑几轮’，而是一场融合认知科学、统计推断、对抗攻防与领域知识的系统工程。 一、为何传统测试方法在大模型面前失灵？ 二、大模型测试的四维技术框架 业界领先实践已形成可落地的四维测试体系： ✅ 1. ✅ 4. 持续演化层测试（Continuous Evolution Monitoring）模型并非静态资产。每次微调、RAG知识库更新或提示工程优化后，都需执行回归测试套件。 三、实战案例：某省级政务大模型的测试攻坚 该模型需支撑12345热线智能分派与政策解读。
28200编辑于 2026-06-15 - 来自专栏架构之巅
大模型相关技术-初识RAG
简单来讲就是让用户的问题先经过一个提前预置的专业知识库，先检索知识库，将知识库的响应提交给大模型，让大模型总结输出，或者直接就输出了，不经过大模型总结。 为什么需要RAG 大模型在没有答案的情况下提供幻象数据，也就是胡说八道。 当用户需要特定的当前响应时，提供过时或通用的信息，模型提供的最新信息为训练模型时的数据。 图片 向量(vector)是在大语言模型、知识库交互、计算过程中的重要指标。它可以将文本和知识表示为数学向量，实现文本相似度计算、知识库检索和推理等功能。 是的，整体的流程是和es类似，哪思考一个问题为 什么不用es，反而用这么复杂的模型来实现呢？ - 哔哩哔哩 (bilibili.com) 我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
82941编辑于 2024-04-28 - 来自专栏算法一只狗
LLama4 原生多模态大模型
Meta最新发布了原生多模态大模型 Llama 4，一经亮相即登上LMSYS大模型排行榜第二名，仅次于Google的Gemini-2.5-pro，分差仅为22分，实力可见一斑。 技术细节与训练策略Llama 4采用了先进的早期融合（early fusion）机制，将文本和视觉token统一集成至模型主干架构，实现了真正的多模态统一训练。 总结与展望Llama 4的发布，意味着Meta正式进入原生多模态大模型竞争核心领域。 相比Gemini系列、GPT-4o、Claude 3、DeepSeek等主流模型，Llama 4以务实高效的技术路线，突出计算成本、推理效率与多模态能力的平衡。 总体而言，Llama 4代表了一次平衡创新与实用的成功探索，不盲目追求规模而是注重技术设计的科学性与实际落地能力，未来发展值得期待。
1K00编辑于 2025-05-01 - 来自专栏深度学习与python
解锁大语言模型潜力：4种提示工程技术解析，带你玩转 AI
提示工程从根本上来说是不断做实验改变提示内容，以了解提示的变化对模型生成内容的影响，因此这一学科不需要高等级的技术背景，只需一点好奇心和创造力即可。 此外，提示工程不仅仅是高薪程序员的职责。 零样本提示可能如下图所示，其中用户向谷歌的 Bard 大模型发出对电影评论进行分类的说明。 这种技术对于复杂的多步骤任务非常有帮助——如果目标任务涉及多个步骤或有序推理过程，CoT 可以帮助模型将问题分解为更小、更易于管理的若干任务。 该技术要求 LLM 在每个级别考虑多个解决方案，并鼓励模型不断评估其结果，规范其决策过程，并增强其对所选解决方案的信心。 第 4 阶段：决策 - 要求 LLM 根据生成的评估和场景对每个解决方案进行排名或评分。 对于需要涉及搜索类型的工作、填字游戏甚至创意写作的问题类型，ToT 框架的性能比 CoT 大大提高了。
73810编辑于 2024-02-29 - 来自专栏xiaosen
大模型Prompt-Tuning技术入门
」的范式，如Bert+fine-tuning的NLP任务，相比于第二范式，模型准确度显著提高，模型也随之变得更大，但小数据集就可训练出好模型； 第四范式：基于「预训练模型+Prompt+预测」的范式，如 4 Prompt-Tuning技术发展历程 Prompt-Tuning自GPT-3被提出以来，从传统的离散、连续的Prompt构建、走向面向超大规模模型的In-Context Learning、Instruction-tuning 因此我们总结人工设计方法的缺陷： 采用人工构建的方法成本高，需要与领域任务相关的先验知识； 人工设计的Pattern和Verbalizer不能保证获得最优解，训练不稳定，不同的PVP对结果产生的差异明显，方差大； ）方法为每一个输入文本假设一个固定前缀提示，该提示表由神经网络参数化，并在下游任务微调时进行更新，整个过程中预训练的大模型参数被冻结。 Prompt Tuning特点： 优点： 大模型的微调新范式 模型参数规模大了之后，可以将大模型参数固定，指定附加参数来适配下游任务，而且适配性能基本和全参数微调相当。
1.6K30编辑于 2024-06-05 - 来自专栏深度学习与python
Hugging Face 大语言模型优化技术
Hugging Face 基于他们提供大模型服务的经验分享了一些克服这些障碍的技术。 大语言模型需要大量的 VRAM 来加载，从几十 (bigcode/starcoder) 到数百 GB (Llama、Bloom、GPT3)。 一种更激进的方法是将模型权重量化为 8 位或 4 位，这已经被证明不会导致显著的性能下降。 在生产环境中部署大语言模型的第三项优化措施是选择正确的架构，让它们能够有效地处理长文本输入。 位置嵌入通过将每个标记的位置编码为数字表示来帮助语言大模型理解序列顺序。对于需要处理大型文本输入任务的大语言模型，应该使用 RoPE 和 ALiBi 等相对位置嵌入技术进行训练。
54910编辑于 2023-10-09 大模型技术之Linux及Shell
大模型环境搭建靠 Linux，技能越硬，升职加薪越快在人工智能浪潮席卷全球的今天，大模型（LLM）已然成为技术圈最耀眼的明珠。 那些能够深入 Linux 底层，熟练驾驭大模型环境搭建的工程师，正在用最“硬核”的基础能力，通过技术杠杆，撬动着职场升职加薪的最快路径。 然而，大模型时代的到来，为 Linux 教育赋予了全新的现实意义。大模型的训练与推理，对计算资源有着极致的渴求。 如果你不懂得如何通过 Linux 参数优化内核性能，不懂得如何排查环境依赖的深层错误，那么面对大模型这一庞然大物，你只能停留在“会调用”的浅层，无法触及技术的内核。 二、 祛魅与实战：环境搭建能力检验真功夫在当下的技术培训市场中，充斥着各种“速成”课程，鼓吹几行代码即可玩转大模型。这种教育泡沫掩盖了真实的工程难度。然而，真正到了企业级的生产环境，情况截然不同。
27010编辑于 2026-03-20- 来自专栏防止网络攻击
大模型技术的发展与实践
例如，最近网络上非常热火的ChatGPT技术，也是大模型的一种应用。 OpenAI 的 GPT (Generative Pre-trained Transformer) 系列是大语言模型的典型代表，作为目前为止，公认最强的 GPT-4 架构，它已经被训练在数十亿的单词上。 既然大家都这么看好大模型技术，那么大模型的价值体现在什么地方呢？ 五、总结与体会 我们对大模型相关的发展历史、openAI技术的发展脉络、当前国内外主流的大语言模型进行了简单的介绍，同时针对大模型区别于之前模型的核心技术原理进行了简单讲解，本章提到的预训练、指令微调、 未来大模型一定会革新所有的行业和场景的。读者需要对大模型相关的技术及行业、场景应用保持敏感，在工作中要将大模型相关的技术用起来。
2.7K10编辑于 2023-12-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号