- 综合排序
- 最热优先
- 最新优先
- 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 所以最初在业务角度并不够重视，然而近期随着大模型技术的快速发展，我们也在逐步尝试将大模型在业务中落地，目前大模型在自然语言处理相关的业务里都取得了比传统模型更优的效果，下面详细介绍相关工作。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 大模型的优化大量研究表明通过调整预训练任务、使用更多训练数据、使用领域语料等方式，可以对原始的大规模预训练模型做进一步优化，达到更好的效果。 Continue-Train为了进一步提升大模型在实际业务中的效果，同花顺与澜舟科技合作，引入孟子Mengzi 模型中的技术 ，针对大模型进行 Continue-Train 训练，让模型更适用于金融相关的
3K20编辑于 2022-08-11 - 来自专栏深度学习与python
Hugging Face 大语言模型优化技术
Hugging Face 基于他们提供大模型服务的经验分享了一些克服这些障碍的技术。 第一个优化手段是从float32切换到bfloat16精度： 现在几乎所有的模型都是基于 bfloat16 训练的，如果你的 GPU 支持 bfloat16，就没有理由基于全 float32 精度运行模型 von Platen 写道，使用 Flash Attention 是另一相关键的优化，它是大语言模型用来理解输入标记上下文关系的自注意力层的一种算法，有可能打破输入标记数量的二次增长。 在生产环境中部署大语言模型的第三项优化措施是选择正确的架构，让它们能够有效地处理长文本输入。 位置嵌入通过将每个标记的位置编码为数字表示来帮助语言大模型理解序列顺序。对于需要处理大型文本输入任务的大语言模型，应该使用 RoPE 和 ALiBi 等相对位置嵌入技术进行训练。
48110编辑于 2023-10-09 - 来自专栏AI+运维：智能化运维的未来
大模型技术：优化服务的利器
大模型技术：优化服务的利器在现代运维领域，大模型技术正逐渐成为优化服务的强大工具。从改进预测性维护到提升用户体验，大模型的应用范围广泛且效果显著。 今天，我将以通俗易懂的方式，带大家了解大模型技术如何在服务优化中大展拳脚，并分享一些实际的代码示例来说明其应用。 一、大模型技术的背景大模型（Large Model），通常指的是基于深度学习的大规模神经网络模型。这些模型具备强大的学习能力和推理能力，能够处理复杂的任务，例如自然语言处理、图像识别和预测分析等。 大模型可以通过分析历史负载数据，预测未来的资源需求，从而优化资源调度方案。 六、结语大模型技术在运维中的应用潜力巨大。从预测性维护、智能客服，到资源调度和安全防护，大模型都展现出了强大的能力。通过合理应用大模型技术，运维人员可以大幅提升工作效率，降低成本，提升服务质量。
42810编辑于 2025-02-14 从大模型性能优化到DeepSeek部署｜得物技术
本文主要探讨如何优化本地部署大模型的性能，并结合我们的实践进行评测分析，文章最后我们将分享如何在本地高效部署满血版Deepseek-r1大模型。 在生产环境中，我们已部署专用的大模型推理集群，并对其性能进行了全面优化。对于大模型推理来说，性能优化主要聚焦于两个关键指标：吞吐量与响应时间(RT)。 RadixAttention 是一种新技术，用于在大语言模型的推理过程中优化 KV 缓存的重用。 八、小模型推理+大模型验证 —— 预测解码 (Speculative Decoding)最近，一种名为预测解码的加速技术备受关注，它能够在特定条件下显著提升大型模型（如72B大模型）的推理速度。 文章最后还给出最近爆火的deepseek-r1的高效部署方法，欢迎大家去尝试优化。后续我们将会持续关注大模型推理性能提升方面的最新技术，验证并及时分享给大家。
1.6K10编辑于 2025-02-18- 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 扩展定律 ➢ DeepMind 团队于 2022 年提出了另一种形式的扩展定律,旨在指导大语言模型充分利用给定的算力资源优化训练 Hoffmann 等人 [22]（DeepMind 团队）于 2022 年提出了一种可选的扩展法则，旨在指导大语言模型充分利用给定的算力资源进行优化训练。 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升 需要设计对齐技术减少模型使用风险，并进一步提升模型性能 ➢ 工具使用：使用外部工具加强模型的弱点，拓展其能力范围
51410编辑于 2025-03-15 - 来自专栏开源小分队
一个优化提升大模型训练效率的开源技术！
随着大模型工程技术的迅猛进步，提升大模型训练效率已成为推动其发展的关键要素。训练效率 = 训练吞吐× 训练有效率 × 收敛效率，其中，训练有效率的保障离不开灵活且强大的模型恢复机制。 为应对这一挑战，PaddleNLP大语言模型套件针对大规模训练场景，研发并开源了大模型统一存储技术—— Unified Checkpoint。 该技术集训推一体、异步保存、快速恢复、无损压缩等多重优势于一身，显著优化了 大模型训练流程。 PaddleNLP通过异步存储和模型Checkpoint无损压缩算法最终可以实现秒级存储和降低80%左右的大模型存储空间。 异步存储技术使得模型训练与保存操作能够并行进行，大幅减少了训练过程中的等待时间，根据测试数据，存储耗时减少最高可达95%，这意味着训练过程更加流畅，训练资源的利⽤率得到了极大提高。
45710编辑于 2025-01-07 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 一、大语言模型的发展 大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。 1.6 当前的技术局限性 专业的领域，缺乏语料训练的情况下，GPT无法生成合适的回答。 可信度问题，缺乏答案的具体来源。 时效性问题，大模型底层训练数据是过往数据，再一次训练的成本很高。 本文重点介绍Transformer核心结构和技术点，略过训练优化部分。 编解码组件结构 Transformer 本质上是一个 Encoder-Decoder 架构，包括编码组件和解码组件。 NineData也非常看好这个方向，并且已经将大语言模型应用到NineData平台的SQL开发中，支持通过自然语言直接查找、变更数据，提供数据库问题和知识问答、数据库SQL优化建议等多项能力，后续我们还将推出更多有价值的功能
2.3K45编辑于 2023-05-30 - 来自专栏Java技术
AI技术和大模型技术LLM
-CoderOilStation(程序员编程助手科技股份有限责任公司)AI技术和大模型技术LLM人工智能技术AI是美国高等院校哈佛大学的一种原型框架技术。AI技术西方和全球的部署研发和运用。 AI人工智能引领全球技术的更新和迭代监控不同的区域。相信知识不要服从于命运。美国麻省理工学院MIT会同步不同的领域模型驱动技术DDD(DomainDrivenDesign)。 领域模型驱动技术西方发达社会更注重不同想法和设计的美学应用。协会institute是定义技术标准的国际性知识传播组织。亚洲的工程师杰作Agent智能体应用于基本的搜索应用和广告商品推荐。 私有用户和公众的开放平台用户一小一大意味着平台的设计开始运行正常。大模型LLM(LargeLanguageModel)模型开放基础框架的模型搭建方式。很多的应用逻辑都是有编程范式和编程方法学。
22110编辑于 2026-03-08 - 来自专栏JavaEdge
MySQL大in查询技术如何优化?
某日，尼古拉斯赵四 crud 完后，突发奇想： MySQL大in查询技术还能优化吗?还是只能业务优化？。 注意，in里面的数据随用户选择类型成递增。 x团：可以试试 in 分批查！ x节：不妨提升下问题维度，解决大 in 才是！ 赵四：哈雷？业务上解决吗？ x里@x节：分表并发是嘛？ xx@x节：加字段就行嘛。 x60 突然插话：in 多了就会全表扫描了。
2.3K10发布于 2021-02-23 - 来自专栏MixLab科技+设计实验室
大语言模型优化技术 - KL散度引导的智能量化
Rishiraj Acharya揭示当前LLM量化评估的盲区——仅关注MMLU分数会掩盖"答案翻转"现象（量化后模型对错答案互换但总分不变）。 这种混合量化在减小模型体积的同时，通过KLD最小化保障模型行为一致性，比传统均匀量化更科学。 - **效率价值**：显著减少模型大小（从90GB压缩到25GB）同时保持性能 - **可访问性价值**：使先进AI模型能在消费级设备上运行 - **技术价值**：提供比传统均匀量化更优的压缩方法 - **创新价值**：建立了新的模型评估标准（KL散度 vs 传统准确率） ### 来源URL https://huggingface.co/blog/rishiraj/kld-guided-quantization
10210编辑于 2026-03-24 金融风控大模型技术指南与腾讯云产品优化方案
摘要 本文旨在解析金融风控大模型技术的核心价值，并结合腾讯云产品提供具体的操作指南和增强方案。 文中将探讨该技术在金融风控领域的应用场景，面对的挑战，并通过步骤化指南和对比表格，展示腾讯云产品如何优化风险识别效果。 技术解析 核心价值与典型场景 金融风控大模型是指运用机器学习技术，通过分析历史数据来预测和识别金融交易中的欺诈和风险。 模型评估与优化 原理说明：通过设定的评估指标，如准确率、召回率等，对模型进行评估，并根据结果进行优化。 操作示例：利用腾讯云AI平台的模型评估工具，实时监控模型性能，及时调整参数。 通过上述技术指南和增强方案，金融机构可以有效地提升风控大模型的风险识别效果，同时利用腾讯云产品的特性，实现性能优化和高可用设计。
54410编辑于 2025-07-29- 来自专栏AI前沿技术
大模型-零冗余优化器zero
zero 零冗余优化器 内存瓶颈： 在训练过程中显存的用一般是四部分组成参数，梯度，优化器和中间激活值，前三项和参数量的的关系约为16倍。 假如一个3B的模型，至少要48G的显存，加上中间激活着占用的显存，多张80G显存的A100，也力不从心！怎样在显存一定的情况下，克服内存墙是训练模型的关键之一。 优化方案： 即然参数，梯度和优化器GPU显存开销大，那就分级划片分成更小维度后，将它们放在不同 的GPU设备上，用到时候再进行读取。 采用混合精度计算，参数，梯度和优化器占用显存和总参数量 的关系为： zero 三种优化策略 对显存的进一步优化也就从这三方面下手，即零冗余优化，分为三个层次： • zero-1 仅对优化器分片 优化后的内存占比为 ： 当N比较大时， 显存占用相当于原来的 • zero-2 对优化器和梯度分片 优化后的内存占比为： 当N比较大时， 显存占用相当于原来的 • zero-3 对优化器，梯度和参数都分片 优化后的内存占比为
18210编辑于 2026-01-13 - 来自专栏AI工程落地
大语言模型推理优化论文-EdgeMoE
关键技术优化（降低专家 I/O 开销） 专家级位宽自适应（Expert-wise bitwidth adaptation） 在可接受的精度损失范围内，为不同的专家选择不同的量化位宽（如 INT2, INT4 测试所得模型精度，若精度损失仍低于用户目标，说明模型可承受更多低位宽专家，则继续沿列表增大 K，直至精度损失达到目标；否则减小 K，通过提升更多专家到高位宽来降低精度损失。 在 SAMSum 数据集上运行 ST-base-8 模型。 推理加速： 相比动态加载专家的基线（如 IO-EXP）和 STI 等内存优化基线，实现了显著的推理加速（摘要中未提具体倍数，正文有详述）。 总结 EdgeMoE 是一个创新的设备端推理引擎，它通过将 MoE 模型分区存储（常驻非专家权重 + 按需加载专家权重）并结合专家级位宽自适应和预测性专家预加载两项关键技术，显著降低了专家 I/O 开销
44210编辑于 2025-07-18 - 来自专栏喔家ArchiSelf
大模型服务的推理优化探索
此外，随着模型规模的增长，一些包含数万亿参数的超大规模模型根本无法容纳在单个 GPU 中，使得稀疏性优化变得尤为关键。 1.2 请求调度问题 大模型通常需要同时处理多个用户请求。 通过引入这种高效的内存管理策略，页面注意力机制显著提升了推理时的内存利用率和并发处理能力，是当前大模型部署优化的重要方向之一。 在大语言模型（LLM）推理中，基于 Radix Tree 的 KV 缓存技术被用于高效地重用多个推理请求之间的缓存数据，尤其适用于多个请求共享相同输入前缀的场景。 推理优化之推测性解码 推测性解码（Speculative Decoding） 是加速大语言模型推理的重要技术之一。 这一方法为构建高性能、低延迟的大模型推理服务平台提供了重要参考。 7. 推理优化的其他方法 在大语言模推理优化领域，有一些方法已经相对成熟，并被广大工程师广泛使用。
4.1K10编辑于 2025-07-08 - 来自专栏AI+运维：智能化运维的未来
大模型技术优化负载均衡：AI驱动的智能化运维
随着大模型技术（Large Model Technology, LMT）的发展，AI驱动的智能化负载均衡成为了优化系统性能、提升用户体验的重要手段。 本文将详细介绍如何使用Python实现基于大模型技术的负载均衡，并通过具体代码示例展示其实现过程。 项目概述本项目旨在使用Python和大模型技术构建一个智能化的负载均衡系统，涵盖以下内容：环境配置与依赖安装数据采集与预处理大模型训练与优化负载均衡策略实现实际应用案例1. 大模型训练与优化我们将使用TensorFlow和Keras构建一个深度学习模型，用于预测服务器负载。以下示例展示了如何构建和训练一个长短期记忆网络（LSTM）模型。 实际应用案例为了展示大模型技术优化负载均衡的实际应用，我们以一个具体的服务器集群为例，进行详细介绍。假设我们需要监控一组服务器的负载情况，并根据预测的负载动态调整资源分配。
60310编辑于 2024-12-21 - 来自专栏AI SPPECH
2025年大模型新突破：推理时偏好优化(TPO)技术全解析
要点 描述 痛点 传统偏好对齐方法缺乏灵活性，难以适应动态需求 方案 推理时偏好优化(TPO)技术，无需重训练即可优化输出 驱动 2025年大模型应用必备技能，掌握模型即时对齐能力 目录 章节 内容 1 TPO技术原理与创新价值 2 核心机制：文本反馈引导优化 3 与传统方法的对比分析 4 实战教程：使用TPO优化大模型输出 5 性能评估与适用场景 6 未来发展与技术挑战 1. 实战教程：使用TPO优化大模型输出 现在，让我们一起学习如何在实际项目中使用TPO技术优化大模型的输出。 结论 推理时偏好优化(TPO)技术作为2025年大模型领域的革命性突破，以其创新的推理时优化思路和卓越的性能表现，为大模型的灵活应用提供了全新的可能性。 、香港中文大学联合发表 Transformers库 HuggingFace提供的大模型工具库 大模型偏好对齐技术综述 最新的偏好对齐技术研究综述 LLaMA-3.1模型文档 Meta发布的最新大语言模型
53310编辑于 2025-11-13 - 来自专栏AI SPPECH
40_大模型优化与压缩技术：2025年的实践与突破
引言：大模型优化的时代背景与挑战 2025年，随着大语言模型的规模和复杂度不断提升，模型优化与压缩技术已成为AI产业落地的关键瓶颈和研究热点。 本文将系统梳理2025年大模型优化与压缩技术的最新进展，深入分析量化、剪枝、知识蒸馏、低秩分解等核心技术的原理与实践，探讨硬件协同优化的创新方法，并结合行业应用案例，全面呈现大模型优化领域的技术突破与未来方向 1.2 优化与压缩的价值与意义 大模型优化与压缩技术的发展，对于AI技术的广泛应用具有以下重要价值： 降低部署成本：通过模型压缩，可以显著降低硬件采购和运维成本，使大模型技术能够在资源受限的环境中部署 二、模型压缩的核心技术 2.1 量化技术：精度与效率的权衡 量化技术通过减少模型参数和激活值的表示精度，来降低模型的存储空间和计算复杂度，是大模型优化中最常用的技术之一。 对于技术从业者来说，掌握大模型优化技术已成为必备技能。通过本文的介绍，希望能帮助读者全面了解大模型优化领域的最新进展和实践经验，为实际应用提供参考和指导。
1.6K10编辑于 2025-11-13 - 来自专栏架构之巅
大模型相关技术-初识RAG
RAG是什么 检索增强生成（RAG）是对大型语言模型输出进行优化的方法，使其能够在生成响应之前引用训练数据来源之外的权威知识库。 简单来讲就是让用户的问题先经过一个提前预置的专业知识库，先检索知识库，将知识库的响应提交给大模型，让大模型总结输出，或者直接就输出了，不经过大模型总结。 为什么需要RAG 大模型在没有答案的情况下提供幻象数据，也就是胡说八道。 当用户需要特定的当前响应时，提供过时或通用的信息，模型提供的最新信息为训练模型时的数据。 阶段二：RerankModel擅长优化语义搜索结果和语义相关顺序精排。 - 哔哩哔哩 (bilibili.com) 我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
71241编辑于 2024-04-28 - 来自专栏啄木鸟软件测试
大模型测试：性能优化的5大实战策略
引言 随着ChatGLM、Qwen、DeepSeek及Llama系列大语言模型在金融、政务、医疗等关键场景加速落地，模型测试已远超传统‘功能是否正确’的范畴——性能成为决定能否上线的核心瓶颈。 这些并非个例，而是大模型测试进入深水区的典型信号：性能不是附加项，而是可信AI的第一道防线。 一、明确性能基线：拒绝‘拍脑袋’指标 大模型性能测试首要误区是套用小模型标准。 二、分层注入式压测：从单卡到集群的穿透验证 传统压力测试常止步于API层，而大模型性能瓶颈常藏于框架底层。 三、动态量化与缓存协同：轻量级优化的黄金组合 量化不是‘一刀切’，而是与缓存机制深度耦合的系统工程。 结语 大模型性能测试的本质，是构建‘可测量、可归因、可演进’的效能反馈闭环。
18110编辑于 2026-03-31 - 来自专栏京东技术
大模型技术及趋势总结
•在这些数据上调整模型参数，优化性能。 •进行评估和部署，确保模型达到预期效果。 •对模型进行加固，提高其抗攻击能力。 •采用加密存储和差分隐私技术来保护数据隐私。 •增强模型的可解释性，以便更好地理解和控制模型行为。 RAG（Retrieval-Augmented Generation） 什么是RAG RAG（Retrieval-Augmented Generation）技术是一种结合检索和生成的方法，用于提升大语言模型 这些模型展示了在各种任务中的卓越表现，从文本生成到对话系统。然而，尽管 LLM 拥有强大的处理和理解能力，它们的应用仍然需要进一步的优化和具体化。 多模态大模型是人工智能领域的重要进展，它们通过整合多种类型的数据，显著提升了模型的表现力和鲁棒性。这不仅使得人工智能系统能够更好地理解复杂的现实世界，也为未来的技术发展带来了无限可能。
88010编辑于 2024-07-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号