- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
76020编辑于 2023-08-28 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
78710编辑于 2025-06-27 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型，作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
1.1K00编辑于 2025-07-01 - 来自专栏量子位
大模型恋爱神器！16种MBTI自由定制，北大ChatLaw团队出品
Jiaxi 投稿自 凹非寺 量子位 | 公众号 QbitAI 北大团队新作，让大模型拥有个性！ 而且还是自定义那种，16种MBTI都能选。 这样一来，即便是同一个大模型，不同性格下的回答都不一样。 ENFP的大模型会说：喜欢参加社交活动，结识新朋友。 INFJ的大模型则回答：喜欢独自读过。 这样能干啥呢？北大的童鞋们列出来了一些情景 ： 在特殊节日，给你的男/女朋友寻找心仪的礼物。 深入理解大模型的定制化、个性化的方式及可能性。 在做出重大决策时，考虑不同情境下的个性特征。 通过深入了解人性的复杂性，促进个人成长和相互理解。 行为数据集中MBTI四个维度的比例如下： 自我意识数据集是为了让大模型能够意识到自己的个性特征。 通过一个两阶段的有监督训练微调过程，最后可以得到对应人格的大模型。 首先开放的是基于Baichuan-7b-chat的16个中文模型以及基于LLaMA2-7b的16个英文模型。后续还将做更多补充。 最后得到的训练结果如下。
98010编辑于 2024-01-17 - 来自专栏c++与qt学习
SpringBoot2----定制化原理
定制化原理 定制化的常见方式 原理分析套路 ---- 定制化的常见方式 修改配置文件； xxxxxCustomizer； 编写自定义的配置类 xxxConfiguration；+ @Bean 替换、增加容器中默认组件；视图解析器 自定义异常视图解析器的演示: Web应用 编写一个配置类实现 WebMvcConfigurer 即可定制化web功能；+ @Bean给容器中再扩展一些组件 @ images/**","/js/**"); } } @EnableWebMvc + WebMvcConfigurer —— @Bean 可以全面接管SpringMVC，所有规则全部自己重新配置； 实现定制和扩展功能
31930发布于 2021-11-15 - 来自专栏AiCharm
训练开销骤减，10%成本定制专属类GPT-4多模态大模型
多模态大模型定制：通过我们的 VPGTrans 框架可以根据需求为各种新的大语言模型灵活添加视觉模块。 开源多模态对话模型：我们开源了 VL-Vicuna，可实现高质量的多模态对话： 图 ２：VL-Vicuna 的交互实例 一、动机介绍 1.1 背景 2023 年是 AI 元年，以 ChatGPT 为代表的大语言模型 比如，LLM 在多模态理解领域掀起了一股从传统预训练视觉语言模型 (VLM) 到基于大语言模型的视觉语言模型 (VL-LLM) 的变革。 (2) 得到有趣的发现：我们同时提供了 TaS 和 TaT 场景下一些有趣的发现，并尝试给出解释: a) TaS 场景下，使用 VPGTrans 从小到大迁移不会影响最终模型效果。 b) TaS 场景下，越小的语言模型上训练的 VPG，迁移到大模型时效率越高，最终效果越好。c) TaT 场景下，越小的模型之间迁移的 gap 越大。
48320编辑于 2023-06-07 - 来自专栏实验盒
NBT｜BioChatter：为生物医学量身定制的开源大语言模型应用平台
引言 近年来，生成式人工智能尤其是大语言模型（LLM）取得了显著进展，但在生物医学研究中的应用仍处于起步阶段。 BioChatter是一个开源的Python框架，旨在遵循开放科学原则，开发定制的生物医学研究软件。 它还促进了在简单性/经济性与安全性之间的定制部署，用户可以根据自己的需求在公共数据库、自托管云数据库和本地数据库之间进行选择，平衡安全性与成本。 系统提示与多智能体系统 BioChatter的可定制平台允许用户通过系统提示将其与自己的上下文对齐，并使用基于智能体的系统进行高级工作流程。 基准测试框架在所有模型和相关参数上运行这些测试，并通过BioChatter网站向社区报告结果。
49510编辑于 2025-02-05 - 来自专栏机器之心
训练开销骤减，10%成本定制专属类GPT-4多模态大模型
多模态大模型定制：通过我们的 VPGTrans 框架可以根据需求为各种新的大语言模型灵活添加视觉模块。 开源多模态对话模型：我们开源了 VL-Vicuna，可实现高质量的多模态对话： 图 ２：VL-Vicuna 的交互实例 一、动机介绍 1.1 背景 2023 年是 AI 元年，以 ChatGPT 为代表的大语言模型 比如，LLM 在多模态理解领域掀起了一股从传统预训练视觉语言模型 (VLM) 到基于大语言模型的视觉语言模型 (VL-LLM) 的变革。 (2) 得到有趣的发现：我们同时提供了 TaS 和 TaT 场景下一些有趣的发现，并尝试给出解释: a) TaS 场景下，使用 VPGTrans 从小到大迁移不会影响最终模型效果。 b) TaS 场景下，越小的语言模型上训练的 VPG，迁移到大模型时效率越高，最终效果越好。c) TaT 场景下，越小的模型之间迁移的 gap 越大。
55920编辑于 2023-05-22 - 来自专栏AI SPPECH
63_模型定制：领域微调技术
引言：为什么需要模型定制与微调 ├── 2. 微调技术体系：从全参数到参数高效 ├── 3. 全参数微调：深度定制的经典路径 ├── 4. 参数高效微调：资源受限下的优化选择 ├── 5. 引言：为什么需要模型定制与微调 在2025年的AI生态系统中，通用大语言模型（LLM）如ChatGPT、LLaMA 4、Claude 4等已经展现出惊人的通用能力。 然而，当面对特定行业或场景的专业需求时，通用模型往往表现出局限性：术语理解不准确、领域知识不足、任务适配性差等问题。这正是模型定制与微调技术应运而生的背景。 全参数微调：深度定制的经典路径 全参数微调（Full Fine-tuning）是最传统的微调方法，通过更新预训练模型的所有参数来适应特定任务。 通过科学的数据工程、合理的技术选型和系统的评估优化，任何团队都可以构建出高性能、专业化的定制模型。
38710编辑于 2025-11-16 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(2)
(2)是否包含编码器的输出作为输入 在原始 Transformer 模型的基础上，在自然语言处理领域中逐渐衍生出以下3 种方式来构建预训练语言模型。 (2)只包含解码器的预训练语言模型，比如 ChatGPT。 (3)编码器和解码器都包括预训练语言模型，比如 BART。 2）指令数据集通过指令的形式指导模型的生成，能够提高预训练语言模型的泛化能力，使其在之前未做过的任务中能够表现出优秀的零样本推理能力。 (2)信息提取能力弱。 (3)并行计算能力差。 (4)领域迁移能力弱。 GPT-1 将模型的训练分为两个阶段: 第一个阶段通过大批量无标签文本数据构建一个初始的生成式语言模型。 总结 大模型被广泛应用有以下几个前提 ·效果好 ·效率高 ·成本可控 目前，大模型在这几个方面还不够理想。
54410编辑于 2024-09-10 - 来自专栏云原生技术社区
大模型时代已来，Meta发布LLaMA 2
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。 关于LLaMA 2 Meta LLaMA 是一款由Meta公司开发的开源超大规模语言模型。一直以来，LLaMA 系列模型在AI社区内被誉为最强大的开源大模型之一。 AML全面支持LLaMA 2推理和微调 灵雀云AML现已全面支持Meta LLaMA 2全系列模型在平台上进行推理和微调，包括70亿参数、130亿参数和700亿参数版本。 相比于直接使用开源模型，企业通过采用AML，可以获得更多优势： ● 一键私有化模型发布 企业可以轻松将训练好的LLaMA 2模型一键发布为私有化API，保护数据安全。 ● 非侵入式模型微调训练流水线构建 AML提供非侵入式的模型微调训练流水线，帮助企业根据特定需求快速构建定制化的语言模型。 通过将AML与LLaMA 2相结合，企业可以在不同场景下快速构建智能应用。
49910编辑于 2023-08-09 - 来自专栏AI科技评论
为每个用户提供专属定制服务，OPPO 安第斯大模型的新卷法
OPPO大模型团队认为，有了大模型技术加持的智能助手，将给用户带来全新的智能体验。 2 始于安第斯，「忠于」安第斯 安第斯山脉是地球上最长的山脉，又高又长，山脉两侧，一侧气候干旱，一侧茂盛，天然的屏障构成了无法逾越的生态壁垒。 在大模型以前，各个公司也会涉及AI板块，但根据应用的不同，可能会泛化出各类不同的小组，比如，对话一个AI团队，视频一个AI团队。 而在大模型之后，一个通用大模型能解决所有问题。 刘海锋表示，OPPO大模型在模型的规格方面，希望做由不同规格组成的一系列大模型，既能够跟设备端更紧密的结合解决简单的任务，又可以部署在云端满足一些更复杂的需求。 安第斯大模型基于端云协同架构构建。 图1 CLUE1.1总榜，共9个子任务 图2 KgCLUE1.0，知识图谱问答榜 从结果上，OPPO押注大模型这一战，当前交出的成绩单似乎还不错。
72820编辑于 2023-10-27 - 来自专栏Android相关
Gradle For Android(2)--基础的定制构建
当创建一个新的Project的时候，会默认生成3个Gradle文件。在项目的根目录(在Project的Top-Level)下会生成settings.gradle和build.gradle。而在Android app模块中会创建一个build.gradle文件。目录结构如下：
93830发布于 2018-10-24 标题：金融风控大模型在腾讯云的定制化支持与技术指南
摘要： 本文旨在解析金融风控大模型技术能力，并提供基于腾讯云产品的定制化支持方案。文章将深入探讨技术核心价值、实施挑战、操作指南以及增强方案，并以结构化格式呈现，确保逻辑清晰、易于阅读。 3大关键挑战 数据隐私与安全：在处理敏感金融数据时，如何确保数据安全和隐私保护是一大挑战。 模型泛化能力：模型需要在不同的金融场景下保持高准确率，对模型的泛化能力提出了高要求。 实时性要求：金融风控需要实时或近实时的风险评估，对模型的响应速度和处理能力是一大考验。 操作指南 实施流程 数据准备与预处理 原理说明：数据是金融风控大模型的基础，需要从多个数据源收集并预处理数据以供模型训练。 在某银行客户实践中，通过腾讯云AI平台的定制化服务，成功将信用卡欺诈检测的准确率提高了20%。 通过本文的技术指南，您可以深入了解金融风控大模型的定制化支持方案，并利用腾讯云产品实现技术落地。
54810编辑于 2025-07-29- 来自专栏深度学习自然语言处理
VPGTrans: 10%的成本定制你自己的类GPT-4多模态大模型
多模态大模型定制 通过我们的VPGTrans框架可以根据需求为各种新的大语言模型灵活添加视觉模块。比如我们在LLaMA-7B和Vicuna-7B基础上制作了VL-LLaMA和VL-Vicuna。 为代表的大语言模型(LLM)大火。 比如，LLM在多模态理解领域掀起了一股从传统预训练视觉语言模型(VLM)到基于大语言模型的视觉语言模型(VL-LLM)的变革。 (2) 得到有趣的发现: 我们同时提供了TaS和TaT场景下一些有趣的发现，并尝试给出解释: a) TaS场景下，使用VPGTrans从小到大迁移不会影响最终模型效果。 b) TaS场景下，越小的语言模型上训练的VPG，迁移到大模型时效率越高，最终效果越好。c) TaT场景下，越小的模型之间迁移的gap越大。
38220编辑于 2023-08-22 - 来自专栏量子位
ControlNet大更新：仅靠提示词就能精准P图，保持画风不变，网友：效果堪比定制大模型
只需要一张参考图就能完成以上转变，部分图片几乎可以达到定制大模型的效果了。 咳咳，各位AI绘画圈的朋友们，打起精神来，又有好玩的了。 （ps. 它不需要任何控制模型，直接使用参考图片就能引导扩散。 作者介绍，这个功能其实类似于“inpaint”功能，但不会让图像崩坏。 参考链接： [1]https://github.com/Mikubill/sd-webui-controlnet/discussions/1236 [2]https://twitter.com/sundyme
1.2K20编辑于 2023-05-19 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
76301编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏大模型应用
大模型应用：大模型本地部署实战：从零构建可视化智能学习助手.2
topic: str) -> Dict: """学习示例生成方法""" # 实现结构化内容生成我们首先需要明确LocalLearningAssistant类的核心作用：它负责加载大模型 包含一个清晰的概念解释2. 提供一个具体的代码示例或实际应用场景 3. 提出2-3个思考问题帮助巩固理解4. 用中文回答，保持教育性请按以下格式返回：概念：示例：思考问题："""3. with gr.Blocks(theme=gr.themes.Soft()) as demo: # 标题区域 gr.Markdown("# 大模型本地部署 编程助手2. 科学助手3. 数学助手4. 学习助手五、总结 这个项目成功实现了在消费级硬件上部署智能学习助手，基于Qwen1.5-1.8B大模型在CPU环境稳定运行。 with gr.Blocks(theme=gr.themes.Soft(), title="本地AI学习助手") as demo: gr.Markdown("# 大模型本地部署
27332编辑于 2026-01-30 使用DPO在SageMaker中定制Nova模型
解决方案概述在SageMaker训练作业中使用Nova定制配方的工作流程包含以下关键步骤：选择特定Nova定制配方，该配方提供完整的配置参数来控制训练过程通过API向SageMaker控制平面提交配方配置 SageMaker使用训练作业启动脚本在托管计算集群上运行配方训练完成后自动释放计算资源业务用例实现本案例重点优化Nova Micro模型在结构化函数调用方面的表现：使用nvidia/When2Call 要求的聊天补全格式采用参数高效微调(PEFT)技术降低计算成本数据集准备from datasets import load_datasetdataset = load_dataset("nvidia/When2Call 基准模型微调模型提升幅度F1 0.26 0.46 81% ROUGE-1 0.38 0.52 39% ROUGE-2 0.28 0.40 42% 模型部署训练完成的模型可通过CreateCustomModel API部署到推理服务：request_params = { "modelName": "nova-micro-sagemaker-dpo-peft
20500编辑于 2025-08-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号