- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：大模型的词元化处理详解：BPE、WordPiece、Unigram.11
引言 词元化（Tokenization）是大模型预处理的核心步骤，将连续文本切分为模型可理解的最小语义单元（Token），这些词元可以是单词、子词或字符。 11. 对新文本进行分词（使用最长匹配策略）。注意：在WordPiece中，通常使用一个语言模型来评估合并后的似然变化，但这里我们使用对数似然增益的公式作为合并标准。6. 生成候选Token（例如所有单字、双字、多字组合，或者通过其他方式生成一个大词表）3. 构建初始大词表4. 训练Unigram语言模型（即计算每个词元的概率）5. 删除困惑度上升最小的词元（即对模型影响最小的词元）8. 更新词表，并重新计算每个词元的概率（重新训练语言模型）9. 重复步骤5-8直到词表大小达标10. 生成最终词表11. 六、总结 词元化是大模型理解文本的基础预处理步骤，核心是将中文文本切分为有语义的最小单元（Token）。
58233编辑于 2026-02-08 - 来自专栏量子位
大模型恋爱神器！16种MBTI自由定制，北大ChatLaw团队出品
Jiaxi 投稿自 凹非寺 量子位 | 公众号 QbitAI 北大团队新作，让大模型拥有个性！ 而且还是自定义那种，16种MBTI都能选。 这样一来，即便是同一个大模型，不同性格下的回答都不一样。 ENFP的大模型会说：喜欢参加社交活动，结识新朋友。 INFJ的大模型则回答：喜欢独自读过。 这样能干啥呢？北大的童鞋们列出来了一些情景 ： 在特殊节日，给你的男/女朋友寻找心仪的礼物。 深入理解大模型的定制化、个性化的方式及可能性。 在做出重大决策时，考虑不同情境下的个性特征。 通过深入了解人性的复杂性，促进个人成长和相互理解。 行为数据集的目的是为了让大模型可以表现出不同性格的回应，这部分是对Alpaca数据集进行个性化修改实现。 行为数据集中MBTI四个维度的比例如下： 自我意识数据集是为了让大模型能够意识到自己的个性特征。 通过一个两阶段的有监督训练微调过程，最后可以得到对应人格的大模型。
98010编辑于 2024-01-17 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (11) 变形记
有一天，小H在吃完午饭回到办公室，旁边几位同学在打《王者荣耀》，并且在挑拨匹配到的一对情侣队友分手。
35810编辑于 2023-11-27 - 来自专栏AiCharm
训练开销骤减，10%成本定制专属类GPT-4多模态大模型
本文来自新加坡国立大学和清华大学的研究者提出了一个名为 VPGTrans 框架，以极低成本训练高性能多模态大模型。 多模态大模型定制：通过我们的 VPGTrans 框架可以根据需求为各种新的大语言模型灵活添加视觉模块。 比如，LLM 在多模态理解领域掀起了一股从传统预训练视觉语言模型 (VLM) 到基于大语言模型的视觉语言模型 (VL-LLM) 的变革。 在参数规模上，LLM 一般占主要部分 (比如 11B)，VPG 占次要部分 (比如 1.2B)，projector 最小 (4M)。 b) TaS 场景下，越小的语言模型上训练的 VPG，迁移到大模型时效率越高，最终效果越好。c) TaT 场景下，越小的模型之间迁移的 gap 越大。
48320编辑于 2023-06-07 - 来自专栏实验盒
NBT｜BioChatter：为生物医学量身定制的开源大语言模型应用平台
引言 近年来，生成式人工智能尤其是大语言模型（LLM）取得了显著进展，但在生物医学研究中的应用仍处于起步阶段。 BioChatter是一个开源的Python框架，旨在遵循开放科学原则，开发定制的生物医学研究软件。 它还促进了在简单性/经济性与安全性之间的定制部署，用户可以根据自己的需求在公共数据库、自托管云数据库和本地数据库之间进行选择，平衡安全性与成本。 系统提示与多智能体系统 BioChatter的可定制平台允许用户通过系统提示将其与自己的上下文对齐，并使用基于智能体的系统进行高级工作流程。 基准测试框架在所有模型和相关参数上运行这些测试，并通过BioChatter网站向社区报告结果。
49510编辑于 2025-02-05 - 来自专栏机器之心
训练开销骤减，10%成本定制专属类GPT-4多模态大模型
本文来自新加坡国立大学和清华大学的研究者提出了一个名为 VPGTrans 框架，以极低成本训练高性能多模态大模型。 多模态大模型定制：通过我们的 VPGTrans 框架可以根据需求为各种新的大语言模型灵活添加视觉模块。 比如，LLM 在多模态理解领域掀起了一股从传统预训练视觉语言模型 (VLM) 到基于大语言模型的视觉语言模型 (VL-LLM) 的变革。 在参数规模上，LLM 一般占主要部分 (比如 11B)，VPG 占次要部分 (比如 1.2B)，projector 最小 (4M)。 b) TaS 场景下，越小的语言模型上训练的 VPG，迁移到大模型时效率越高，最终效果越好。c) TaT 场景下，越小的模型之间迁移的 gap 越大。
55920编辑于 2023-05-22 - 来自专栏AI SPPECH
63_模型定制：领域微调技术
引言：为什么需要模型定制与微调 ├── 2. 微调技术体系：从全参数到参数高效 ├── 3. 全参数微调：深度定制的经典路径 ├── 4. 参数高效微调：资源受限下的优化选择 ├── 5. 引言：为什么需要模型定制与微调 在2025年的AI生态系统中，通用大语言模型（LLM）如ChatGPT、LLaMA 4、Claude 4等已经展现出惊人的通用能力。 然而，当面对特定行业或场景的专业需求时，通用模型往往表现出局限性：术语理解不准确、领域知识不足、任务适配性差等问题。这正是模型定制与微调技术应运而生的背景。 全参数微调：深度定制的经典路径 全参数微调（Full Fine-tuning）是最传统的微调方法，通过更新预训练模型的所有参数来适应特定任务。 通过科学的数据工程、合理的技术选型和系统的评估优化，任何团队都可以构建出高性能、专业化的定制模型。
38810编辑于 2025-11-16 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.4K100发布于 2018-04-11 - 来自专栏AI科技评论
为每个用户提供专属定制服务，OPPO 安第斯大模型的新卷法
而主打对话问答的安第斯大模型在8月初就开始随着OPPO智能助理小布启动对外邀测，对传统语音助手进行了内核级升级。 11月与大众亮相的最新版本小布，有着很惊艳的表现。 OPPO大模型团队认为，有了大模型技术加持的智能助手，将给用户带来全新的智能体验。 在大模型以前，各个公司也会涉及AI板块，但根据应用的不同，可能会泛化出各类不同的小组，比如，对话一个AI团队，视频一个AI团队。 而在大模型之后，一个通用大模型能解决所有问题。 刘海锋表示，OPPO大模型在模型的规格方面，希望做由不同规格组成的一系列大模型，既能够跟设备端更紧密的结合解决简单的任务，又可以部署在云端满足一些更复杂的需求。 安第斯大模型基于端云协同架构构建。 3 大模型时代， 一份来自手机厂商的答卷 据悉，OPPO将于11月OPPO开发者大会（ODC）上正式发布安第斯大模型（AndesGPT）。
72820编辑于 2023-10-27 标题：金融风控大模型在腾讯云的定制化支持与技术指南
摘要： 本文旨在解析金融风控大模型技术能力，并提供基于腾讯云产品的定制化支持方案。文章将深入探讨技术核心价值、实施挑战、操作指南以及增强方案，并以结构化格式呈现，确保逻辑清晰、易于阅读。 3大关键挑战 数据隐私与安全：在处理敏感金融数据时，如何确保数据安全和隐私保护是一大挑战。 模型泛化能力：模型需要在不同的金融场景下保持高准确率，对模型的泛化能力提出了高要求。 实时性要求：金融风控需要实时或近实时的风险评估，对模型的响应速度和处理能力是一大考验。 操作指南 实施流程 数据准备与预处理 原理说明：数据是金融风控大模型的基础，需要从多个数据源收集并预处理数据以供模型训练。 在某银行客户实践中，通过腾讯云AI平台的定制化服务，成功将信用卡欺诈检测的准确率提高了20%。 通过本文的技术指南，您可以深入了解金融风控大模型的定制化支持方案，并利用腾讯云产品实现技术落地。
54810编辑于 2025-07-29- 来自专栏深度学习自然语言处理
VPGTrans: 10%的成本定制你自己的类GPT-4多模态大模型
多模态大模型定制 通过我们的VPGTrans框架可以根据需求为各种新的大语言模型灵活添加视觉模块。比如我们在LLaMA-7B和Vicuna-7B基础上制作了VL-LLaMA和VL-Vicuna。 为代表的大语言模型(LLM)大火。 比如，LLM在多模态理解领域掀起了一股从传统预训练视觉语言模型(VLM)到基于大语言模型的视觉语言模型(VL-LLM)的变革。 在参数规模上，LLM一般占主要部分(比如11B)，VPG占次要部分(比如1.2B)，Projector最小(4M)。在训练过程中，LLM参数一般不会被更新，或者仅仅更新非常少量的参数。 b) TaS场景下，越小的语言模型上训练的VPG，迁移到大模型时效率越高，最终效果越好。c) TaT场景下，越小的模型之间迁移的gap越大。
38320编辑于 2023-08-22 - 来自专栏量子位
ControlNet大更新：仅靠提示词就能精准P图，保持画风不变，网友：效果堪比定制大模型
只需要一张参考图就能完成以上转变，部分图片几乎可以达到定制大模型的效果了。 咳咳，各位AI绘画圈的朋友们，打起精神来，又有好玩的了。 （ps. 它不需要任何控制模型，直接使用参考图片就能引导扩散。 作者介绍，这个功能其实类似于“inpaint”功能，但不会让图像崩坏。
1.2K20编辑于 2023-05-19 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
76301编辑于 2024-12-30 - 来自专栏AIOT
在Jetson上玩转大模型Day11：SAM2应用
见面文章中提到Google研究院所提出的ViT（Vision Transofmers）技术，将机器视觉与大语言模型结合成多模态的应用，为机器视觉领域开创新的纪元，于是在这个基础之上又发展出许多新的技术， 该模型也可以根据用户具体诉求，选择分割某个物体或某个区域，使控制更加精准。 该模型首先将图像转换为图像嵌入，从而允许从提示中高效地生成高质量的掩模。为模型提供了一个简单的接口用于提示模型，允许用户首先使用set_image方法设置图像，该方法计算必要的图像嵌入。 该模型可以将点和框提示以及之前预测迭代的掩码作为输入。 在帧上添加点击（或框）以获取和细化掩码（时空掩码） 在整个视频中传播点击（或框）以获得掩码 同时分割和跟踪多个目标 現在就可以開始好好跟隨每個ipynb裏面所提供的指示，開始輕鬆學習SAM2有趣並且強大的功能
91710编辑于 2024-11-08 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏机器之心
IDC最新报告，7大维度11家大模型厂商比拼，唯一全优是谁？
近日，全球领先的国际数据公司（IDC） 最新发布的大模型实测报告《中国大模型市场主流产品评估，2024》从基础能力到应用能力 7 大维度对 11 家大模型厂商的 16 款市场主流产品进行实测。 在 IDC 列出的厂商里，有很多我们熟悉的公司，国外厂商如 OpenAI；国内厂商包括阿里、商汤、科大讯飞、百川、智谱、昆仑万维等 11 家大模型厂商的 16 款产品参与了本次评估。 基于上述两方面的设计，文心大模型已经发展出基础模型应用、智能体模式应用、多模态应用等多种创新应用模式，真正地把大模型能力转化成了生产力的提升。 例如在行业落地上，百度智能云推出千帆大模型平台，以一站式企业级大模型开发及服务运行平台服务大众。 一直到这波大模型浪潮，百度率先推出国产大模型产品，并不断迭代技术、推进落地应用。而经过一年半的「百模大战」，大模型进入了拼落地应用的阶段。
94810编辑于 2024-06-17 使用DPO在SageMaker中定制Nova模型
解决方案概述在SageMaker训练作业中使用Nova定制配方的工作流程包含以下关键步骤：选择特定Nova定制配方，该配方提供完整的配置参数来控制训练过程通过API向SageMaker控制平面提交配方配置 SageMaker使用训练作业启动脚本在托管计算集群上运行配方训练完成后自动释放计算资源业务用例实现本案例重点优化Nova Micro模型在结构化函数调用方面的表现：使用nvidia/When2Call ": 128, "adapter_dropout": 0.01, }, }, }, },}模型评估结果指标 基准模型微调模型提升幅度F1 0.26 0.46 81% ROUGE-1 0.38 0.52 39% ROUGE-2 0.28 0.40 42% 模型部署训练完成的模型可通过CreateCustomModel API部署到推理服务：request_params = { "modelName": "nova-micro-sagemaker-dpo-peft
20500编辑于 2025-08-06- 来自专栏AIGC 先锋科技
LORACLR:用于定制扩散模型的对比适应 !
Introduction 文本到图像生成的扩散模型[11]已经彻底改变了基于文本 Prompt 的图像合成，这在从Stable Diffusion[29]、Imagen[33]和DALL-E 2[27] 低秩适应（LoRA）[12]已成为一种强大的工具，可用于对预训练模型进行小量再训练以实现定制化，从而实现灵活且高效的个性化。 最近，研究重点转向了大规模的文本到图像的扩散模型，这些模型在大规模数据集 [34] 上进行训练，使得图像生成更加细腻和准确。 个性化图像生成与定制。 进一步的发展致力于提高定制化的可扩展性和效率。(Custom Diffusion [20] 通过仅对交叉注意层进行微调，平衡了定制精度和计算效率。 作者评估了作者的方法与其他在多主题定制方面领先的 Baseline 方法的性能对比，包括：DB-LoRA [30]、\mathcal{P}+ [39]、Custom Diffusion [20]、Mix-of-Show
41200编辑于 2025-02-20 - 来自专栏AIGC大模型应用
AI大模型企业应用实战(11)-Document Loader文件加载器机制
loader机制让大模型具备实时学习的能力：0 Loader机制案例环境准备：import osos.environ["OPENAI_API_KEY"] = "sk-javaedge"os.environ
49400编辑于 2024-08-16 - 来自专栏AIGC新知
AIGC | 打通大模型私有化定制的最后一公里：PromptBench动态评估
. ", 'label': 0}] 加载模型 然后，可以通过 promptbench 轻松加载 LLM 模型。 emotion of the following sentence as positive or negative: {content}" ]) 可能需要为模型输出定义投影函数 由于提示中定义的输出格式可能与模型输出不同。例如，对于 sst2 数据集，标签为“0”和“1”表示“负”和“正”。但模型输出是“负”和“正”。我们需要定义一个投影函数来将模型输出映射到标签。 mapping = { "positive": 1, "negative": 0 } return mapping.get(pred, -1) 使用提示、数据集和模型执行评估
31610编辑于 2024-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号