- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI科技评论
从炼大模型到大小模型协同进化！产研界联合发布端云协同平台“洛犀”
该平台提供一站式的端云协同模型训练、部署、通信能力，致力于促进大小模型协同进化，构建充分利用大模型应用潜力的新一代人工智能体系。 2022达摩院十大科技趋势指出，大模型参数竞赛正进入冷静期，大小模型将在云边端协同进化——大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效，让大模型的能力持续强化 该名取自宇宙中大小星体间永恒的洛希吸引力，并含强大、坚韧之意，寓意大小模型珠联璧合。 洛犀平台沉淀了端云两侧最佳实践的算法组件和平台服务。 此外，团队还借助洛犀完成了图神经网络、排序模型、强化学习等技术在端云协同范式下的部署。 浙江大学上海高等研究院常务副院长吴飞教授如此形容大小模型间的辩证关系。庞大的须弥山如何纳入极微小的种子中？ 达摩院智能计算实验室负责人周靖人介绍，团队将进一步探索端云协同框架下端模型和云模型的协同机理，并完善算法方案和业务实践。洛犀平台未来计划对开发者开放，让大小模型协同进化的时代加速到来。
1.8K10编辑于 2022-03-03 - 来自专栏深度学习与python
大小模型协同架构在金融智能投顾中的应用与挑战
本文整理自北银金科高级算法专家尹辰轩 6 月份在 AICon 2025 北京站 的分享《大小模型协同在智能投顾领域的应用》。 本次演讲分享了大小模型协同架构下的大模型投顾方案，利用传统量化小模型的精准性和高性能，结合大模型 Agent 的搭建，实现问题识别、任务扩写、API 调用小模型以及答案融合。 智能投顾的前世今生 在智能投顾这一业务场景中，我们尝试用“大小模型协同”的架构，对传统金融业务做了一次 AI 原生的再创造。 先回到“智能投顾”本身。这个概念早在十年前就已进入公众视野。 大小模型协同架构 我们在大小模型协同中要解决的核心问题有三点：幻觉、专业深度、算力成本。 幻觉容忍度低在银行业务里，大模型 1% 的错误可能直接抬高 1% 的不良率，这是不可接受的。 大小模型协同的价值与效果 大模型投顾的最大优势在于其互动性和用户体验。与传统的机械化自动化推荐客服相比，大模型投顾在这些方面确实表现出色。
77810编辑于 2025-11-26 - 来自专栏具身小站
模型大小和显存大小的关系
模型尺寸、显存与优化技术三者是动态平衡的关系，更大的模型通常意味着更强的能力，但落地成本也会急剧增加。 PART 01 核心关系：模型大小与显存消耗 模型对显存的消耗主要分为 推理 和 训练 两个阶段，前者需求较低，后者则成倍增长。 1. 推理显存计算 推理时，显存主要用于存放 模型权重 。 INT4 ：0.5 字节/参数，极致的量化方案，能在显存受限的设备上运行大模型。 例如，一个FP16格式的7B模型，其权重显存需求约为7 × 2 = 14 GB。 训练显存计算 模型训练的内存消耗是推理的数倍，因为除了模型参数外，还需要额外显存来存储 梯度 和 优化器状态 。 PART 03 不同场景下的显存策略 下表汇总了不同模型尺寸在各种场景下的典型显存需求，方便根据自身硬件条件进行选择。
48410编辑于 2026-05-22 - 来自专栏AI科技评论
如何打通大小模型任督二脉？「洛犀」端云协同平台重磅发布，技术详解来了！
2022达摩院十大科技趋势指出，“大模型参数竞赛正进入冷静期，大小模型将在云边端协同进化”——大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效。 1月24日，业界首个“大小模型协同进化”实践来了！在 “中国工程院院刊：信息领域青年学术前沿论坛”上，阿里达摩院、浙大高等研究院、上海人工智能实验室联合发布“洛犀”端云协同平台。 该平台提供一站式的端云协同模型训练、部署、通信能力，致力于促进大小模型协同进化，构建充分利用大模型应用潜力的新一代人工智能体系。 “洛犀”一名取自宇宙中大小星体间永恒的洛希吸引力，并含强大、坚韧之意，寓意大小模型珠联璧合。 洛犀平台背后还有一层深意：“须弥藏芥子，芥子纳须弥。” ，称之为“端侧中心化协同；-当云侧有泛化模型、端侧有个性化模型，且两个模型相互协作学习和推理时，称之为“端云双向协同”，代表性方向可参考达摩院十大趋势中提到的大小模型协同演进。
2.4K10编辑于 2022-03-03 - 来自专栏项勇
笔记11 | 动态设置TextView的字体大小
地址 CSDN地址：http://blog.csdn.net/xiangyong_1521/article/details/78137394 当需要动态更改的TextView的内容字体的大小，比如设定的 TextView的只有一行，宽度只有200dp，内容超过这个之后就缩小字体显示，只能能将字体都显示完全;也就是动态更改的的TextView的字体大小，当TextView的的的内容比较多时缩小显示，当TextView textWidth - this.getPaddingLeft() - this.getPaddingRight();// 获取实际TextView的画布可用大小 getMaxLines方法获取内容的行数若内容的行数大于1，则缩小文字的字体，然后在尝试获取getMaxLines方法，若内容的行数还是大于1，则缩小文字的字体，直到内容能够一行显示或者是字体缩小大一定的大小 ，这时候若缩小到一定的大小还是不能一行显示，则尾部省略。
2.3K60发布于 2018-06-19 - 来自专栏DeepHub IMBA
如何估算transformer模型的显存大小
在微调GPT/BERT模型时，会经常遇到“ cuda out of memory”的情况。这是因为transformer是内存密集型的模型，并且内存要求也随序列长度而增加。 所以最后内存就变为： memory_modal = 4*n_tr_blocks*square_of(n_head * dim) 上面的估算没有考虑到偏差所需的内存，因为这大部分是静态的，不依赖于批大小 transformer模型所需的总内存为: total_memory = memory_modal + 2 * memory_activations 模型参数的内存： 4*n_tr_blocks*square_of R = n_tr_blocks = transformer层堆叠的数量 N = n_head = 注意力头数量 D = dim = 注意力头的维度 B = batch_size = 批大小 S S，这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS(S) = 4*R*N^2*D^2 + RBNS^2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例
2.4K30编辑于 2022-11-11 - 来自专栏数据派THU
如何估算transformer模型的显存大小
在微调GPT/BERT模型时，会经常遇到“ cuda out of memory”的情况。这是因为transformer是内存密集型的模型，并且内存要求也随序列长度而增加。 所以最后内存就变为： memory_modal = 4*n_tr_blocks*square_of(n_head * dim) 上面的估算没有考虑到偏差所需的内存，因为这大部分是静态的，不依赖于批大小 transformer模型所需的总内存为： total_memory = memory_modal + 2 * memory_activations 模型参数的内存： 4*n_tr_blocks R = n_tr_blocks = transformer层堆叠的数量 N = n_head = 注意力头数量 D = dim = 注意力头的维度 B = batch_size = 批大小 S = sequence_length 这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS(S) = 4*R*N^2*D^2 + RBNS^2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例
3.4K20编辑于 2022-09-14 VLM双模型协同规划复杂视觉任务
该方法使用一个专门的视觉语言模型来感知图像中的场景，并模拟达成目标所需的动作。然后，第二个模型将这些模拟结果转换为用于规划问题的标准编程语言，并对解决方案进行细化。 处理视觉任务在过去几年中，研究人员及其同事一直在研究使用生成式AI模型来执行复杂的推理和规划，通常利用大型语言模型处理文本输入。 许多现实世界的规划问题（如机器人装配和自动驾驶）具有视觉输入，而大型语言模型自身难以良好处理。研究人员试图通过利用视觉语言模型（能够处理图像和文本的强大AI系统）来扩展到视觉领域。 该系统名为“视觉语言模型引导的形式化规划”，它利用两个专门的视觉语言模型协同工作，将视觉规划问题转化为可供形式化规划软件直接使用的文件。 “生成器和模拟器协同工作，以达成完全相同的结果，即一个能实现目标的动作模拟，”作者解释道。
16410编辑于 2026-05-23- 来自专栏ClearSeve
C++11内存模型
最近看了极客时间——《现代C++实战三十讲》中的内存模型与Atomic一节，感觉对C++的内存模型理解还不是很清楚，看了后面的参考文献以及看了一些好的博客，算是基本了解了，根据参考文献整合一下。 Thread-1: Thread-2: x = 100; // A std::cout << x; // B C++11 C++11的内存模型共有6种，分四类。其中一致性的减弱会伴随着性能的增强。 参考链接 【1】C++11中的内存模型上篇 – 内存模型基础 【2】C++11中的内存模型下篇 – C++11支持的几种内存模型 【3】理解 C++ 的 Memory Order 【4】如何理解 C++ 11 的六种 memory order 【5】《现代C++实战三十讲》中的内存模型与Atomic
1.1K30编辑于 2022-02-11 基于混元大模型构建教育应用生态：协同11家SaaS伙伴实现应用智能化升级
主讲人： 付金懋（腾讯教育大模型生态应用体系建设） 突破教育SaaS大模型场景落地瓶颈 当前，教育行业在探索大模型应用时，面临场景匹配度低、技术集成难度大、商业模式不清晰等战略困境。 推出“三好学堂”协作体系与应用共创机制 为解决大模型落地难的问题，腾讯教育服务云基于腾讯混元大模型与LKE（大模型知识引擎）技术底座，正式成立“三好学堂”协作互助机制。 共创创新应用：深度聚焦教育大模型创新应用共创，打通口语评测、教育AI、知识引擎、云直播/点播、互动白板等底层能力接口。 赋能11家伙伴实现5大业务核心场景AI升级 过去一年，腾讯教育服务云通过大模型生态应用体系，已产生量化的生态协同成效： 生态覆盖规模：已协同 11 位SaaS伙伴完成应用智能化升级。 产研共创：基于混元教育应用内容共创产品，联合研发大模型技术方案，并为伙伴现有产品提供大模型升级诊断。
20310编辑于 2026-05-30- 来自专栏量子位
万亿大模型究竟怎么用？达摩院&浙大&上海人工智能实验室联手推出洛犀平台：大小模型端云协同进化
大小模型协同进化，才能充分利用大模型应用潜力，构建新一代人工智能体系。 此话怎讲？ 这就得先说说大模型“军备竞赛”背后的现实困境了。 大小模型协同进化 核心问题总结起来很简单，就是大模型到底该怎么落地？ 说白了，就是参数量竞相增长的大模型们，规模太过庞大，很难真正在手机、汽车等端侧设备上被部署应用—— 要知道，1750亿参数的GPT-3，模型大小已经超过了700G。 这样做的好处，还不只是将大模型的能力释放到端侧，通过大小模型的端云协同，小模型还可以向大模型反馈算法与执行成效，反过来提升云端大模型的认知推理能力。 也正是在这样端云协同的趋势之下，大小模型的协同演进有了新的范式可依：云侧有泛化模型，端侧有个性化模型，两个模型相互协作、学习、推理，实现端云双向协同。
1.2K30编辑于 2022-03-04 DeepFig ModelFusion：重新定义多模型协同架构
异构模型通信的技术突破当AI模型规模迈入千亿参数时代，单一模型已无法满足复杂场景需求，而多模型协同却面临"通信延迟"与"资源冲突"的双重挑战。 DeepFig独创的ModelFusion架构，通过三项核心技术突破，实现了异构模型的高效协同：1. 张量内存池（TMP）解决多模型显存碎片化问题：统一管理各模型的中间张量，内存复用率提升65%智能预分配策略，将模型启动时间从8分钟压缩至45秒支持显存/内存自动交换，16G显存即可运行4个百亿模型核心技术参数解密表格复制技术指标 DeepFig V1.0行业平均水平技术差距多模型通信延迟12ms85ms7.1x模型切换耗时300ms2.4s8x内存复用率89%42%2.1x最大支持模型数量16个4个4x异构模型兼容性11种类型3 DeepFig提供完整的技术支持体系：模型市场：100+预优化模型一键部署性能分析工具：可视化展示模型瓶颈，自动生成优化建议学术合作计划：提供免费算力支持前沿研究企业级服务：7×24小时技术支持，SLA
36400编辑于 2025-09-09- 来自专栏LINUX阅码场
深入理解C11C++11内存模型
个人认为，内存模型表达为“内存顺序模型”可能更加贴切一点。 2011年发布的C11/C++11 ISO Standard为我们带来了memory order的支持， 引用C++11里的一段描述： The memory model means that C++ code C11/C++11使用memory order来描述memory model， 而用来联系memory order的是atomic变量， atomic操作可以用load()和release()语义来描述 C11/C++11内存模型 C/C++11标准中提供了6种memory order，来描述内存模型[6]: enum memory_order { memory_order_relaxed, - Frank Birbacher [ACCU 2017] C++11中的内存模型下篇 - C++11支持的几种内存模型 memory ordering, Gavin's blog c++11 内存模型解读
3K30发布于 2020-06-04 - 来自专栏10km的专栏
C++11:基于STL对string,wstring进行大小写转换
https://blog.csdn.net/10km/article/details/80206022 C++标准库有对字符进行大小写转换的函数,但并没有提供对字符串的大小写转换函数，对 std::string进行字符串转换网上有很多文章了， 对于std::string,使用STL库algorithm中的transform模拟函数就可以实现，比如这篇文章： 《C++对string进行大小写转换 < dst << endl; return 0; } 上面的代码调用transform函数遍历std::string的每个字符，对每个字符执行::toupper或::tolower就实现了大小写转换 这时需要用到<locale>库中的toupper,tolower模板函数来实现大小写转换。 实现代码如下，下面的模板函数(toupper,tolower)支持std::string,std::wstring类型字符串大小写转换 #pragma once #include <algorithm>
5K10发布于 2019-05-25 - 来自专栏C++
C++20 DR11：数组 `new` 可以推导出数组大小
在 C++20 中，DR11 提案（P1009R2）引入了一项重要的语言特性改进：数组 new 表达式可以自动推导数组大小。这一改进极大地简化了动态数组的创建过程，使代码更加简洁易读。 C++20 的改进C++20 的 DR11 提案允许 new 表达式在某些情况下自动推导数组大小。具体来说，当使用 new 分配数组时，如果初始化列表提供了足够的信息，编译器可以自动推导数组的大小。 示例代码以下是使用 C++20 DR11 特性的示例代码：#include <iostream>int main() { // 自动推导数组大小 auto arr = new int[]{1 编译器支持截至 2025 年，主流编译器已经广泛支持 DR11 提案：GCC：从 11 版本开始支持。Clang：从 9 版本开始支持。MSVC：从 19.27 版本开始支持。 总结C++20 的 DR11 提案通过允许 new 表达式自动推导数组大小，进一步简化了动态数组的创建过程。这一特性不仅减少了代码冗余，还提高了代码的可读性和灵活性。
30410编辑于 2025-03-11 - 来自专栏机器学习与推荐算法
关于推荐系统中协同过滤模型的思考
摘要 来聊聊推荐中的协同过滤思想。 正文 推荐系统，主要研究的是两类对象：用户（user）和物品（item），即给对的用户推荐对的物品。 协同过滤，想必大家都听说过吧，这是推荐系统中最为经典的模型之一。她是利用集体智慧的思想来完成个性化的推荐任务。 其实，协同过滤就是研究这两个对象（user和item）以及这三种相似性（user-user、item-item和user-item）的算法。 协同过滤可进一步的分为基于近邻的模型和隐因子模型。 ② 其中隐因子模型主要是将用户-物品矩阵编码到同一隐变量空间，其中当属矩阵分解（Matrix Factorization）模型了。 由此可见，协同过滤主要衡量的是两个对象之间的相似性。
58920发布于 2020-04-20 可扩展文本转语音框架实现多模型协同
这些机器学习模型架构差异巨大，传统集成方式耗时且复杂。为解决该问题，某机构文本转语音团队开发了通用模型集成框架。 模型多样性挑战现代语音模型通常采用双神经网络架构：声学模型：将文本转换为梅尔频谱图声码器：将频谱图转为音频波形主流声学模型采用注意力机制，但存在语音清晰度问题。 集成技术难点框架需要解决三大核心问题：流式处理：支持语音分块生成以降低延迟硬件适配：兼容不同加速器（如需要固定张量大小的专用芯片）逻辑分层：明确模型与集成层的功能边界模块化架构设计集成层通过两类组件实现功能解耦 ：SequenceBlock：处理张量转换（如文本编码）StreamableBlock：按需生成数据（如音频帧）典型声学模型构建示例：双编码器（SequenceBlock）处理文本嵌入上采样器（StreamableBlock Upsampler'}, {'type': 'Decoder'} ] } }]该框架已成功应用于生产环境，既支持最新无注意力架构，也兼容传统模型
24410编辑于 2025-08-14- 来自专栏深度学习自然语言处理
【QA】基于动态协同网络（DCN）的问答模型
在训练期间使用最大序列长度600，对于所有循环单元，maxout层和线性层使用隐藏状态大小200。所有LSTM都随机初始化参数，初始状态为零。Sentinel向量在训练期间随机初始化和优化。 对于动态解码器，将最大迭代次数设置为4，maxout pool大小为16，并使用ADAM优化模型，所有模型都使用Chainer。 实验结果 在数据集SQuAD上，有两个评估指标。 与其他模型相比，SQuAD数据集的DCN模型的性能如下表所示。从表中可以看出无论是单模型DCN还是整体DCN都排名第一。 ? 类似地，模型逐渐将终点的概率质量移动到正确的单词。 ? 作者在实验中使用2层MLP代替HMN来测试HMN maxout层的池的大小，实验数据显示（如下图）pool的大小为16时模型性能更好。 ? 从下图的实验结果可以看出协同注意力编码器对于长文档很大程度上是不可知的，其性能并没有随着文档的长度呈骤降趋势。我们可以看到，答案越长，性能就会越低。 ?
1K50发布于 2020-02-18 人机协同蒸馏实战：揭开大语言模型的黑盒
将大语言模型带出黑盒：人机协同蒸馏实用指南随着自然语言处理领域的发展和新思想的涌现，我们看到越来越多高效利用计算能力的方法，从而构建出运行成本更低、更易于控制的AI系统。 将分享一些真实世界的案例研究和方法，指导如何在开发阶段而非运行时使用大型生成模型，通过高效的人机协同工作流来提炼其结构化预测结果，并将针对特定任务的组件蒸馏到小至6MB，这些组件可以低成本、私密且可靠地运行 人机协同蒸馏工作流工作流的关键在于结合上下文学习与人机协作，最终蒸馏出任务专用模型。 人机协同：利用工具（如 Prodigy）构建高效的标注工作流，人类标注员可以快速审核、纠正或补充模型生成的初步标注，从而创建高质量的训练数据集。 过程：在人机协同循环中使用LLM进行标注。结果：蒸馏出仅6MB的模型，F1分数达到99%，数据处理开发速度提升了10倍，目前已有8个市场分析管道投入生产，处理速度达16000+ 词/秒。
33610编辑于 2026-01-13- 来自专栏frytea
Win11 手动调整任务栏大小 ｜ 定制任务栏 2022
于是心生一计，在计算资源较充足的开发服务器上开一台高性能的桌面虚拟机，恰好此前一直没有使用过 Win11，趁此机会体验一下。 因此就有了这篇文章，介绍两种定制 Win11 任务栏的方法。 先看效果，再介绍方法。 调整前： 修改后： 怎么样，是不是省出了很多宝贵的桌面空间，下面介绍两种方法。 通过这个工具即可方便的定制 Win11 任务栏，甚至可以修改为 Win7 样式。 总结# 本文介绍了两种 Win11 任务栏的定制方法，同样的关键词在网络上能找到的大都是方法一，但是这种方法已经过时，因此就有了这篇文章。希望对你有用。 参考文献# Win11怎么设置小任务栏？ Win11设置小任务栏图文方法 StartAllBack Windows11任务栏大小修改 - 知乎 注：本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。
17.4K40编辑于 2023-10-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号