- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI科技评论
从炼大模型到大小模型协同进化！产研界联合发布端云协同平台“洛犀”
该平台提供一站式的端云协同模型训练、部署、通信能力，致力于促进大小模型协同进化，构建充分利用大模型应用潜力的新一代人工智能体系。 2022达摩院十大科技趋势指出，大模型参数竞赛正进入冷静期，大小模型将在云边端协同进化——大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效，让大模型的能力持续强化 包含10万亿参数的达摩院大模型M6，是目前业界最大的多模态预训练模型。 通过洛犀平台技术，联合研究团队成功将3.4亿参数版本的M6模型高精度压缩至百万参数的10MB大小，以1/30的体积还原了90%以上性能，并试点部署于搜索场景，成为业界首个落地的端上预训练模型。 达摩院智能计算实验室负责人周靖人介绍，团队将进一步探索端云协同框架下端模型和云模型的协同机理，并完善算法方案和业务实践。洛犀平台未来计划对开发者开放，让大小模型协同进化的时代加速到来。
1.8K10编辑于 2022-03-03 - 来自专栏深度学习与python
大小模型协同架构在金融智能投顾中的应用与挑战
本文整理自北银金科高级算法专家尹辰轩 6 月份在 AICon 2025 北京站 的分享《大小模型协同在智能投顾领域的应用》。 本次演讲分享了大小模型协同架构下的大模型投顾方案，利用传统量化小模型的精准性和高性能，结合大模型 Agent 的搭建，实现问题识别、任务扩写、API 调用小模型以及答案融合。 智能投顾的前世今生 在智能投顾这一业务场景中，我们尝试用“大小模型协同”的架构，对传统金融业务做了一次 AI 原生的再创造。 先回到“智能投顾”本身。这个概念早在十年前就已进入公众视野。 大小模型协同架构 我们在大小模型协同中要解决的核心问题有三点：幻觉、专业深度、算力成本。 幻觉容忍度低在银行业务里，大模型 1% 的错误可能直接抬高 1% 的不良率，这是不可接受的。 大小模型协同的价值与效果 大模型投顾的最大优势在于其互动性和用户体验。与传统的机械化自动化推荐客服相比，大模型投顾在这些方面确实表现出色。
77810编辑于 2025-11-26 - 来自专栏具身小站
模型大小和显存大小的关系
PART 01 核心关系：模型大小与显存消耗 模型对显存的消耗主要分为 推理 和 训练 两个阶段，前者需求较低，后者则成倍增长。 1. 推理显存计算 推理时，显存主要用于存放 模型权重 。 补充说明： 另外，解释下模型参数的单位B是指参数的个数（10亿单位），显存GB的单位是字节数，不是直接等号关系，是通过每个参数的字节数作为桥梁转换的，下面展开这个转换关系。 表达方式 含义 示例 7B 参数 7 × 10⁹ 个参数 70 亿个浮点数 7 GB 显存 7 × 10⁹ 字节 可以存放 70 亿个INT8 数 详细计算过程 参数数量：7B = 7 × 10⁹ = 显存占用（INT8为例）： 7B × 1 字节/参数 = 7 × 10⁹ 字节。 单位换算： 1 GB = 10⁹ 字节（十进制，硬盘厂商常用） 1 GB = 2³⁰ ≈ 1.074×10⁹ 字节（二进制，操作系统/显存常用） 通常近似：7 × 10⁹ 字节 ≈ 7 GB（或约 7
48410编辑于 2026-05-22 - 来自专栏林德熙的博客
win10 uwp 设置启动窗口大小 获取窗口大小
本文主要说如何设置我们窗口的启动大小，UWP启动窗口大小。 设置启动窗口 设置窗口大小 ApplicationView.PreferredLaunchViewSize = new Size(1000, 1000); Window.Current.Bounds.Width 获取窗口高度 Window.Current.Bounds.Height 但是如果我们需要判断我们的窗口大小变化的话，一个简单的方法，使用动态适应 然后在 View 写我们拿到窗口大小 public void NarrowVisual(object sender, VisualStateChangedEventArgs e) Window.Current.Bounds.Height } 上面代码是 MasterDetail 使用的，参见 http://lindexi.oschina.io/lindexi/post/win10
2.8K20编辑于 2022-08-09 - 来自专栏AI科技评论
如何打通大小模型任督二脉？「洛犀」端云协同平台重磅发布，技术详解来了！
2022达摩院十大科技趋势指出，“大模型参数竞赛正进入冷静期，大小模型将在云边端协同进化”——大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效。 该平台提供一站式的端云协同模型训练、部署、通信能力，致力于促进大小模型协同进化，构建充分利用大模型应用潜力的新一代人工智能体系。 ，称之为“端侧中心化协同；-当云侧有泛化模型、端侧有个性化模型，且两个模型相互协作学习和推理时，称之为“端云双向协同”，代表性方向可参考达摩院十大趋势中提到的大小模型协同演进。 团队发现把云上排序大模型拆分后部署，可形成小于10KB的端侧精细轻量化子模型，既保证了端侧推理精度无损失，同时实现了轻量级应用端侧资源。团队将这种方式叫作端云协同推理。 ；•压缩后端上10M 大小的M6小模型相比开源的16M ALBERT-zh小模型，在体积减少近40%的情况下效果更优；•已试点部署到支付宝搜索引擎，成为业界首个落地的端上预训练模型。
2.4K10编辑于 2022-03-03 - 来自专栏林德熙的博客
win10 uwp 设置启动窗口大小 获取窗口大小 设置启动窗口获得窗口大小
本文主要说如何设置我们窗口的启动大小，UWP启动窗口大小。 设置启动窗口 设置窗口大小 ApplicationView.PreferredLaunchViewSize = new Size(1000, 1000); Window.Current.Bounds.Width 获取窗口高度 Window.Current.Bounds.Height 但是如果我们需要判断我们的窗口大小变化的话，一个简单的方法，使用动态适应 然后在 View 写我们拿到窗口大小 public void NarrowVisual(object sender, VisualStateChangedEventArgs e) Window.Current.Bounds.Height } 上面代码是 MasterDetail 使用的，参见 http://lindexi.oschina.io/lindexi/post/win10
6.9K20发布于 2018-09-18 - 来自专栏林德熙的博客
win10 uwp 设置启动窗口大小 获取窗口大小 设置启动窗口获得窗口大小
本文主要说如何设置我们窗口的启动大小，UWP启动窗口大小。 设置启动窗口 设置窗口大小 ApplicationView.PreferredLaunchViewSize = new Size(1000, 1000); Window.Current.Bounds.Width 获取窗口高度 Window.Current.Bounds.Height 但是如果我们需要判断我们的窗口大小变化的话，一个简单的方法，使用动态适应 然后在 View 写我们拿到窗口大小 public void NarrowVisual(object sender, VisualStateChangedEventArgs e) Window.Current.Bounds.Height } 上面代码是 MasterDetail 使用的，参见 http://lindexi.oschina.io/lindexi/post/win10
5.7K20发布于 2019-03-13 - 来自专栏Timhbw博客
windows10强大小工具
Windows 10小工具，实用的Win10小工具，集成移除水印、 KMS激活、Office激活、系统激活、ESD转换、磁力搜索、文件HASH、系统信息、系统版本、任务监控、Hosts编辑、Adobe 文件下载 Win10全系列增强小工具 Windows V1.6.7 10.43MB 下载密码：发表评论并刷新可见！ 下载地址
1.2K90发布于 2018-05-02 - 来自专栏JAVA乐园
10 个优化技巧，减少 Docker 镜像大小！
我们必须以某种方式创建我们的 Dockerfile，以便从该 Dockerfile 构建的镜像在大小方面得到优化。 在本文中，我们将讨论 10 种减少 docker 镜像大小的有效方法。 python:3.9 的大小约为 1.3 GB，而 python:3.9-slim 的大小仅为 1 GB 左右。 您可以使用 alpine 版本进一步减少镜像。 4：使用多阶段构建来减小大小 为了显着减小大小，我们可以使用 docker 多阶段构建的概念。这里我们使用不同的 images/Dockerfile 来构建和打包应用代码。 使用 --no-install-recommends 标志可以显着减小镜像大小。 /aws/install && \ rm awscliv2.zip 10：使用 Docker 镜像缩容工具 有几个dockerfile 优化工具可以帮助你减少 docker 镜像的大小。
1.2K31编辑于 2023-09-02 - 来自专栏我的小碗汤
10 个优化技巧，减少 Docker 镜像大小
我们必须以某种方式创建我们的 Dockerfile，以便从该 Dockerfile 构建的镜像在大小方面得到优化。 在本文中，我们将讨论 10 种减少 docker 镜像大小的有效方法。 python:3.9 的大小约为 1.3 GB，而 python:3.9-slim 的大小仅为 1 GB 左右。 您可以使用 alpine 版本进一步减少镜像。 4：使用多阶段构建来减小大小 为了显着减小大小，我们可以使用 docker 多阶段构建的概念。这里我们使用不同的 images/Dockerfile 来构建和打包应用代码。 使用 --no-install-recommends 标志可以显着减小镜像大小。 /aws/install && \ rm awscliv2.zip 10：使用 Docker 镜像缩容工具 有几个dockerfile 优化工具可以帮助你减少 docker 镜像的大小。
8.3K31编辑于 2023-03-20 - 来自专栏shigen的学习笔记
修改docker镜像版本，容器大小缩小10%！
个人IP：shigen是的，你看的没错：修改docker镜像的版本，我的容器大小缩小到了10%。效果如下：其中，1.0.0属于老版本。好的，进入正题。 参考了文章：在Docker中部署Python项目，以及压缩Docker镜像大小。
53610编辑于 2024-04-24 - 来自专栏DeepHub IMBA
如何估算transformer模型的显存大小
在微调GPT/BERT模型时，会经常遇到“ cuda out of memory”的情况。这是因为transformer是内存密集型的模型，并且内存要求也随序列长度而增加。 所以最后内存就变为： memory_modal = 4*n_tr_blocks*square_of(n_head * dim) 上面的估算没有考虑到偏差所需的内存，因为这大部分是静态的，不依赖于批大小 transformer模型所需的总内存为: total_memory = memory_modal + 2 * memory_activations 模型参数的内存： 4*n_tr_blocks*square_of R = n_tr_blocks = transformer层堆叠的数量 N = n_head = 注意力头数量 D = dim = 注意力头的维度 B = batch_size = 批大小 S S，这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS(S) = 4*R*N^2*D^2 + RBNS^2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例
2.4K30编辑于 2022-11-11 - 来自专栏数据派THU
如何估算transformer模型的显存大小
在微调GPT/BERT模型时，会经常遇到“ cuda out of memory”的情况。这是因为transformer是内存密集型的模型，并且内存要求也随序列长度而增加。 所以最后内存就变为： memory_modal = 4*n_tr_blocks*square_of(n_head * dim) 上面的估算没有考虑到偏差所需的内存，因为这大部分是静态的，不依赖于批大小 transformer模型所需的总内存为： total_memory = memory_modal + 2 * memory_activations 模型参数的内存： 4*n_tr_blocks R = n_tr_blocks = transformer层堆叠的数量 N = n_head = 注意力头数量 D = dim = 注意力头的维度 B = batch_size = 批大小 S = sequence_length 这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS(S) = 4*R*N^2*D^2 + RBNS^2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例
3.4K20编辑于 2022-09-14 VLM双模型协同规划复杂视觉任务
该方法使用一个专门的视觉语言模型来感知图像中的场景，并模拟达成目标所需的动作。然后，第二个模型将这些模拟结果转换为用于规划问题的标准编程语言，并对解决方案进行细化。 处理视觉任务在过去几年中，研究人员及其同事一直在研究使用生成式AI模型来执行复杂的推理和规划，通常利用大型语言模型处理文本输入。 许多现实世界的规划问题（如机器人装配和自动驾驶）具有视觉输入，而大型语言模型自身难以良好处理。研究人员试图通过利用视觉语言模型（能够处理图像和文本的强大AI系统）来扩展到视觉领域。 该系统名为“视觉语言模型引导的形式化规划”，它利用两个专门的视觉语言模型协同工作，将视觉规划问题转化为可供形式化规划软件直接使用的文件。 “生成器和模拟器协同工作，以达成完全相同的结果，即一个能实现目标的动作模拟，”作者解释道。
16410编辑于 2026-05-23- 来自专栏林德熙的博客
win10 uwp 从StorageFile获取文件大小
本文主要：获取文件大小 private async Task<ulong> FileSize(Windows.Storage.StorageFile file) { var 其实我们可以使用FutureAccessList ，这个可以使用1k个，但是为什么只有1k，好少，垃圾wr，要就给无限 参见：http://lindexi.oschina.io/lindexi/post/win10
1.1K20编辑于 2022-08-09 - 来自专栏量子位
万亿大模型究竟怎么用？达摩院&浙大&上海人工智能实验室联手推出洛犀平台：大小模型端云协同进化
大小模型协同进化，才能充分利用大模型应用潜力，构建新一代人工智能体系。 此话怎讲？ 这就得先说说大模型“军备竞赛”背后的现实困境了。 大小模型协同进化 核心问题总结起来很简单，就是大模型到底该怎么落地？ 具体而言，压缩后的M6小模型大小仅为10MB，与开源的16M ALBERT-zh小模型相比，体积减少近40%，并且效果更优。难得的是，10MB的M6模型依然具有文本生成能力。 该团队发现，把云上排序大模型拆分后部署，可形成小于10KB的端侧精细轻量化子模型，即保证端侧推理精度无损失，同时实现了轻量级应用端侧资源。这也就是端云协同推理。 也正是在这样端云协同的趋势之下，大小模型的协同演进有了新的范式可依：云侧有泛化模型，端侧有个性化模型，两个模型相互协作、学习、推理，实现端云双向协同。
1.2K30编辑于 2022-03-04 - 来自专栏Reck Zhang
Java 10 - 内存模型
内存模型 主存储器与工作存储器 主存储器 方法区(Method Area) 方法区用于存储类的信息, 常量, 静态变量, 即时编译器编译后的代码. 栈(Java Virtual Machine Stacks) 代表着Java方法执行的内存模型, 每个方法执行时都会创建一个栈帧来存储方法的变量表, 操作数栈, 动态链接方法, 返回值, 返回地址等信息
42320发布于 2021-08-11 - 来自专栏Python与算法之美
10，模型的优化
采样次数通过n_iter参数指定，通过调整其大小可以在效率和性能方面取得平衡。其采样方法调用ParameterSampler函数,采样空间必须用字典进行指定。 三， 模型特定交叉验证 一些特定的模型，sklearn构建了一些内部含有交叉验证优化机制的估计器。 它们主要是在linear_model模块。 四， 信息准则优化 模型选择主要由两个思路。 解释性框架：好的模型应该是最能解释现有数据的模型。可以用似然函数来度量模型对数据集描述能力。 预测性框架：好的模型应该是最能预测结果的模型。 通常模型参数越多越复杂，越容易出现过拟合。 所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 AIC(赤池信息准则)和BIC(贝叶斯信息准则)对模型的选择提供了一种判据。 AIC信息准则选择AIC最大的模型。 BIC信息准则选择BIC最大的模型。
84621发布于 2020-07-17 DeepFig ModelFusion：重新定义多模型协同架构
异构模型通信的技术突破当AI模型规模迈入千亿参数时代，单一模型已无法满足复杂场景需求，而多模型协同却面临"通信延迟"与"资源冲突"的双重挑战。 DeepFig独创的ModelFusion架构，通过三项核心技术突破，实现了异构模型的高效协同：1. 动态路由协议（DRP）传统静态通信链路在多模型交互时存在30%的带宽浪费，DRP协议通过：实时监控模型间数据流向，动态调整最优路径采用量子启发式算法，在10ms内完成100+节点的路由规划自适应压缩非关键特征 张量内存池（TMP）解决多模型显存碎片化问题：统一管理各模型的中间张量，内存复用率提升65%智能预分配策略，将模型启动时间从8分钟压缩至45秒支持显存/内存自动交换，16G显存即可运行4个百亿模型核心技术参数解密表格复制技术指标 DeepFig V1.0行业平均水平技术差距多模型通信延迟12ms85ms7.1x模型切换耗时300ms2.4s8x内存复用率89%42%2.1x最大支持模型数量16个4个4x异构模型兼容性11种类型3
36400编辑于 2025-09-09- 来自专栏机器学习与推荐算法
关于推荐系统中协同过滤模型的思考
摘要 来聊聊推荐中的协同过滤思想。 正文 推荐系统，主要研究的是两类对象：用户（user）和物品（item），即给对的用户推荐对的物品。 协同过滤，想必大家都听说过吧，这是推荐系统中最为经典的模型之一。她是利用集体智慧的思想来完成个性化的推荐任务。 其实，协同过滤就是研究这两个对象（user和item）以及这三种相似性（user-user、item-item和user-item）的算法。 协同过滤可进一步的分为基于近邻的模型和隐因子模型。 ② 其中隐因子模型主要是将用户-物品矩阵编码到同一隐变量空间，其中当属矩阵分解（Matrix Factorization）模型了。 由此可见，协同过滤主要衡量的是两个对象之间的相似性。
58920发布于 2020-04-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号