- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
大模型扩展新维度：Scaling Down、Scaling Out
近年来， Scaling Up 指导下的 AI 基础模型取得了多项突破。 为了应对这些挑战，来自悉尼大学的研究团队提出了一种新的 AI Scaling 思路，不仅包括 Scaling Up（模型扩容），还引入了 Scaling Down（模型精简）和 Scaling Out（ Scaling Up: 模型扩容，持续扩展基础模型 Scaling Up 通过增加数据规模、模型参数和计算资源，使 AI 系统的能力得到了显著提升。 Scaling Out: 模型外扩，构建 AI 生态系统 在 Scaling Up 和 Scaling Down 之后，文章提出 Scaling Out 作为 AI Scaling 的最后一步，其通过将孤立的基础模型扩展为具备结构化接口的专业化变体 Scaling Up 提供基础知识，Scaling Down 提高适应性，Scaling Out 构建开放、去中心化的 AI 生态系统，该系统中的不同接口相互协同，共同应对复杂挑战。
42510编辑于 2025-02-25 - 来自专栏数字芯片实验室
什么是Dennard scaling?
Dennard Scaling（登纳德缩放定律）是1974年由Robert Dennard提出的，它与摩尔定律共同指导了集成电路行业多年。 Dennard Scaling的核心观点是，随着晶体管尺寸的缩小，其功率密度保持不变，从而使芯片的功率与芯片面积成正比。 Dennard Scaling预测，随着晶体管密度的增加，每个晶体管的能耗将降低，因此硅芯片上每平方毫米的能耗几乎保持恒定。 然而，自2005-2007年前后，Dennard Scaling定律似乎已经失效。集成电路中的晶体管数量仍在增加，但性能提升开始放缓。 因此，Dennard Scaling定律在深亚微米时代不再准确，需要新的技术如多核处理器、3D芯片技术、先进封装技术等来继续推动性能的提升。
1.5K10编辑于 2024-05-10 【Scaling Law 的新边界】
Scaling Law 的新边界探索 Scaling Law 描述了模型性能与计算资源、数据规模和模型参数之间的幂律关系。 案例分析：跨模态任务的 Scaling Law 跨模态任务（如图文生成、视频理解）中，Scaling Law 的表现与传统单模态任务不同。 代码实现：计算 Scaling Law 系数 以下 Python 代码演示如何通过拟合实验数据计算 Scaling Law 系数： import numpy as np from scipy.optimize # b 即为关键的 scaling exponent print(f"Scaling exponent: {b:.4f}") 稀疏化模型的 Scaling Law 当采用 MoE（混合专家）架构时 ，Scaling Law 需考虑激活参数占比。
11110编辑于 2026-01-20- 来自专栏Listenlii的生物信息笔记
Scaling law的争论~
另外，scaling law所用的最高丰度物种的丰富度(Nmax)和N都在预测的范围之内，因此该方法并不属于外推。 第三，Amy Willis质疑了scaling law的预测能力。 一篇评论也提到了scaling laws的方法 ? Scaling law的研究使用了丰度的对数正态分布。 丰度的对数正态分布的一个解释是它们来自随机的计数过程。然而这个过程不足以完全解释对数正态分布的出现。
1.3K31发布于 2020-06-01 - 来自专栏howtouselinux
tcp window scaling 的用途
了解更多 why you should use tcp window scaling on Linux
2.2K10发布于 2021-03-25 - 来自专栏计算机视觉理论及其实现
slim.variance_scaling_initializer()
Xavier Glorot和yobengio(2010):[了解深度前馈神经网络训练的难点]。(http://www.jmlr.org/programedings/papers/v9/glorot10a/glorot10a.pdf)
1.4K30编辑于 2022-09-04 - 来自专栏生物信息学、python、R、linux
Scaling与Normalization的区别
pandas as pd import numpy as np # for Box-Cox Transformation from scipy import stats # for min_max scaling from mlxtend.preprocessing import minmax_scaling from sklearn import preprocessing # plotting modules Scaling 特征缩放，特点是不改变数据分布情况。比如min-max或者Z-score （主要有如下四种方法，详见：Feature_scaling）. ? 参考： https://www.kaggle.com/alexisbcook/scaling-and-normalization https://link.zhihu.com/? target=https%3A//en.wikipedia.org/wiki/Feature_scaling
2.2K20发布于 2020-10-26 - 来自专栏超级架构师
Instant Messaging at LinkedIn: Scaling to 10000 of Connections
We recently introduced Instant Messaging on LinkedIn, complete with typing indicators and read receipts. To make this happen, we needed a way to push data from the server to mobile and web clients over persistent connections instead of the traditional requ
1.3K50发布于 2018-04-09 - 来自专栏fangyangcoder
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
现在来介绍作者提出的方法——复合缩放（compound scaling），该方法使用了一个复合参数\(\phi\)有原则性地均匀缩放网络深度，宽度以及分辨率。
1.1K20发布于 2019-07-10 - 来自专栏机器之心
Scaling时代终结了，Ilya Sutskever刚刚宣布
机器之心报道 机器之心编辑部 「Scaling 时代已经终结。」 当这句话出自 Ilya Sutskever 之口时，整个 AI 社区都无法忽视。 AI 发展的阶段转变：从「扩展」到「研究」 扩展时代 (Age of Scaling, 2020-2025)： 过去几年，「扩展 (Scaling)」是主旋律，只要堆算力和数据（主要是预训练）就能获得提升 扩展定律 (Scaling laws)、GPT-3，突然之间大家都意识到我们应该进行扩展。这是语言如何影响思想的一个例子。 「扩展 (Scaling)」只是一个词，但它是一个非常有力的词，因为它告诉人们该做什么。他们说，「让我们试着扩展东西。」所以你会问，我们在扩展什么？预训练是那个被扩展的东西。它是一个特定的扩展配方。
38310编辑于 2025-11-26 - 来自专栏媒矿工厂
Scaling Up to Excellence: 恢复逼真的图像
题目： Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild Jingwen He, Yu Qiao, Chao Dong 论文链接： https://arxiv.org/abs/2401.13627 来源：arxiv2024 内容整理： 周楚骎 SUPIR(Scaling-UP 这项工作引入了 SUPIR（Scaling-UP IR），这是有史以来参数量最大的 IR 方法，旨在探索视觉效果和智能方面的更大潜力。
1.6K10编辑于 2024-02-21 - 来自专栏宇宙之_一粟
Scaling Blockchains Without Giving up Decentralization and Security
论文：Scaling Blockchains Without Giving up Decentralization and Security ---- 背景 “The block chain scalability 今天给大家解读一篇最新预发表的关于解决区块链不可能三角问题的理论研究论文——Scaling Blockchains Without Giving up Decentralization and Security
52041发布于 2020-10-26 - 来自专栏自然语言处理
【LLM系列之PaLM】PaLM: Scaling Language Modeling with Pathways
论文题目：《Scaling Instruction-Finetuned Language Models》 论文链接：https://arxiv.org/abs/2204.02311 github链接1： 它通过在数百种语言理解和生成基准上实现小样本学习sota结果，证明了scaling的良好效果。
1.4K20编辑于 2023-08-25 - 来自专栏我的充电站
文献阅读：DeepNet: Scaling Transformers to 1,000 Layers
文献阅读：DeepNet: Scaling Transformers to 1,000 Layers 1. 文章简介 2. 核心技术点 1. DeepNet整体结构 2. 参数初始化考察 3.
44210编辑于 2022-04-13 - 来自专栏福大大架构师每日一题
2023-05-04：用go语言重写ffmpeg的scaling_video.c示例，用于实现视频缩放（Scaling）功能。
2023-05-04：用go语言重写ffmpeg的scaling_video.c示例，用于实现视频缩放（Scaling）功能。 3.创建缩放上下文（scaling context）并分配输入和输出图像数据的内存空间。4.循环生成合成图像、将输入图像转换为输出图像并将输出图像写入输出文件中，重复该操作若干次。 /examples/internalexamples/scaling_video/main.go ./out/big_buck_bunny.mp4 640*480. dst_file == nil {fmt.Printf("Could not open destination file %s\n", dst_filename)os.Exit(1)}/* create scaling image to file */dst_file.Write(ffcommon.ByteSliceFromByteP(dst_data[0], int(dst_bufsize)))}fmt.Printf("Scaling
44610编辑于 2023-05-04 - 来自专栏学习之旅
【知识】 LLM中的Scaling Laws是什么？
Scaling Laws 的定义及作用 近年来，随着大语言模型（LLM）的参数规模和训练数据量呈指数级增长，研究者发现模型性能与规模之间存在可预测的扩展规律（Scaling Laws） Scaling Laws 的基本原理 Scaling Laws的核心是：模型性能主要取决于参数量（N）、数据量（D）和计算量（C）。 这提醒我们：尽管平均来看Scaling Law是单调的，但微观上某些能力的曲线是非连续的——这也是Scaling Laws研究需要考虑的复杂情形。 这也是Scaling Laws研究未来的一个方向：不仅描述平均性能曲线，还要能刻画能力空间的变化。 4. 多维度扩展： 以往谈论Scaling，主要指参数、数据和算力三个维度。 结语： 大语言模型的Scaling Laws让我们看到了“更大更强”的清晰路径。从参数百万到千亿，模型能力的飞跃印证了Scaling Laws的威力，也催生了一系列新的问题与机遇。
2.9K10编辑于 2025-04-09 - 来自专栏人工智能
人工智能领域的 Scaling Law 详解
Scaling Law 的定义与发展Scaling law 描述的是在深度学习系统中，模型性能（如损失函数值）随着资源（如模型参数、训练数据量、计算力等）扩展而呈现的趋势。 Scaling Law 的基础公式Scaling law 通常用数学公式描述深度学习模型的损失值与模型参数、数据集规模、计算资源之间的关系。 Scaling Law 的具体应用为了更好理解 scaling law，我们来看一些实际案例。一个典型的应用是 OpenAI 在训练 GPT-3 时所使用的扩展策略。 最新的研究与未来方向近年来，Scaling law 的研究逐步延伸至不同的 AI 模型和任务中，不再局限于语言模型。例如，在图像识别领域，研究人员也发现了类似的 Scaling law 现象。 未来，Scaling law 的研究可能会更多地关注如何通过新型的训练方法来打破扩展瓶颈。
1.6K10编辑于 2025-05-03 - 来自专栏腾讯云TVP
The Three-Stage Scaling Laws Large Language Models
The Three-Stage Scaling Laws Large Language ModelsMr. The famous empirical scaling laws for pre-training appear to have plateaued. What about the test time scaling in the final inference stage? This should count as a precursor of test time scaling.How does it work? DeepSeek_R1 paper大模型三阶段的 scaling laws 接力赛张俊林：从Deepseek R1看Scaling Law
24510编辑于 2025-03-03 - 来自专栏秋枫学习笔记
Meta | Wukong：推荐系统中的Scaling Law探索
标题：Wukong: Towards a Scaling Law for Large-Scale Recommendation 地址：https://arxiv.org/pdf/2403.02545.pdf 公司：meta 1.导读 Scaling laws在nlp，cv领域的模型改进方面起着重要作用，但是目前推荐模型并没有表现出类似于在大型语言模型领域观察到的规律，本文在模型本身结构上做出调整，提出了一种基于堆叠的因子分解机 2.6 scaling Wukong 通过调整超参数，可以放大整个模型，主要可以调节的是： l : l 越大，特征交互的阶数越高 n_F, n_L : 控制两个模块产生的emb数 k ：控制压缩幅度
2.1K10编辑于 2024-03-18 - 来自专栏小七的各种胡思乱想
LLM推理scaling Law
OpenAI的O-1出现前，其实就有已经有大佬开始分析后面OpenAI的技术路线，其中一个方向就是从Pretrain-scaling，Post-Train-scaling向Inference Scaling 的转变，这一章我们挑3篇inference-scaling相关的论文来聊聊，前两篇分别从聚合策略和搜索策略来优化广度推理，最后一篇全面的分析了各类广度深度推理策略的最优使用方案。 Towards the Scaling Properties of Compound AI Systems第一篇论文的出发点比较简单，简单说就是论证Inference Ensemble是否有效，既让模型多次回答同一个问题 全面分析：Test Time ScalingScaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model
82621编辑于 2024-10-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号