- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序人生
Code is Law
为什么说 Code is Law？ 当我工作得越久，我越发感觉到流程的自动化和易用，非常非常重要。 我们很多做事的方法，都在最大程度地践行和优化 Code is Law。 arcli 也是我们 Code is Law 思想的一种体现。我们说我们的一个原则是 内部的各种工具最好统一易用。 所以，在 Arcblock，我们说我们要构建一个 人人可以参与制定 的公司文化，我们就要 在工具上让这种参与唾手可得 —— 所以，我们拥抱 Code is Law。 Code is Law！
1.2K00发布于 2018-07-30 【Scaling Law 的新边界】
Scaling Law 的新边界探索 Scaling Law 描述了模型性能与计算资源、数据规模和模型参数之间的幂律关系。 案例分析：跨模态任务的 Scaling Law 跨模态任务（如图文生成、视频理解）中，Scaling Law 的表现与传统单模态任务不同。 代码实现：计算 Scaling Law 系数 以下 Python 代码演示如何通过拟合实验数据计算 Scaling Law 系数： import numpy as np from scipy.optimize ，Scaling Law 需考虑激活参数占比。 突破边界的实践方法 数据质量补偿：当数据规模受限时，通过提升数据质量可突破传统 Scaling Law 预测。BLOOM 模型证明，经过严格过滤的数据集可使性能提升 1.5-2 倍于随机采样数据。
13610编辑于 2026-01-20- 来自专栏Listenlii的生物信息笔记
Scaling law的争论~
另外，scaling law所用的最高丰度物种的丰富度(Nmax)和N都在预测的范围之内，因此该方法并不属于外推。 第三，Amy Willis质疑了scaling law的预测能力。 Scaling law的研究使用了丰度的对数正态分布。 丰度的对数正态分布的一个解释是它们来自随机的计数过程。然而这个过程不足以完全解释对数正态分布的出现。
1.3K31发布于 2020-06-01 - 来自专栏啄木鸟软件测试
The Google Testing Law (谷歌测试定律)
软件测试(Software Testing)是软件工程(Software Engineering)中不可或缺的一个过程。软件测试触发预定义的测试步骤、比较软件的实际输出结果和预期输出结果，以此来评价软件质量(Quality)，判断软件的实现是否满足设计目标和用户需求。只有经过严格测试的软件，才能发布给用户使用。在实际中，根据测试阶段的不同，软件测试可以分为:
1.1K30发布于 2020-11-03 - 来自专栏不二小段
Scaling Law 已死，Data Law 当立！Datology AI 如何用「数据策展」让大模型训练提速 7.7 倍
然而，最近一段时间新出的模型能力增长逐渐放缓，简单粗暴地堆砌算力和数据带来的边际效益不断递减，很多人开始怀疑大模型的规模定律（Scale law）是否已经失效。 我们真的撞上数据墙了吗？
7500编辑于 2026-04-09 - 来自专栏人工智能
什么是大语言模型的 Scale Law？
有评论家认为，OpenAI 的 GPT5 模型，快触碰到 scale Law 的天花板了。在人工智能领域中，大语言模型的快速发展离不开 scale law 的理论支持。 所谓的 scale law ，是指当模型规模增加时，其性能提升的规律与参数、计算资源和数据规模之间的关系。scale law 的提出不仅为模型设计提供了理论基础，也在实践中指导了模型的训练和优化。 Scale Law 的核心概念scale law 的核心在于研究模型性能（通常以损失函数或其他评价指标表示）如何随着模型参数数量、训练数据量以及计算资源的增长而变化。 实际案例：GPT-3 的设计GPT-3 是一个经典的大语言模型，其设计充分体现了 scale law 的指导思想。 现实中的应用在实际应用中，scale law 提供了一种确定模型规模的科学方法。
66310编辑于 2025-01-21 - 来自专栏人工智能
人工智能领域的 Scaling Law 详解
Scaling Law 的定义与发展Scaling law 描述的是在深度学习系统中，模型性能（如损失函数值）随着资源（如模型参数、训练数据量、计算力等）扩展而呈现的趋势。 Scaling Law 的基础公式Scaling law 通常用数学公式描述深度学习模型的损失值与模型参数、数据集规模、计算资源之间的关系。 Scaling Law 的具体应用为了更好理解 scaling law，我们来看一些实际案例。一个典型的应用是 OpenAI 在训练 GPT-3 时所使用的扩展策略。 最新的研究与未来方向近年来，Scaling law 的研究逐步延伸至不同的 AI 模型和任务中，不再局限于语言模型。例如，在图像识别领域，研究人员也发现了类似的 Scaling law 现象。 未来，Scaling law 的研究可能会更多地关注如何通过新型的训练方法来打破扩展瓶颈。
1.8K10编辑于 2025-05-03 - 来自专栏秋枫学习笔记
Meta | Wukong：推荐系统中的Scaling Law探索
标题：Wukong: Towards a Scaling Law for Large-Scale Recommendation 地址：https://arxiv.org/pdf/2403.02545.pdf
2.2K10编辑于 2024-03-18 - 来自专栏资讯类翻译专栏
线上言论规则的奇异曲折之路 （ technology tech law)
study, sensational journalism, and overzealous senators led to the most influential Internet speech law The law had two key components -- the "display provisions" and the "Good Samaritan provision." Additionally, the law included a Good Samaritan provision, which makes up the heart of Section 230 (and One test of the law played out in 1997 when Matt Drudge posted allegedly defamatory statements about The Law of the Cyberland With this historical overview complete, we are more or less caught up to the
91030发布于 2020-12-18 - 来自专栏机器之心
Scaling Law 又一次性感了吗？
专题解读 事件： Sora 的出现被认为是 Scaling Law 的又一次成功，这也引起了社区中更多对 Scaling Law 的讨论。 这让 Scaling Law 再次成为人工智能领域的热点话题。 Scaling Law 是什么？ Scaling Law 带来的争议有哪些？ 围绕 Scaling Law 的讨论中，「模型是否越大越好？」的问题在近几年反复被提及，各方观点莫衷一是。 Scaling Law 是什么？Scaling Law 都有哪些争议？都有谁相信 Scaling Law？为什么 OpenAI 能用好 Scaling Law？... Scaling Law 又一次性感了吗？ Scaling Law 是什么？Scaling Law 都有哪些争议？都有谁相信 Scaling Law？
52410编辑于 2024-04-12 - 来自专栏小七的各种胡思乱想
LLM推理scaling Law
OpenAI的O-1出现前，其实就有已经有大佬开始分析后面OpenAI的技术路线，其中一个方向就是从Pretrain-scaling，Post-Train-scaling向Inference Scaling的转变，这一章我们挑3篇inference-scaling相关的论文来聊聊，前两篇分别从聚合策略和搜索策略来优化广度推理，最后一篇全面的分析了各类广度深度推理策略的最优使用方案。
87021编辑于 2024-10-10 - 来自专栏普通程序员
任务都是”按时“完成——帕金森琐碎定律(Parkinsons Law of Triviality)
一、什么是帕金森琐碎定律 帕金森琐碎定理（英语：Parkinson's Law of Triviality），又译为帕金森氏凡俗法则，或称芝麻蒜皮定律、芝麻绿豆定律。 成体系的文章可以在这里查看 http://sas2.elte.hu/tg/ptorv/Parkinson-s-Law.pdf 最初的意思是一个足够大的官僚机构将产生足够的内部工作来保持自己的“忙碌”，从而证明其继续存在而没有相称产出的合理性 更早的相关文章发表于1955年的《经济学人》上，可以在这里找到原文 https://www.economist.com/news/1955/11/19/parkinsons-law ?
3.9K20发布于 2019-11-01 - 来自专栏新智元
Ilya警告、LeCun冷嘲、奥特曼沉默：Scaling Law时代还能走多远？
他就是Scaling Law，但是令所有人焦虑的是：这个幽灵是否将要，还是已经「撞墙」了？！ Scaling Law是否已经失效？ 大佬们的看法出现了前所未有的分歧。
32010编辑于 2025-12-31 - 来自专栏NewBeeNLP
Meta关于深度学习推荐系统的Scaling Law的研究
今天看看 Meta 关于深度学习推荐系统 Scaling Law 的研究。 零、论文信息 论文题目：Wukong: Towards a Scaling Law for Large-Scale Recommendation 论文链接：https://arxiv.org/abs/2403.02545 本文整体贡献： 提出了一个新的特征交叉结构，名为Wukong，在离线数据集上取得了最好结果 汇报了推荐系统中的Scale Law， 在计算复杂度上，Wokong模型维持了大约两个数量级的增长稳定性，训练计算量翻两番 指的指出的是，Meta最近有不同的组在一个生成式推荐模型上也汇报了Scale Law这个现象，具体参看如下提问： 如何评价Meta最新的推荐算法论文：统一的生成式推荐第一次打败了分层架构的深度推荐系统？ （感觉大部分与特征交叉还有最后MLP相关的都是比较有效果的） 附录：胡言乱语 Scale Law还是展示的比较清晰的，通过加大对特征交互的计算成本投入，可以获得性能提升也很符合直觉，有一点小遗憾是没有涉及序列建模的部分
1K10编辑于 2024-07-12 - 来自专栏深度学习与python
探索 Scaling Law 的边界与 AI 芯片的新竞争格局
主持人：大模型预训练阶段的 Scaling Law 还可以持续吗？算力的突破是否可以带来新的 Scaling Law？ 曾奥涵： 这个问题有两个方面，一是预训练阶段的 Scaling Law 是否能够持续，二是是否有突破能带来新的 Scaling Law。 这两者的结合推动了 Scaling Law 的持续，可能跨越 2 到 3 个数量级，甚至达到 5 到 6 个数量级。 然而，预训练阶段的 Scaling Law 是否能持续呢？ 未来的 Scaling Law 是否需要考虑更多的资源优化策略？ 那么，是否可以认为我们的 AI 模型架构正在推动我们当前的 Scaling Law 呢？
37610编辑于 2025-02-06 - 来自专栏机器之心
原来Scaling Law还能被优化？Meta这招省token又提效
尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后，AI 领域的发展更是进入了快车道。 更重要的是，它的表现甚至足以改变 Scaling Law 中的系数。Meta 也用 Triton 实现了这种注意力机制。 神经 Scaling Law 概述 要理解这项研究的意义，首先需要了解一下 Scaling Law。 可以看到，与点积注意力 Transformer 相比，2-simplicial 注意力具有更陡的斜率 α，即其 Scaling Law 的指数更高。 © THE END 转载请联系本公众号获得授权
23410编辑于 2025-07-08 - 来自专栏腾讯云TVP
Does the New Reasoning Paradigm (Query+CoT+Answer) Support a New Scaling Law?
Lu points out: The term "Scaling Law" is becoming overloaded. Why does the scaling law remain effective from hundreds of billions to trillions of tokens? other phases have gained recognition with their own Scaling Laws: the reinforcement learning Scaling Law (RL Scaling Law) for post-training, and the Inference Scaling Law (also called Test Time Scaling Law Without controllable scalability in test time compute, we can't really talk about a test time scaling law.A
26500编辑于 2025-02-14 - 来自专栏机器之心
GPT超越扩散、视觉生成Scaling Law时刻！北大&字节提出VAR范式
FoundationVision/var 背景介绍 在自然语言处理中，以 GPT、LLaMa 系列等大语言模型为例的 Autoregressive 自回归模型已经取得了较大的成功，尤其 Scaling Law 此外，对于视觉生成领域是否存在「Scaling Law 缩放定律」仍未知，即测试集损失是否随模型或训练开销增长而呈现出可预测的幂律 (Power-law) 下降趋势仍待探索。 GPT 形式自回归模型的强大能力与 Scaling Law，在图像生成领域，似乎被「锁」住了： 自回归模型在生成效果榜单上落后于一众 Diffusion 模型 剑指「解锁」自回归模型的能力和 Scaling Scaling Law 实验 Scaling law 可谓是大语言模型的「皇冠明珠」。 Scaling law 不仅使根据小模型预测大模型性能成为可能，节省了计算开销和资源分配，也体现出自回归 AR 模型强大的学习能力，测试集性能随着 N、T、Cmin 增长。
44210编辑于 2024-04-13 - 来自专栏新智元
Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI
昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。 左图是OpenAI发现的Scaling Law，意味着在模型上投入更多训练时间（GPU周期）时，我们可以获得更好的结果。 右图则暗示了我们尚未触及的一套全新的Scaling Law。 他们不可能不注意到最近圈内盛传的Scaling Law碰壁事件，而重新考虑自己的昂贵投资是否会打水漂。 「我们现在发现了第二个Scaling Law，这是在推理阶段的Scaling Law……所有这些因素导致对Blackwell的需求非常高。」 随着一种Scaling Law的消退，另一种定律取而代之 让我们回到GPT发展放缓这个问题上。
30910编辑于 2025-02-14 - 来自专栏新智元
谷歌重磅推出全新Scaling Law，抢救Transformer！3万亿美元AI面临岔路
编辑：编辑部 NJY 【新智元导读】谷歌团队发现了全新Scaling Law！新方法DiLoCo被证明更好、更快、更强，可在多个数据中心训练越来越大的LLM。 这个核心算法，便是——DiLoCo的Scaling Law。 新的训练方法无惧模型规模，未来，在「多个数据中心」训练大模型的规模不再是问题。 论文中，重点分析了算法因素（如模型副本数量、超参数设置、token预算）如何影响训练过程，并证明这些影响可通过Scaling law准确预测。 其中包括Scaling law本身，以及甚至提供了预测最优超参数的方法。 毕竟，过去的预训练Scaling Law已进入尾声，而新的AI Scaling Law与训练无关。
33100编辑于 2025-03-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号