test - time scaling」共找到 215 篇相关文章

算法论文7

英伟达发现RL Scaling!创造力暴涨,做基座模型做不了的事!

过去学界争论强化学习(RL)对语言模型的作用,此前研究认为其效果有限。本文发现问题出在训练时间短,提出ProRL,让训练突破2000步以上,结果惊人,小模型也能有出色表现。

深度学习自然语言处理
推荐文章8

翁荔最新博文深度拆解Scaling Laws:AI行业最信赖的公式,没有那么可靠

6月24日,前OpenAI安全研究副总裁翁荔在博客发表长文,对缩放定律进行系统梳理,指出该理论在实际拟合和外推过程有易被忽视的陷阱,还讨论了数据有限时定律是否成立等问题。

DeepTech深科技
算法论文8

测试时Scaling或是最大错觉,Google:R1/O1强推理另有原因

Google 112 页论文实证,OpenAI 的 o 系列等模型推理能力提升并非仅因计算时间延长,而是源于对复杂互动的隐式模拟。通过三重验证表明推理能力跃迁或因‘吵得更凶’,而非‘算得更久’。

PaperAgent
新闻资讯7

算力越高收入越多!OpenAI率先验证AI商业Scaling Law:最新收入200亿美元

OpenAI首席财务官公告显示,其年化经常性收入从20亿美元涨至200亿美元,2023 - 2025年算力增9.5倍、收入增10倍。挣得多也烧得多,其还投建数据中心。首款硬件或2026下半年推出。

量子位
算法论文8

AI长身体,直接做实验!自主通用科学家,科研界的Scaling Law来了

本文探讨未来科研范式「自主通用科学家」(AGS),它将AI与机器人技术结合实现科研全流程自动化,有望突破人类科研限制,引发科学范式变革,还介绍了相关架构、优势及面临的挑战和应对策略。

新智元
算法论文8

无预训练模型拿下ARC-AGI榜三!Mamba作者用压缩原理挑战Scaling Law

CompressARC研究中,Mamba作者Albert Gu团队给出不同于大规模预训练的智能配方——最小描述长度(MDL)。一个76K参数、无预训练模型,在ARC - AGI - 1基准解决20%问题,获ARC Prize 2025第三名。

量子位
算法论文8

解决特斯拉「监督稀疏」难题,DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law

自动驾驶领域VLA大模型面临‘监督稀疏’难题,特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决,将‘预测未来图像’作自监督训练任务,还提出轻量级架构降低推理延迟。

机器之心
开源动态8

开启RL Scaling新纪元,siiRL开源:完全分布式强化学习框架,支持超千卡规模高效训练

传统强化学习框架在模型和集群规模达上千块GPU时,存在扩展性瓶颈和效率低下问题。上海创智学院团队推出siiRL,采用全分布式架构和多控制器范式,解决传统框架痛点,在多方面验证了其高性能。

机器之心
算法论文8

奖励模型终于迎来预训练新时代!上海AI Lab、复旦POLAR,开启Scaling新范式

在大语言模型后训练阶段,奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR,采用策略判别学习新范式,适配强化微调,性能和泛化能力强,为LLM后训练带来新可能。

机器之心
算法论文8

英伟达笑到最后!训练2000步,1.5B逆袭7B巨兽,Scaling真来了

英伟达团队提出ProRL训练法,将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B,在多任务中表现出色,解决了熵崩溃和训练不稳定问题。

新智元