「rollout预算分配」共找到 186 篇相关文章
原来Scaling Law还能被优化?Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制,证明其表现能改变Scaling Law系数,还证实2 - simplicial Transformer在有限token预算下更优。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制:仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型,提出基于 OCR 任务量化注意力头视觉偏好的方法,发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配,经多基准评测,性能和效率表现优。
诺基亚坟墓里,埋着半套战胜美国的密码本
文章回顾诺基亚兴衰史,从濒临破产到成为全球手机霸主,后被苹果等超越。其崛起得益于市场机制、人才红利等;失败因利益分配失衡致盟友倒戈。这对中美科技竞争有启示,重塑利益格局很关键。
当 Agent 走出 App:WorkBuddy 的朋友圈开始向外生长
9月2日深圳的WorkBuddy生态发布会,展示9款联名硬件,有30多个硬件品牌、30多个Buddy应用、100多个开放平台共创伙伴参与。WorkBuddy开放Agent能力,连接伙伴资源,解决数据和专业经验难题,开放硬件、应用与平台三层,但面临价值分配等问题。
ACL 2026|打破推理同质化!阿里达摩院新作让RLVR从重复采样走向有效探索
阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO,改进rollout策略,在关键节点生成更具区分度的推理轨迹,结合信息瓶颈自奖励机制,在多个数学基准上提升准确率与语义多样性。
近期,谷歌发了两篇Agent Scaling论文,有点东西
2025年LLM社区有Test - Time Scaling和Agent化两条主线,但‘更多agent是否更好’无人能定量回答。谷歌两篇论文将agent scaling拆成可预测、可度量的科学问题,涉及预算感知和多agent盈亏平衡点。
荣登HuggingFace周榜首位, 人大高瓴与快手提出ARPO实现智能体高效训练!
人大高瓴与快手提出的ARPO项目受高度关注,荣登Huggingface Paper日榜、周榜双首位。它是为多轮交互型LLM智能体设计的强化学习算法,在基准测试中,用一半工具调用预算就显著优于现有方法。
Meta「内战」升级:做「神一般的AI」,还是守住「社交帝国」?
随着扎克伯格将战略重心转向AI,Meta内部面临挑战。顶尖AI团队与核心业务部门在资源分配等方面有摩擦,冲突核心是AI发展优先事项。为支持AI,元宇宙部门面临削减,Meta能否打破科技巨头“诅咒”待察。
拖更三年,北大校友翁荔最新长文刷屏!
前OpenAI副总裁Lilian Weng发布拖更三年的长文《Scaling Laws, Carefully》,指出AI行业依赖的Scaling Laws远比想象脆弱。OpenAI和DeepMind对算力分配结论相反,且Chinchilla方法论也有问题,同时数据快用完,经典公式前提在崩塌。
三星按下一场史上最长罢工,但揭下了AI时代贫富差距的遮羞布
三星员工因薪资分配问题拟罢工,后达成临时协议,但其他业务部门不满。AI 推动 HBM 需求暴涨,其市场被少数厂商垄断,技术演进依赖多领域突破。国产存储厂商有机会借供不应求切入市场,长鑫和长江存储传 IPO 进展。