「Scaling law」共找到 206 篇相关文章
统治AI十年的Transformer，要被亲爹亲手砸碎？
5月5日旧金山的辩论赛上，Transformer联合发明人Łukasz Kaiser为其作品辩护，三位挑战者指出Transformer五大死穴。Kaiser称除非新架构证明有更好的scaling曲线，否则Transformer仍是主流，还给出具体辩护。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理，未充分利用预训练数据。将介绍最新工作Ouro，Loop语言模型家族，核心创新多，虽参数少却性能优，还会讨论其推理轨迹及模型Scaling新可能。
RL Infra 行业全景：环境和 RLaaS 如何加速 RL 的 GPT-3 时刻
文章指出RL Scaling正推动AI从“人类数据时代”迈向“Agent体验时代”，RL Infra可弥合模拟与现实差距。梳理了RL环境、RLaaS、数据/评估三大模块，分析代表公司案例，探讨RL未来趋势与投资策略。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。
SemiAnalysis 创始人解析万亿美元 AI 竞争：算力是 AI 世界的货币，Nvidia 是“中央银行”
SemiAnalysis 创始人 Dylan Patel 在访谈中指出，AI 是算力、资金与地缘政治驱动的产业迁徙。算力成新货币，Nvidia 似央行。还谈到 AI 竞争格局、技术路线、算力人才能源问题，以及对传统软件和各玩家的影响。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
Meta出1亿美元，挖角OpenAI员工
CNBC消息，Meta曾试图以1亿美元签约奖金和高年薪挖OpenAI员工，但未成功。Meta CEO扎克伯格亲自为AI实验室组顶尖团队，此前还推迟旗舰模型发布，近期收购Scale AI部分股份并挖来多名人才。
真实音频场景，大模型集体挂科！首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。
全球首个！10万小时人类数据全开源，Hugging Face罕见站台
上周Dyna Robotics公司用超100万小时人类第一视角视频训练DYNA - 2模型，发现物理AI有Scaling Law。8月20日光轮智能宣布10万小时全模态人类行为数据EgoSuite - Open100K开源，与Hugging Face联合发布。
拆解 Anthropic：最好的 AI 公司，可能也都是一种组织发明
过去一年，Anthropic 是 AI 行业最值得研究的公司，创造了最快爆发性增长，估值反超 OpenAI。文章从战略判断和组织文化两方面拆解其成功原因，分析与 OpenAI 的差异，还指出 AI 竞争中组织文化的重要性。