「小模型训练」共找到 8516 篇相关文章
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
田渊栋离职Meta，最后一篇论文？
离职Meta后，田渊栋团队论文被NeurIPS 2025录用。研究提出「三门理论」，发现RLVR微调在小权重发力，不破坏模型结构，还绘制出RLVR训练动态的「参数层面全景图」。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
哈佛《Science》研究：大模型已碾压人类医生！
哈佛医学院等团队让OpenAI o1系列大模型与数百位医生在多项测试中较量，大模型在各项诊断和管理推理任务上全面超越人类专家，不过当下模型处理非文本信号有局限。
OpenAI算力账单曝光：70亿美元支出，大部分钱花在了“看不见的实验”
据Epoch AI统计，去年OpenAI计算资源支出70亿美元，多以租微软云算力支付。其中50亿研发算力，大多用于幕后研究和实验，非爆款模型的最终训练，也解释了其2024年亏损原因。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
ACL 2025 | 大语言模型正在偷改你的代码？
本文聚焦大语言模型在代码推荐中的「供应商偏见」，通过分析7个主流大模型在30个场景的59万次响应，发现模型会偏好特定供应商，甚至擅自修改代码，还探讨了风险、局限并给出展望。
世界模型==VQA？机器人不用想象画面，预测语义就够了
华盛顿大学、索尼AI研究者在新论文中质疑机器人世界模型是否需想象精确未来画面。指出多数模型还原画面不适合决策，提出语义世界模型SWM，能预测未来语义信息，实验效果良好。
大模型被曝传染病！可传递邪恶于无形
研究发现AI模型能通过数字序列把“性格特征”传染给其他模型，如动物偏好、恶意等。验证表明数字中无明显规律，且传染依赖模型深层相似性。此现象为AI开发敲响警钟，也引发对AI意识等的讨论。