「预训练研究」共找到 3691 篇相关文章
奥特曼：点名表扬两个波兰人，OpenAI还没遇到过他们解决不了的问题
奥特曼点名表扬OpenAI两位波兰科学家Jakub Pachocki和Szymon Sidor，他们贡献从Dota项目扩展强化学习到领导GPT - 4预训练。2023内乱中他们追随奥特曼，后帕哥成首席科学家，西哥为独立贡献者。
吴恩达来信：智能体并行运行以提升效率
吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升，但耗时久。随着LLM每个token价格下降，更多智能体工作流被并行化，且相关研究增多。
Ilya重新定义AGI: 为什么ChatGPT离真正的AGI还很远
OpenAI前首席科学家Ilya在访谈中提出对AGI的新定义，还指出AI规模时代结束，未来拼想法和研究深度。他分析模型评测强但经济影响弱的原因，阐述人类价值函数作用，且SSI战略或调整。
PITT | 提出PhyT2V框架：让文生视频（T2V）更符合物理规律（CVPR2025）
当前T2V技术迈向推理驱动阶段，物理规律是关键约束。匹兹堡大学团队提出PhyT2V框架，不依赖模型重训练或大规模外部数据，可增强主流T2V模型能力，有低落地门槛和良好泛化性。
10万token自然语言推理，让30B-A3B模型站上奥赛金牌线
上海人工智能实验室报告显示，30B - A3B规模的SU - 01模型不依赖外部工具，经训练在IMO、USAMO、IPhO等奥赛评测达金牌水平。研究还验证更高效科学推理系统路线，有望用于更多科学问题。
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
首个时空时序推理框架：让大模型真正读懂时空数据 | ACL'26
STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。
1100多个模型殊途同归，指向一个「通用子空间」，柏拉图又赢一回？
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间，表明架构比数据影响大。此发现能解释诸多现象，还有多种应用可能，但也有局限性。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。