「预训练研究」共找到 3697 篇相关文章
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
北大校友、OpenAI前安全副总裁Lilian Weng关于模型的新思考：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算研究进展，探讨激励模型思考方式，介绍思维链、并行采样、序列修订等策略，还提及强化学习、外部工具使用及未来研究方向。
思维锚点：破解LLM Reasoning黑箱的关键句
文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。
首篇以第一性原理剖析OpenClaw自进化AI社会的论文
截止发文，OpenClaw项目已达192k Star，其衍生的AI Agents社会网络moltbook聚集大量智能体。北邮等团队首次从第一性原理研究，提出“自进化不可能三角”理论，还给出缓解策略。
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
拒绝「盲修」：JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力？
现有 Image Editing Agent 缺乏视觉反馈，易致「指令幻觉」和 Reward Hacking。JarvisEvo 应运而生，它通过 iMCoT、SEPO、On - Policy Reflection 等技术，结合 ArtEdit 数据集和三阶段训练，在修图上表现出色，意义超图像编辑。
OpenAI 高管凌晨发飙：「有人闯进我们家偷东西了！」
Meta CEO扎克伯格从OpenAI挖走四名高级研究人员，OpenAI首席研究官Mark Chen凌晨发飙，称像有人闯进家偷东西。Meta以1亿美元签约奖金挖角，OpenAI积极应对，还反思公司方向。
首个全面梳理语音大模型发展脉络的权威综述，入选ACL 2025主会
香港中文大学团队语音语言模型综述论文《Recent Advances in Speech Language Models: A Survey》被 ACL 2025 主会议接收，这是该领域首个全面系统综述，指明语音 AI 未来方向，还剖析技术架构、训练策略等。
OpenAI：GPT-5就是All in One，集成各种产品
OpenAI研究副总裁剧透GPT - 5将整合Codex、Operator等产品。团队分享Codex详情与未来计划，回应10大问题，如语言选择、运行方式等，还将推免费API积分，发布了Codex上手指南。
刚刚，GPT-6正式发布！OpenAI：欢迎来到AGI时代
OpenAI正式发布GPT - 6 Astra和GPT - 6 Astra Pro，宣布AGI时代开幕。该模型训练规模大，能力升级显著，价格公布。基准测试成绩优异，在多方面表现突出，还展示诸多实际应用案例，已有企业开始测试。