「预训练」共找到 2196 篇相关文章
超脑未来WorldDreamer V4横扫多个权威榜单，世界模型进入群体智能时代
超脑未来发布 WorldDreamer V4，它以多智能体为基本单位，具多种核心能力。采用新预训练架构，引入 Masked Agent Modeling，用共享隐式世界状态带来新协同范式，还在多权威榜单领先。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
人形机器人交付元年，行业从卷模型转向拼数据
2026年是具身智能交付元年，行业从卷模型转向拼数据。全球权威机构重新定义“人形机器人数据”地位，真机数据是模型落地关键。乐聚等企业积极布局，通过训练场模式获取数据，解决行业痛点。
阿里巴巴新论文：让LLM学会管理记忆，告别人工规则
大型语言模型处理长对话或复杂任务时，记忆管理靠人工规则，效果有限。阿里巴巴团队新论文提出把记忆管理变为可学习的强化学习策略，AgeMem框架统一长短期记忆管理，经三阶段训练，效果显著。
极简主义的胜利：清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构，仅用单阶段训练和固定超参数，在1.5B模型上刷新性能纪录，计算量仅为复杂方法50%，挑战了复杂技术堆叠现状。
OpenAI算力账单曝光：70亿美元支出，大部分钱花在了“看不见的实验”
据Epoch AI统计，去年OpenAI计算资源支出70亿美元，多以租微软云算力支付。其中50亿研发算力，大多用于幕后研究和实验，非爆款模型的最终训练，也解释了其2024年亏损原因。
开放世界任务成功率82%！美的攻克机器人泛化控制难题
美的AI研究院和华东师范大学联合提出ChatVLA - 2模型，引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%，远超现有方法，为通用机器人控制提供新思路。
算力极限下，OpenAI 急着做什么？
OpenAI联合创始人兼总裁Greg Brockman接受专访，就产品战略收拢、新基座模型Spud等议题给出内部判断，回应业界质疑。他称产品调整是算力硬约束下的优先级排序，还透露了产品核心方向和Spud进展。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。