「预训练」共找到 2196 篇相关文章
离开OpenAI和Google后，两位大模型核心负责人决定卷下一代架构
曾是OpenAI的「强化学习最大主义者」Jerry Tworek，与谷歌Gemini预训练负责人Rohan Anil，共同创办Core Automation。他们探讨当前AI路线问题，认为下一代架构要能持续学习，还计划打造自动化AI实验室。
从视觉出发统一多模态！颜水成团队最新研究：不再把图像编解码器塞进LLM｜ICLR'2026
NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。
LLM-in-Sandbox：给大模型一台电脑，激发通用智能体能力
来自中国人民大学、微软研究院和清华的研究者提出LLM - in - Sandbox范式，让大模型在代码沙盒完成任务，实验显示其能提升多领域表现，无需额外训练，还能减少token消耗，研究者认为应取代纯LLM推理。
无需奖励函数！我们意外构建了自我进化的AI系统
牛津大学发现LLM可通过“部署 - 验证 - 再训练”循环自我进化，绕开人工奖励函数设计瓶颈。在三个经典规划领域实验效果惊人，还在理论上证明其与强化学习的数学等价关系，有优势也有隐患。
LeCun预言成真！790年长视频，炼出最强开源「世界模型」
2025年‘世界模型’成AI巨头战场，谷歌、李飞飞团队等纷纷布局。上周北京智源研究院发布Emu3.5，340亿参数，基于790年长视频数据训练，其架构优越，推理快，能力强，还公开技术报告邀全球探索。
LLM又曝致命缺陷：根本不会看时钟！博士惊呆，准确率不及50%
最新研究揭示AI存在认知缺陷，读取时钟准确率仅38.7%，判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力，虽部分模型有亮点，但整体表现不佳，凸显训练数据和推理方式改进需求。
CMU&NYU最新工作解释：存储在权重里的“智能”是从哪来的？
论文《From Entropy to Epiplexity》指出经典信息论在AI面前有三大悖论，提出用Epiplexity度量信息。它将数据信息拆为Time - bounded Entropy和Epiplexity，通过神经网络训练近似计算，实验验证其有效性，并给出启示。
AI真的需要「像人类」那样思考吗？AlphaOne揭示属于大模型的「思考之道」
近年大模型在推理任务有进展，但缺乏推理节奏调控能力。伊利诺伊大学厄巴纳 - 香槟分校和加州大学伯克利分校研究提出 AlphaOne 框架，引入 α - moment 实现无需训练的推理调控，实验显示其能提升准确率和效率。
2026CSDI：AGI前夜，属于懂Agent、更懂模型的长期深耕企业
本文围绕2026年AI行业发展展开，指出竞争基本单位正从模型变为体系，AGI成组织目标，同时介绍了算力、数据等核心要素变化；还提及Agent与模型关系及编程新范式，最后宣传了2026CSDI峰会。
对话蚂蚁灵波首席科学家沈宇军：2万小时真机数据，用“慢功夫”做具身智能｜甲子光年
蚂蚁灵波首席科学家沈宇军接受专访，称具身智能处于‘GPT - 1时刻’。团队选‘慢’路，积累2万小时真机数据，发布四个具身智能模型并开源。介绍模型架构、优势、问题及未来计划，还谈了开源考量等内容。