「预训练研究」共找到 3695 篇相关文章
刚刚，DeepMind经典巨作再封神！ICML 2026大奖公布
ICML 2026大奖公布，杰出论文奖中两篇扩散模型论文获奖，立场论文奖指出AI安全工具被挪用问题。时间检验奖颁给DeepMind经典论文。获奖名单显示扩散模型研究热，AI安全需审视，AI研究进入深度清理阶段。
苹果拆解AI大脑，推理模型全是「装」的？Bengio兄弟合著
苹果最新研究揭示大推理模型（LRM）在高复杂度任务中普遍‘推理崩溃’。即便给予明确算法提示，模型亦无法稳定执行，暴露推理机制的局限性。研究还通过多种实验环境分析了模型在不同复杂度问题中的表现。
具身智能发展趋势与展望 | 中国工程科学
文章深入探讨具身智能的概念、内涵、计算框架与系统实现，梳理发展现状、趋势与挑战，强调生成式AI在其演进中的关键作用，还分析我国发展进展、风险，并给出研究方向与对策。
LeCun世界模型：48倍规划速度，单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型，仅靠两条数学规则，让机器几小时学会物理运转逻辑，动作规划速度超同类48倍。它跳出复杂训练修补怪圈，单卡训练，在多环境测试表现出色，还展现对物理法则的深刻理解。
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
1美元买10颗星？顶会曝出GitHub假星灰产，热门仓库或藏木马
ICSE顶会论文曝出GitHub上600万颗星可能是刷出来的，大量“热门项目”或为恶意软件仓库。研究团队来自多所高校和公司，公开了检测方法和源码。刷星短期有用，长期是负资产，还可能藏木马，研究团队给出治理建议。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。
SIGGRAPH Asia 2025最佳论文 | 港中大、曼彻斯特大学获奖
SIGGRAPH Asia 2025将“最佳论文奖”颁给港中大与曼彻斯特大学团队研究。该研究提出全新切片计算框架，把切片生成与路径规划转化为数学优化问题，解决传统DLP 3D打印难题，还介绍了进阶策略和实验结果。
256块NPU训成8B视频模型、超越Sora等一众闭源！抖音内容技术团队开源ContentV
近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。