「AI预训练范式」共找到 11383 篇相关文章
天下武功，唯快不破：LLM高效架构最新最全面综述
大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。
彻底改写Transformer！「能量驱动架构」横空出世，通用推理时代要来了？
UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer（EBT）」架构，打破「前馈即推理」旧范式，以能量最小化模拟人类思维，训练更高效、推理更精准，在多方面超越传统Transformer。
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
1.5B参数撬动“吉卜力级”全能体验，国产开源之光多模态统一模型，来了
GPT-4o引发“吉卜力”风暴，改变AIGC范式。昆仑万维开源多模态统一模型Skywork UniPic，1.5B参数就能接近甚至超越十几亿参数专用模型，可在消费级显卡运行，还公开全套资源。
多人会话视频生成新突破：香港科技大学，浙江大学用单人数据实现多人交互视频生成
香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。
北航，清华，北大联合发布： 异构智能体协同强化学习！
北航、清华、北大联合发布异构智能体协同强化学习论文。提出 HACRL 新范式，实现异构智能体双向互学与独立部署统一；还有 HACPO 算法弥合智能体差异。实验显示性能提升且成本降低，为多智能体协同学习指明方向。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
科学智能2.0的「最强大脑」！上智院复旦无限光年联合发布开放平台
WAIC 2025上，上海科学智能研究院、复旦大学、无限光年联合发布「星河启智科学智能开放平台」。它以六大核心能力打造科学智能生态、驱动科研范式变革，致力于实现「科学的AI次方」效应。
人大系团队、天使轮数千万元融资，境瞳科技给人类社会建一个「世界模型」
境瞳科技获数千万元天使轮融资，要给人类社会建「世界模型」。其社会模拟器已有超 1350 万个 AI Agent，是全球同类系统中规模最大、置信度最高的。社会智能赛道在硅谷已吸引大量投资，国内境瞳科技是该领域唯一产学研团队。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。