搜索：AI预训练范式

「AI预训练范式」共找到 11498 篇相关文章

原来Scaling Law还能被优化？Meta这招省token又提效

2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。

大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。

今天凌晨，小扎发内部信宣布成立Meta超级智能实验室（MSL），由Scale AI前CEO、华人Alexandr Wang带队。MSL首批11人名单出炉，7位是华人，前东家包括Anthropic、谷歌DeepMind和OpenAI等。

本文梳理2017年Transformer后LLM领域重要论文。如提出Transformer架构的论文成现代AI基石；介绍GPT - 3的论文确立‘大模型 + 大数据’缩放定律，引领LLM军备竞赛等。还列举各论文内容与影响。

苹果研究团队针对扩散语言模型（dLLM）在编码任务中表现不明的问题，基于7B级代码生成MDM DiffuCoder展开研究，定制优化GRPO提出coupled - GRPO算法，填补开源dLLM训练和推理机制空白。

MiniMax上新视频生成模型Hailuo 02，解决了AI视频生成中体操难题。该模型原生支持1080p，能处理极端复杂物理场景，实测文生、图生视频能力出色，成本创新低，MiniMax本周还有多项技术布局。

独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。

ThinkChain是展示Claude高级能力的Python项目，其核心创新是将工具执行结果注入Claude思维流，改变AI与工具交互方式。它支持零配置启动，有丰富工具集，还具备交互式命令等特性。

在数字浪潮下，新质生产力成核心变量。5月28日，首钢园“产业跃升计划”发布会召开。其正构建“1+3+X”产业体系，园区已聚800余家科创企业。会上多位专家分享，还签约伙伴构建企业全生命周期服务体系。

昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。