「预训练范式」共找到 2901 篇相关文章
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
AGI倒计时，OpenAI首席研究官重磅表态：留给人类的窗口「很小」
OpenAI首席研究官Mark Chen称AGI即将到来，模型能自主研究。他反对‘预训练已死’，认为Scaling曲线未到头。还提出‘Vibe Researcher’概念，不过通往AGI有评测和持续学习等问题待解决。
集成20+先进算法，优于GPT-4o，自主因果分析智能体来了
加利福尼亚大学圣迭戈分校研究团队提出自主因果分析智能体 Causal - Copilot，集成超 20 种算法。它解决因果分析使用门槛高、预训练模型有局限等问题，性能优于 GPT - 4o ，已开源邀全球研究者参与。
MIT天才博士刚毕业，就被前OpenAI CTO抢走！年薪或300万起步
MIT天才博士肖光烜刚毕业就官宣加盟Thinking Machines，主攻大模型预训练。他履历耀眼，博士论文破解LLM三大难题，构建高效大模型框架。Thinking Machines薪资可观，平均年薪超OpenAI等公司。
刚刚，美团开源全模态龙猫模型，和 ChatGPT 大战 100 回合打得难解难分
美团发布开源全模态 MoE 模型 LongCat-Flash-Omni，参数 560B 激活 27B。它有真正全模态能力，采用创新架构和训练范式，基准测试表现亮眼，部分指标超 Gemini-2.5-Flash，引发网友热议。
动态RAG新工作：效果爆了，代码已开源
大语言模型幻觉问题突出，现有动态RAG方法信号不可靠。QuCo-RAG从预训练语料库挖掘统计证据，用客观频率替代主观置信度，实现毫秒级幻觉检测与动态检索触发，代码已开源。
开源复现o3图像思考！快手让AI不再被动看图，模型自主生成代码调用工具
Kwai Keye团队提出Thyme新范式，构建技术方案，赋予开源模型“超越图像思考”能力。包括设计训练策略、构建开源配套资源，拓展多模态模型工具使用与决策水平，在基准测试中性能提升显著。
超脑未来WorldDreamer V4横扫多个权威榜单，世界模型进入群体智能时代
超脑未来发布 WorldDreamer V4，它以多智能体为基本单位，具多种核心能力。采用新预训练架构，引入 Masked Agent Modeling，用共享隐式世界状态带来新协同范式，还在多权威榜单领先。
刚被马斯克收购，Cursor掏出新模型：10万卡加持，和Opus、GPT一样大
本周二，刚被SpaceX收购的Cursor在首届旗舰大会宣布新的1.5万亿+参数模型，在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当，还谈了对其他AI实验室看法，新模型将几周内发布。
估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」
新智元报道，OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」，将传统数值修正转为「预防式」约束优化。它提出新范式，为训练大模型提供新思路，还介绍了流形优化器及相关算法。