「后训练范式」共找到 4404 篇相关文章
链式思维是幻象吗？从数据分布视角重新审视大模型推理，马斯克回复，Grok破防
亚利桑那州立大学研究发现，思维链（CoT）推理可能只是对训练数据分布内模式的复现，输入与训练数据分布有差异时，推理链条会失效。研究探究了CoT泛化性等问题，对实际应用提出警示。
智能体系统如何「边做边学」？斯坦福团队探索在线优化的新范式
斯坦福等校团队提出 AgentFlow 框架及 Flow - GRPO 算法，让智能体系统能「边做边学」。它由多个智能体模块协作，在多领域基准测试中表现出色，小模型也能超越大模型，为智能体训练提供新思路。
林俊旸离职后首次发声！复盘千问的弯路，指出AI的新路
林俊旸离职阿里千问后发声，反思千问技术路线，认为千问合并两种模式未做好。他指出推理时代已过，未来是智能体时代，智能体思考将成主流，还阐述了其与推理思考区别及面临的挑战。
微软×UIUC：给每个学生造一个「数字分身」，AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim，基于真实学生数据训练个性化学生模拟器框架，解决了过去学生建模方法的问题。它经两阶段训练，在多领域实验中表现出色，还能为 AI 教师优化提供反馈。
90后量子计算团队「向量奇点」完成超亿元天使轮融资 | 5Y News
近日，北京量子信息科学研究院孵化的「向量奇点」完成超亿元天使轮融资，由 IDG 资本领投。资金用于研发第一代中性原子通用量子计算机。全球量子科技竞争升温，该团队由青年科研人员组成，未来将攻关核心技术。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
具身智能稀缺的数据，可能藏在这个游戏手柄里？
游戏录屏平台Medal掌握的玩家操作记录成机器人模型训练核心数据。其创始人皮姆创办General Intuition获高额融资，该公司用游戏录像预训练动作模型，但也面临数据多元性、任务表现及合作模式等问题。
吴恩达新作：87%推理token用不着，丢掉反而快3倍
吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了
OpenAI发布研究论文剖析LLM幻觉根源，指出当前主流训练与评估体系是核心驱动因素之一。现行评估奖励猜测行为，幻觉起源于预训练的‘下一词预测’，论文还澄清五大误区，建议改革评估体系。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。