「长思维链SFT」共找到 954 篇相关文章
真正的AI竞争力，藏在大模型“后训练”这一步
当全球聚焦基座模型参数竞赛时，后训练变革正悄然发生。产业共识是，大模型后训练是AI落地产业必经之路。后训练技术从SFT演进至强化学习范式，企业应用也有了从技术到商业价值的完整链路。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
在软件工程中，对 AI 的过度依赖，会加速工程师的无能
资深软件工程师Doug Slater指出，在软件工程中对大语言模型（LLM）过度依赖会加速工程师无能。LLM无法取代人类批判性思维，它在输出、输入、开发速度和用户技能等方面存在风险，且无法掌握程序理论和抵抗程序熵。
Megatron 1F1B流水线并行中的负载不均衡问题研究
文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’，原因是最后一个Stage计算慢致不同步，额外计算引发通信延迟，还梳理了流水线各阶段执行过程。
小小具身智能成果，高中生在腾讯拿下！
腾讯2025星火挑战周上，八十余位高中生聚焦前沿课题取得诸多成果，如具身智能成果获张正友点赞。课题涉及具身智能与机器人、长文本理解等方向，不少项目有实用价值，68名同学获清北offer。
Anthropic 发布 AI Agent 上下文工程指南
今年6月Andrej Karpathy提出用「上下文工程」取代「提示词工程」。Anthropic发布工程博客呼应此观点，指出构建AI应用重心转向策划上下文。文章详述上下文工程重要性、有效上下文剖析、检索及长时任务应对技术等。
华为多路径推理破解大模型数学瓶颈，准确率超97%｜ICML 2025
大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。