「长思维链SFT」共找到 954 篇相关文章
训练提速5倍,响应缩短50%:动态自感知能力,重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余,传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力,通过三模块协作,实现推理“精准瘦身”,解决根本冲突。
OpenAI深夜发布ChatGPT Study:免费AI家教,彻底颠覆传统教育
今天凌晨1点,OpenAI发布ChatGPT Study学习模式,面向教育领域,有交互式提示等四种方法,能解读难题思路,免费版也有此模式。其底层有自定义系统指令,特色功能实用,不少内测用户已用它解决学习难题。
并行革命,32倍吞吐量跃升!英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术,能解决大模型处理长任务时的卡顿问题,提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
醒醒吧!CEO猛吹AI写95%代码,绩效考核却还在拼程序员手速?
本文是对 Superhuman 工程负责人 Loic Houssier 的深度访谈。他分享了 AI 时代团队管理、开发流程、绩效评估等方面的变化,指出 AI 虽提升效率,但在质量评估、人才适配等方面仍需探索,还强调观望 AI 发展会有职业风险。
华为系EDA,落子上海!
华为哈勃投资的九同方从武汉迁至上海,其作为专注IC设计服务的EDA公司,熬过十年冷板凳,产品达国际领先。华为借此建立自主工具链,九同方可对接长三角资源,当下国产EDA企业受关注且并购频发。
新范式来了!新能量模型打破Transformer++扩展上限,训练扩展率快35%
研究训练新能量模型 EBT,为输入和预测分配能量值,模拟思考过程。它有跨模态、跨任务通用性,训练扩展率比 Transformer++ 高 35%,推理性能提升 29%,还在多任务中表现出色,是扩展模型能力新范式。
更多thinking≠更好结果,精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦,论文发现其在简单题目上过度推理。作者提出‘无效思考’概念,还给出解决原则,用LC - R1方法训练,效果显著,揭示精准思考才是王道。
清华SageAttention3,FP4量化5倍加速!且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3,实现5倍于FlashAttention的推理加速,首次支持8比特训练。在多种大模型上保持端到端精度,代码将分别于6、7月开源。
当 AI 能写代码修 bug,高考报计算机专业是“火坑”还是“新机遇” |深度对话 6 位专家
在 AI 浪潮下,编程范式变革,开发岗位结构改变。本文采访 6 位专家探讨高考生报计算机专业是否值得,还分析适合人群、专业核心技能重要性变化等,为考生提供多维度参考。
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。