「链式推理解码」共找到 2097 篇相关文章
SimpleTIR:让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。
PITT | 提出PhyT2V框架:让文生视频(T2V)更符合物理规律(CVPR2025)
当前T2V技术迈向推理驱动阶段,物理规律是关键约束。匹兹堡大学团队提出PhyT2V框架,不依赖模型重训练或大规模外部数据,可增强主流T2V模型能力,有低落地门槛和良好泛化性。
复旦北大联合美团LongCat提出TDAR:用“粗思考,细求证”破解Block Diffusion的速度精度悖论
复旦大学、北京大学联合美团LongCat提出Block Diffusion推理模型Test-Time Scaling新框架TDAR,引入‘粗思考,细求证’范式与有界自适应置信度解码,打破速度与精度零和博弈,在多基准测试表现出色。
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
大模型上线部署时推理成本高、算力投入大但效果不成正比,企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致,成本低,集成关键创新,还被集成到 AI 云原生推理套件 ServingKit 中。
公开模型一切,优于DeepSeek-R1,英伟达开源Llama-Nemotron家族
英伟达推出面向高效推理的 Llama-Nemotron 系列模型,包括 Nano、Super、Ultra 等规模,具备卓越推理能力与效率,采用开放许可。模型支持动态推理切换,训练结合多方法,性能优于 DeepSeek-R1 等。
哈佛发现基础模型比你想象中更强大:纯采样方法可超越RL
论文提出基础模型本身已具备强大推理能力,通过“幂采样”纯采样算法,在多推理任务上媲美或超越RL后训练,挑战“RL才能提升推理”观念,为理解基础模型潜力开新视角。
AAAI 2026 Oral | 拒绝「一刀切」!AdaMCoT:让大模型学会「看题下菜碟」,动态选择最佳思考语言
多语言大模型面临语言选择难题,现有跨语言推理方法存在缺陷。新加坡研究团队推出AdaMCoT框架,通过自适应路由机制动态选语言推理,提升跨语言事实推理准确性与一致性,效果超越传统方法。
模型越聪明越“不听话”?MathIF基准揭示AI服从性漏洞
上海人工智能实验室与香港中文大学研究团队发布论文,用MathIF基准揭示大模型“聪明”和“听话”有矛盾,越擅长推理越易忽略指令,还分析了原因并给出让模型更“听话”的方法。
在 Cache-DiT 框架下实现原生 Serving功能
Cache-DiT 是唯品会开源的 PyTorch 原生 DiT 推理加速引擎,此前聚焦离线推理。现实现完整 Serving 功能,支持单卡与分布式推理模式。文章介绍其实现过程、借鉴 SGLang 的设计,还总结踩坑及使用方法。
ICML 2025|如何凭「自动补全」实现100K生成3×加速?
在大模型推理复杂的当下,生成超长文本成本高。BIGAI NLCo团队提出推理加速框架TokenSwift,被ICML 2025接收。它重构传统自回归推理,解决长生成瓶颈,在多模型实验中表现亮眼。