「混合推理方案」共找到 2916 篇相关文章
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
SGLang原生支持昇腾，新模型一键拉起无需改代码
12月20日SGLang AI金融π对收官，聚焦大模型推理效率。昇腾成SGLang原生支持后端，助DeepSeek等模型免调参运行。SGLang给出推理系统工程解法，昇腾与SGLang深度共建，性能优且全面拥抱开源。
ACL 2026 | 赋予视频生成「视觉思维链」：VChain显式建模时空规划与状态演变
南洋理工大学团队在ACL 2026发表VChain框架，引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现，实验效果超现有方法，还展示视频推理与生成的潜在趋势，为多模态模型协作提供范例。
不改模型、不降质量，谷歌让Gemma 4快了3倍：本地跑大模型彻底变天
谷歌给Gemma 4家族更新Multi - Token Prediction推测解码架构，推理速度最高提升3倍且输出质量不变。介绍了LLM推理慢的原因、MTP解决办法、对开发者的利好、技术细节、使用方式等。
第一名方案公开，代码智能体安全竞赛，普渡大学拿下90%攻击成功率
亚马逊举办代码智能体安全比赛，普渡大学团队 PurCL 作红队以超 90% 攻击成功率夺冠。他们耗时八月、花百万美元开发全过程红队系统并开源，还发现当前 AI 安全研究在复杂领域对齐有挑战。
斯坦福7B智能体全面超越GPT-4o，推理流登顶HF
传统智能体系统难兼顾稳定性和学习能力，斯坦福等团队提出AgentFlow框架，通过模块化和实时强化学习优化策略，使7B参数模型在多任务上超越GPT - 4o等大模型，为AI发展提供新思路。
只要9美元！LoRA+强化学习，DeepSeek 1.5B推理性能暴涨20%
南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。
融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱
Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。
破解遥感目标的形状与尺度难题，PKINet二代推理提速近4倍！
PKINet - v2是改进的遥感目标检测模型，能处理复杂形状和尺度变化问题。它在PKINet基础上升级，统一条带与方形卷积，部署时折叠为单大核。在多数据集上精度和速度提升，可服务多领域，但对特殊目标仍有检测问题。
为什么HBM能摆脱传统周期？
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。