「推理加速技术」共找到 4889 篇相关文章
不止于快！美团新推理模型正在重新定义「实用主义AI」
美团发布并开源推理模型 LongCat-Flash-Thinking，它在权威测评表现突出。该模型有多项创新，能更快、更能干、更可靠。其将技术实力转化为业务服务能力，实战测试表现佳，体现美团实用主义 AI 路径。
一个超级搜索Agent开源，超低成本拉满搜索推理能力！小参数、慢思考。
MiroThinker 1.5发布，打响2026年AI模型进步第一枪。它以小参数实现高性能，解决信息雾霾、AI幻觉、决策无力等问题，通过交互式扩展和时序敏感训练沙盒技术，展现强大搜索推理能力。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
CVPR 2026 | 从视觉Token内在变化量出发，实现VLM无损加速1.87倍
随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。
面壁MiniCPM4端侧模型发布：长文本推理 5 倍提速，0.5B 模型拿下新SOTA
2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。
小米的首代机器人VLA大模型来了！丝滑赛德芙，推理延迟仅80ms丨全面开源
具身机器人成科技新热点，大家期待其释放生产力。小米首代具身VLA大模型Xiaomi - Robotics - 0抓间歇停顿问题，4.7B参数规模下推理延迟仅80ms，还做三项技术创新，且全面开源。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
从平面几何出发：形式化验证如何驱动MLLM的推理能力跃迁
多模态大语言模型在复杂数学与几何推理中有缺陷，现有训练方式让模型难有鲁棒推理能力。上海交大等团队提出“以形式化增强非形式化推理”方案，构建完整闭环，提升模型推理及泛化能力。
推理路径的动态调控：让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。