「低延迟推理」共找到 2933 篇相关文章
MiniMax M2.5发布：硬刚 Claude Opus，一美元包断一小时的生产力
MiniMax M2.5发布，硬刚Claude Opus 4.6，以一美元包断一小时的低价降低AI生产力门槛。它在编程、办公等多场景表现出色，速度快且成本低，背后是RL Scaling等技术支撑。
智谱GLM-OCR，0.9B开源即巅峰，复杂文档精准解析
智谱发布并开源GLM - OCR，以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题，具备视觉编码与语言解码协作架构，还可端侧与高并发部署，成本低，推动文档智能化处理升级。
今夜无显卡！老黄引爆Rubin时代，6颗芯狂飙5倍算力
CES 2026上，英伟达黄仁勋发布Vera Rubin超算架构，推理性能比Blackwell提升5倍，训练性能提升3.5倍，成本降10倍，已投产，下半年商用。还展示自动驾驶模型等，且无新显卡发布。
港科联合港中文提出AdaCtrl，自适应可控Reasoning，可降10~90%
港科联合港中文提出AdaCtrl，解决LLM推理的过度思考、算力浪费和响应延迟问题。它有自适应和用户控制两种模式，通过两阶段训练法实现目标，实验效果好，未来或拓展到多领域。
图谱检索全面 or 效率？蚂蚁&浙大Deep GraphRAG：全都要
传统 RAG 遇复杂 Query 易失效，GraphRAG 带来新三难。蚂蚁与浙大提出 Deep GraphRAG，有层次化检索、Beam - Search 重排、DW - GRPO 强化学习三板斧，实验显示其性能优、延迟低。
Zero-RAG，对冗余知识说“不”
文章指出大语言模型知识冗余，RAG 检索效率低。复旦大学邱锡鹏提出 Zero - RAG，能精准识别并剪除冗余知识，砍 30%语料准确率掉点小，检索延迟降 22%，还介绍了其技术方案。
老黄大出血！OpenAI背刺英伟达，微软自研芯连夜拆掉CUDA护城河？
2026年1月26日微软官宣第二代自研AI芯片Maia 200上线，还推出软件Triton。它塞满SRAM，推理成本更低、效率更高。这让英伟达面临生存危机，AI算力圈也变天，降本成关键。
突发！Opus 5.1被曝本周发布，最强AI智能体恐大洗牌
消息称Anthropic本周将发布Opus 5.1，其升级聚焦单Token智能水平，强化编程、推理、AI Agent能力；OpenAI 10万亿参数模型Bel完成预训练；企业选模型‘够用就好’，Anthropic Fable 5份额低。
小米MiMo-V2-Flash开源：3090亿参数大模型能否改写AI行业规则!
2025年12月16日小米开源旗舰大模型MiMo - V2 - Flash，参数3090亿。它有独创‘按需激活’机制，推理成本低。采用MIT协议，价格亲民，构建全栈开源矩阵，在编程、长文本处理等领域表现出色。
ACL 2025 | AI字幕慢半拍，不知道大家在笑什么？新方法让同传性能直逼离线翻译
香港中文大学、字节跳动Seed和斯坦福大学团队提出SeqPO - SiMT框架解决同声传译“质量 - 延迟”权衡问题。该方法将同传建模为序贯决策过程，优化决策序列，实验显示其性能直逼离线翻译。