「低延迟推理」共找到 2933 篇相关文章
亿级日活App的“算力生死劫”：推理成本倒挂，他们靠跨云架构砍掉75% GPU集群
一家AI穿搭+购物推荐的出海应用DAU破亿，但算力和传输成本高，ARPU远低于成本。该企业转向Akamai推理云，换用RTX PRO 6000，缩减服务器集群，降低成本，采用跨云架构过渡，实现零阵痛平替。
《TAML》好文推荐 | 来自中国科学院力学研究所张磊博士 评估大语言模型在计算流体力学领域的知识利用、学习与创造
研究聚焦评估推理型（DeepSeek R1和OpenAI o3 - mini - high）与非推理型（DeepSeek V3和ChatGPT 4o）大语言模型在计算流体力学领域知识利用、学习与创造能力。通过三类基准问题评估，结果有差异。
深夜突袭！谷歌Gemini 2.5 Pro更新蝉联榜一：推理超越o3，编程超越opus4
深夜谷歌对Gemini 2.5 Pro模型重大更新，在编码、推理等测试中超越o3，几周内成稳定版。其价格优势大，还增加思考预算，输出风格和结构改进，用户实测反馈佳，但发布不久被越狱攻击。
一个省略号提示+强化学习搞定大模型“过度思考”，中科院自动化所新方法：从强制推理到自主选择
中国科学院自动化研究所联合鹏城实验室提出AutoThink方法，用省略号提示和多阶段强化学习，让推理大模型依题目难度自主切换思考模式，解决过度思考问题，在多数据集验证有效。
DeepSeek-R2尚未问世，微软小模型捡漏称王？6000样本炼出「数学作弊器」！
微软推出Phi-4推理模型系列，参数最多14B，能在本地高性能笔记本电脑上流畅运行。Phi-4-mini-reasoning在数学推理上性能超越DeepSeek-R1蒸馏模型，且参数规模更小。文章还介绍了模型特点、训练方法、性能表现及局限性等。
通用Agent是伪命题？昆仑万维方汉现场拆解：垂直推理才是胜负手｜新智元十年峰会
在新智元十周年峰会上，昆仑万维董事长方汉分享公司转型故事与多模态AGI见解。他认为通用Agent非万能，垂类推理数据是关键，还提出AI商业落地逻辑，展示多款产品成果。
ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准
文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。
谷歌T5Gemma重燃架构之战！「套壳」反杀Gemma本尊，9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导，Google双线出击。T5Gemma重燃encoder - decoder架构战火，性能提升显著；MedGemma坚守decoder - only路线，强攻医疗多模态，击穿闭源壁垒，打响开源反击战。
CVPR 2026 Workshop征稿｜从感知到推理，ViSCALE 2.0 邀你重塑计算机视觉的 System 2
2026年6月，CVPR第二届计算机视觉推理扩展研讨会（ViSCALE 2026）将在美国回归。由顶尖机构学者联合举办，将汇聚顶尖学者探索视觉模型突破瓶颈之法。会议亮点多，还开启论文征稿，欢迎积极投稿。
让世界模型推理效率提升70倍：上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5，针对视频生成构建可交互“世界模型”的核心难题，提出时空信道联合建模（TSCM），实现近似恒定计算成本的全局记忆访问，展示了世界模型工程化落地的可行路径。