「低延迟推理」共找到 2954 篇相关文章
AI 的下一个战场：端侧模型崛起
大模型退烧，小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果，英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔，但技术含量不低，面壁智能在端侧模型探索上成果丰硕，其 MiniCPM 系列不断迭代，还在多领域落地。
GPT-5 终于发布：别慌、AGI 还没来，第一手的上手体验在这里
GPT-5 发布，距离 GPT-4 发布已过 2 年。它能力强、定价有竞争力，是首个「统一」AI 模型，幻觉率低、代码能力强。免费用户可默认使用，Plus 和 Pro 订阅用户有不同使用额度。开发者可使用三种模式，代码能力测试案例可参考相关网站。
OpenAI自研芯片270天光速成功！谷歌TPU大将主导，老黄一夜大客户变对手
OpenAI发布自研推理加速芯片Jalapeño，与博通和Celestica合作打造，专为大模型优化，9个月就流片。操刀者是前谷歌TPU核心成员Richard Ho，计划2026年底部署。此前谷歌、微软等已自研芯片，英伟达客户变对手。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。
年入6亿、日本细分赛道第一，国产AI 硬件如何拿下日本智能家居市场？
国产 AI 硬件 SwitchBot 拿下日本智能家居市场市占第一。它单价低、安装灵活，以“非入侵式后装”理念，从智能开关拓展到多品类。2023 年扫地机器人 K10+ 大获成功，后又用 S10 试水美国市场，还推出 K20+ Pro 拓展场景。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
GPT-6数学封神，遭顶尖数学家公开质疑“算力截胡”？OpenAI内部研究员撕开Astra真相：人脑更容易被污染，而AI只看概率
OpenAI推出GPT-6 Astra，接连在埃尔德什单位距离猜想、纳维-斯托克斯方程等多个顶级数学难题上取得突破性进展，引发顶尖数学家对学术伦理与传统研究模式的争议，本文为OpenAI内部研究员的深度对谈编译，拆解AI数学推理的核心逻辑。
都在卷「让大模型多循环几遍」，这个7B模型LoopCoder v2说：多循环 1 次就够了
当下推理模型流行在测试时多循环，以打磨答案。但新研究发现，7B模型LoopCoder v2只多循环1次（共2次），就能大幅提升性能，继续增加循环次数，性能反而下降。研究还分析了收益与成本，给出选择循环次数的诊断方法。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
谷歌Nano Banana Pro炸了！硅谷AI半壁江山同框，网友：PS已死
谷歌推出基于Gemini 3 Pro的图像生成模型Nano Banana Pro，在图像编辑和生成上实现史诗级进化，有更广知识储备、超强文字渲染和精准细节把控。它支持4K原生，知识推理强还能直连搜索，玩法多样但也有改进空间。