「推理缓存优化」共找到 3050 篇相关文章
上下文就是一切！行业热议话题：提示工程是否应该改名
AI圈热议提示工程是否应改名“上下文工程”。Shopify CEO等发表看法，指出其在LLM应用和AI Agent构建中很重要，还分析了重要性、优化方法，给出实践经验，强调要在性能、成本和准确性间平衡。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
DeepSeek之后，中国AI「自己出题」杀进Nature通讯！全球仅4家
一家成立不到两年的香港AI公司维纳智能，不堆参数、不依赖人工标注，靠让大模型自动生成高精度推理数据登上Nature通讯。其技术可解决Agent泛滥的困局，还推出特色产品，业务增长快。
月吞100万亿Token！AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资，估值达13亿美元。它每周处理25万亿个tokens，全球用户超800万。其提供AI推理统一控制层，解决企业多模型管理难题，开源模型崛起使其价值凸显。
英伟达改卖Token？黄仁勋GTC后发声：token就是AI新通货，值钱的不是算力，是“每度电的智商”
英伟达黄仁勋在采访中强调其是加速计算公司，非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出，token 是新通货，还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。
语音模型也能“freestyle”？可定制角色，模拟背景音
阿里新推两款语音模型，Fun - CosyVoice3.5可基于参考音频克隆声音，优化多方面能力；Fun - AudioGen - VD能进行‘从无到有’音色设计，并模拟复杂听觉环境。用户即日起可在阿里云百炼调用。
首个真正“能用”的LLM游戏Agent诞生！可实时高频决策，思维链还全程可见
超参数科技推出全新游戏智能体COTA，它由大模型原生驱动，操作似职业选手，决策如教练，推理链路清晰。在自研FPS游戏Demo中表现出色，还打破‘不可能三角’，有望重构游戏人机关系。
10人创业团干翻行业“潜规则”！全员必须会AI、让跑大模型全程“裸奔”，谷歌老兵不烧钱创业
在AI创业浪潮中，谷歌老兵Bryan Zhou带领10人团队创立AnyInt平台。该平台定位AI Infra中间件，一个API对接所有模型，提倡“去中心化”，让用户付费，还在工程、安全等多方面优化，吸引开发者付费。
NeurIPS 2025 | ARGRE框架实现高效LLM解毒：自回归奖励引导，安全对齐更快、更准、更轻
北航等机构研究提出自回归奖励引导表征编辑（ARGRE）框架，在LLM潜在表征空间可视化毒性变化路径，实现测试阶段高效“解毒”。实验显示其降低毒性、缩短推理时间，不影响模型能力，优于基线方法。