「有状态推理」共找到 7601 篇相关文章
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
The Batch: 863 ｜推理提高了碳排放
新研究量化推理模型时代提供更优答案的环境成本，研究人员估算14个开源权重的大模型碳排放，发现推理与排放存在权衡关系，还指出战略性部署可降低排放。
告别「盲目自信」，CCD：扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。
从芯片到集群：启邦泽益的推理算力性价比突围
本文整理自启邦泽益联席CEO马冠华在2026芯算力创新峰会上的演讲，针对大模型推理爆发、算力成本高企的行业痛点，介绍启邦泽益从芯片到集群的全栈高性价比推理算力方案。
Google说，2026年AI Agent会有这五大趋势！
Google Cloud发布2026年Agent趋势报告，认为能改变业务的转折点是Agentic AI，总结了五大趋势，如人人都有Agent、流程自动化等，核心是让员工成Agent管理者和协调者。
OpenCode AI编程实践：利用推理路由低成本开发游戏
文章介绍用 OpenCode 结合 DigitalOcean 推理路由器开发点球大战游戏 PK Shootout。其按任务选模型，多数任务路由到 MiMo V2.5 和 GLM - 5.2，成本约 8.25 美元，远低于只用前沿模型。文中还分析开发各环节及适用场景。
中国AI芯片如何破局？这家公司重注推理芯片
2月3日，云天励飞董事长陈宁在战略前瞻会表示要All in AI大算力推理芯片，打造“中国版TPU”。他认为2025 - 2035年是推理芯片高光时刻，还介绍了公司技术壁垒、差异、战略及生态等内容。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。
低Token高精度！字节复旦推出自适应推理框架CAR
字节与复旦大学研究人员提出自适应推理框架CAR，能根据模型困惑度动态选短答或长推，在多基准测试中平衡了准确性与效率，打破长文本推理必然性能更好的认知。
中兴星云拿下推理总分榜一！SuperCLUE 5月成绩出炉
2025年全球AI大模型竞赛激烈，SuperCLUE发布5月报告，中兴通讯星云大模型Nebula Coder - V6推理专项榜单总分并列第一、总榜并列第二，细分赛道表现佳，且是少数获国家级权威安全认证的大模型。