「有状态推理」共找到 7604 篇相关文章
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路
OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型，Sebastian Raschka 发布博客对其详细分析，回顾自 GPT - 2 以来 AI 社区进步，还与 Qwen 3 比较，介绍架构、训练、推理等细节。
从“铁三角”到“六有”组织，北银金科如何打造千人高密度数智化团队？| 极客时间企业版
在2025 DTDS全球数智人才发展大会上，北银金科赵瑞兰介绍数智化转型实践。北银金科构建“ACT”模型，打造“六有”组织文化，开发人力看板等成果，未来愿与伙伴探索AI时代。
3D高斯泼溅，可输入视图量高达500！推理速度提升3倍，内存少80%
ZPressor能高效压缩3D高斯泼溅（3DGS）模型的多视图输入，解决其在处理密集视图时的性能瓶颈。它基于信息瓶颈原理，分三步压缩信息，降低内存占用和推理时间，提升3DGS在高视图输入下的性能。
vivo发布端侧多模态模型，只有3B可理解GUI界面，20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B，融合文本与图文能力，支持长短思考模式切换。它在20余项评测中表现出色，参数量小，训练和推理成本低，有精巧结构、高效策略，还有高质量数据和高性能平台支撑。
首次曝光！OpenAI新一代旗舰Astra换上“循环深度”推理架构：用计算深度换参数规模
9月2日消息，OpenAI将推出的旗舰模型Astra采用“循环深度”新技术，用较小模型实现庞大模型性能，降低成本。但该技术会让AI推理过程不可读，加重安全担忧，此前奥特曼已因Astra“能力过强”踩刹车。
硅谷直击：黄仁勋入局龙虾大战，宣告 SaaS 已死，推理算力需求暴涨万倍！
本文为 CSDN 对英伟达 GTC 2026 大会的现场报道。黄仁勋宣告 SaaS 已死，揭幕 Agent 时代，指出 AI 重心正从训练转向推理，还推出 Vera Rubin、LPX 等新品，强调能效即钱，企业软件将向 Agent-as-a-Service 转变。
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。
新手必看！强化学习入门指南 | 从RLHF、PPO、GRPO到RLVR，最后到训练推理模型
Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所与腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。