「LLM推理」共找到 2766 篇相关文章
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
别被室内基准高分骗了：大模型是在推理空间，还是在「背答案」？
2025年，空间智能成大模型竞争新热点，模型在室内基准上分数飙升。但因训练与测试数据同源，其提升或只是“背答案”。中科院大学等机构发布OSI - Bench重新审视大模型空间能力，评测显示当前提升可能是虚假繁荣。
刚刚，LeCun团队开源首款代码世界模型！能像程序员一样思考的LLM来了
Meta官宣发布代码世界模型CWM，将世界模型引入代码生成任务。它基于编程和世界建模数据训练，能模拟程序执行与交互。在编程基准测试中表现不错，算是Meta的概念验证，目前可看作Demo。
刚刚，GPT-5内测抢先泄露！推理强到离谱，智商被曝140超越人类天才
周五凌晨，GPT-5、GPT-5 Mini和GPT-5 Nano将推出，全网可通过API和ChatGPT访问。GPT-5基准测试结果疯传，实测表现出色。同时，OpenAI发布开放权重模型GPT-oss，登顶开源王座，外媒分析其豪赌开源原因。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’？揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
想知道你的LLM API被过度收费了吗？隐藏的Tokens终于可以被审计了
马里兰大学CASE Lab团队研究商业不透明大模型服务（COLS），定义其风险，提出三层审计蓝图。还推出验证框架CoIn，能高效识别token数量膨胀，有可定制性且审计开销低，为构建信任提供技术支撑。
图像分词器造反了！华为 Selftok：自回归内核完美统一扩散模型，触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
训练加速1.8倍，推理开销降78%！精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架，解决强化微调代价高问题。它精准挑题，预测难度，开销低、动态适应且平衡探索利用，在多任务表现佳，降本增效，有新范式。