「推理性能优化」共找到 4186 篇相关文章
推翻「预测下一个token」范式！微信AI新研究：把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。
单张4090跑到30fps，范浩强团队让VLA实时跑起来了
Dexmal原力灵机团队在RT - VLA论文中公布，常用Pi0级30亿参数VLA模型在单张RTX 4090上最快能跑30fps。他们深入分析优化模型，成果已开源，还设计了未来控制框架。
LLaVA-OneVision-1.5全流程开源，8B模型预训练只需4天、1.6万美元
灵感实验室团队联合 LMMs - Lab 推出 LLaVA - OneVision - 1.5，全流程开源。其 8B 模型预训练 4 天、成本 1.6 万美元，在多模态基准上性能优，还公开数据构建与训练策略等细节，复现简单。
Agentic Coding表现创新高，全新KAT系列模型强势霸榜SWE-Bench
快手 Kwaipilot 团队推出 KAT 系列两款 Agentic Coding 大模型，KAT - Dev - 32B 开源，KAT - Coder 闭源。两模型在 SWE - Bench Verified 表现出色，且在多训练阶段创新优化，有强大代码生成能力和涌现现象。
Meta打开AI元认知，让AI不止会解题，还会总结套路了
Meta等机构提出‘元认知重用’机制，让大模型学会反思总结。大模型打造‘行为手册’，与主流RAG系统有本质区别。研究人员设计三种实战用法，虽有局限，但为大模型推理难题提供了解决方案。
唯快不破：上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。
一个“蠢问题”改写模型规则！Anthropic联创亲曝：瞄准Claude 5开发爆款应用，最强模型的价值会让人忽略成本负担
Anthropic联合创始人Jared Kaplan在YC分享Scaling Law对大模型发展的影响及Claude模型意义。他指出Scaling Law源于问“蠢问题”，是推动AI进步核心动力，还给出产品构建建议，介绍Claude 4优化。
MeanFlow再下一城，北大提出机器人学习新范式MP1，实现速度与成功率双SOTA
北大研究团队提出机器人学习新范式MP1，将MeanFlow引入机器人学习，实现毫秒级推理速度。还引入分散损失提升少样本泛化能力，在仿真和真机测试中，实现速度与成功率双SOTA。
Anthropic最新研究：Claude存在神秘J空间，与人类心智高度相似
Anthropic研究团队在Claude中发现类似人类大脑工作机制的J空间，它存在于模型神经激活中，能让模型默默思考。失去J空间Claude在多步骤推理任务表现变差，还可暴露模型意图，团队已创建演示工具JLens。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。