「推理优化技术」共找到 5270 篇相关文章
HumanSense：探索多模态推理边界，打造「察言观色会共情」的全模态交互伙伴
蚂蚁集团与西安交通大学联合提出并开源 HumanSense，含评估基准与推理模型。通过细粒度评测、全模态消融等研究，提出优化策略，项目已在 GitHub 和 HuggingFace 开源，推动 AI 交互体验革新。
英伟达全新开源模型：三倍吞吐、单卡可跑，还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5，实现SOTA表现，吞吐量提至前代3倍，可单卡高效运行。它采用NAS优化架构，经多数据集训练，现已开源。
一个超级搜索Agent开源，超低成本拉满搜索推理能力！小参数、慢思考。
MiroThinker 1.5发布，打响2026年AI模型进步第一枪。它以小参数实现高性能，解决信息雾霾、AI幻觉、决策无力等问题，通过交互式扩展和时序敏感训练沙盒技术，展现强大搜索推理能力。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。