「推理缓存优化」共找到 3038 篇相关文章
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%。它能完成输入视觉回答问题、做几何体等任务，重点解决多模态推理、视觉理解及与人类偏好对齐问题，介绍了模型结构、训练阶段等内容。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
HOIDiNi：一句话驱动虚拟人高精度操作物体
特拉维夫大学提出HOIDiNi，这是文本驱动的扩散框架，用于生成人体 - 物体交互动作。它引入扩散噪声优化，能兼顾真实感与物理正确性。不过它泛化能力待拓展、生成速度慢，未来需提升效率等。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
Pony Alpha新模型炸场！全球「猜爹大赛」开启
2月7日深夜，OpenRouter悄悄上线匿名模型Pony Alpha，其编程、推理等体验出色，外网瞬间疯传。全球开启‘猜爹大赛’，Claude、DeepSeek、Grok、GLM各派开吵，还凸显了‘匿名盲测式发布’新打法。
AI五小时发现MoE新算法，比人类算法快5倍，成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法，基于OpenEvolve框架优化算法。以EPLB算法为例，新算法比人类算法快5倍，成本降26%，且Nature也报道过AI创造新算法新闻。