「推理缓存优化」共找到 3038 篇相关文章
字节跳动&清华大学开源多模态时序大模型ChatTS，可实现时序数据对话与推理
字节跳动与清华合作开源多模态时序大模型ChatTS，可实现时序数据对话与推理。它用合成数据训练，解决了数据稀缺等问题，在评估中表现远超基线模型，未来可拓展至更高阶任务。
无需CUDA代码给H100加速33%-50%，Flash Attention作者新作火了
Flash Attention、Mamba作者之一Tri Dao与普林斯顿博士生提出QuACK库，用Python写，无需CUDA C++。在H100上比优化库快33%-50%，吸引英伟达、PyTorch团队关注。还给出优化torch.compile建议。
大模型在具身推理上「翻车」了？4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力，用4496道题测试20个模型。发现多模态大模型具身能力不足，还分析错因，开发BEAR - Agent提升模型具身推理能力，在仿真测试中效果显著。
全球首个！国产AI开源系统一周狂改百款软件，全程0人干预
中国正从「制造大国」迈向「智造强国」，国产工业软件面临性能瓶颈。面壁智能联合OpenBMB开源全球首个Stencil优化AI系统ForgeStencil，1周自动优化100+软件，全程0人干预，提升研发效率，切中制造业升级诉求。
DeepSeek-R1发布后的100天复现之旅方法总结
DeepSeek团队发布「推理大模型」DeepSeek-R1 ，其技术细节未完全开源，全球研究团队开启“复现竞赛”。论文总结100天复现经验，介绍推理大模型与普通大模型区别、复现方法、关键发现及未来方向。
那个用半成品刷爆SOTA的Qwen3超大杯推理版，现在正式上线
阿里千问率先发布Qwen3-Max-Thinking正式版，刷新全球SOTA。该模型总参数超万亿，有技术创新，提升了推理性能和原生Agent能力。实测代码和工具调用能力强，还透露技术细节，中国开源模型影响力不断提升。
DeepSeek视觉原语论文：当所有人在堆图像分辨率时，它在堆「指代精度」！
4月30日DeepSeek发布多模态论文，核心是“视觉原语”，让模型边推理边输出坐标。它是七大coding agent玩家中最后接入视觉的，但补课方式反共识，不堆分辨率堆指代精度，效率高，拓扑推理成绩领先。
BRIGHT榜单SOTA！人大&百度ReasonRank：用推理增强的段落重排序器
传统listwise在复杂查询表现差，近期工作泛化性不佳。人大与百度等提出ReasonRank，通过全自动合成13K推理数据及两阶段训练，在BRIGHT等榜单表现优异，且ReasonRank-7B比Rank1-7B快2.5倍。
仅用图像也能Think：Google等提出一种视觉规划的全新推理范式！
剑桥和Google等提出并开源视觉规划范式，通过纯视觉表示规划，独立于文本。还引入VPRL框架，用GRPO后训练大型视觉模型。实验选三个视觉导航任务，VPRL表现最佳，显著优于其他方法。
不只DeepSeek，阶跃等开源JetSpec：大模型解码提速近10倍
近期，DeepSeek 推出 DSpark，阶跃星辰提出 JetSpec，都关注大模型推理效率。DSpark 关注验证效率，JetSpec 提高有效 Token 生成率。二者切入点不同，但都显示大模型行业进入新阶段，推理效率成 Agent 落地基础变量。