「Attention性能瓶颈」共找到 2425 篇相关文章
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
LightX2V Ulysses Attention 实现学习笔记
本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景，其实现可概括为一种layout变换，还提供`enable_head_parallel`和`use_fp8_comm`选项，效果受运行环境等因素影响。
AMD服务器上一个诡异的性能问题诊断历程
本文复盘AMD服务器高优故障，从8月底起，集团amd turind机器业务cpi和cpu利用率飙升，影响业务性能。经排查是split lock问题，由python解释器调用__libc_free时出错引发，还分析了问题原因、传导路径，并给出应对措施。
Transformer八周年！Attention Is All You Need被引破18万封神
Transformer已满8岁，其开创性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。它催生诸多前沿产品，让人类跨入生成式AI时代，虽起初未受关注，但如今影响深远，谷歌态度也在改变。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
阿里深夜开源王炸Agent！硬刚OpenAI，性能全面SOTA！
过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。
Zvec: 开箱即用、高性能的嵌入式向量数据库
Zvec是轻量级嵌入式向量数据库，为终端侧设计，有开箱即用等四大优势。它基于Apache 2.0协议开源，能满足向量检索在多场景需求，相比现有方案功能更全、资源管控强、性能出色，后续还将持续迭代。
AMD发布旗舰AI芯片，称性能比肩英伟达
当地时间6月12日，AMD CEO苏姿丰在大会展示多款AI新品，将新AI芯片与英伟达同类产品对比，称性能比肩且性价比高。还展示了新软件栈、介绍下一代AI机架产品，预计推理成未来AI发展主驱动力。
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。