「Attention性能瓶颈」共找到 2427 篇相关文章
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
Mamba一作预告新架构！长文论述Transformer≠最终解法
Mamba一作将演讲整合成科普长文，探讨SSMs和Transformer模型权衡之术。认为Attention非万能，Transformer是阶段性最优。几天后将发布新架构，能与Transformers兼容，还回顾了两模型特点及结合优势。
中国 AI 正处于反超美国的前夜
2025下半年中美AI圈有新现象，一是认可中国AI崛起或反超，如海外企业用通义千问，MiniMax开源模型编程能力强；二是资本豪赌与泡沫风险加剧。中国AI成本低、性能优、ROI高，MiniMax或成中国版OpenAI。
突发！OpenAI推出首款自研AI芯片：能效暴打当前SOTA，今年底G瓦级部署
OpenAI和博通联合发布自研AI推理芯片Jalapeño，它专为大模型推理设计，每瓦性能优于当前最先进水平，九个月完成设计制造，是全栈战略一部分，2026年底开始吉瓦级部署。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。
首个多轮LLM Router问世, Router-R1可让大模型学会「思考–路由–聚合」
在大语言模型种类爆炸的时代，如何智能分配任务成新挑战。伊利诺伊大学香槟分校团队发布 Router - R1，让 LLM 学会‘思考–路由–聚合’，用强化学习平衡性能与成本，在七大基准测试表现出色。
EMNLP2025 | 解耦视觉与推理，港大探索视觉语言模型"眼智分离"新范式
当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。
OpenAI两位首席最新采访信息量好大！终极目标是“自动化研究员”，招人并非寻找“最出圈”的人
OpenAI首席科学家Jakub Pachocki和首席研究官Mark Chen在采访中爆料，谈到GPT - 5将推理引入主流、实现自动化研究员目标、强化学习未到瓶颈等，还阐述用人标准、算力分配等问题。