搜索：Attention性能瓶颈

「Attention性能瓶颈」共找到 2429 篇相关文章

RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活

在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。

随着数智浪潮到来，AI 赋能的机器人革命正揭开产业变革帷幕。MLCC 作为核心被动电子元器件，已渗透至现代机器人架构中六大关键模块。不同类型机器人对 MLCC 性能要求不同，微容科技构建差异化产品矩阵，打破日韩技术垄断。

面壁智能等联合发布MiniCPM-o 4.5技术报告，它是业界首个端到端全双工全模态大模型，采用Omni - Flow架构。同步推出在线Demo、API、端侧安装包等，低显存GPU即可运行，性能表现优秀，应用潜力大。

今日正式开源Qwen3-ASR系列模型，含两个语音识别与一个语音强制对齐模型，支持多语种。依托创新技术实现精准稳定识别，1.7B模型多场景达SOTA，0.6B兼顾性能效率，强制对齐模型精度超传统模型。

扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。

TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。

2025年7月26日，世界人工智能大会在上海启幕，此芯科技携多款搭载此芯P1的展品亮相，展示端侧AI前沿成果。此芯P1芯片性能强劲，已产品化。展会展示三大应用场景，呈现其多场景应用能力。

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

大语言模型落地中，AI长期记忆能力成瓶颈，传统RAG方案有局限。微软研究团队提出AI记忆框架Mnemis，受认识论与认知科学启发，在两大权威长期记忆基准达SOTA性能，工作被ACL2026主会议接收。

随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。