「听觉注意力解码」共找到 298 篇相关文章
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
一文读懂DeepSeek-V3.2核心技术DSA：API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。
扎克伯格的豪赌初见成效？Meta新方法让LLM长上下文处理提速30倍
Meta Superintelligence Labs提出REFRAG高效解码框架，解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码，让首个token生成时间加速达30.8倍，扩展上下文，且精度不降反升，不过价值待实际检验。
蚂蚁dInfer框架，让扩散大语言模型推理速度再飙10倍，相同模型性能下超越自回归模型
蚂蚁开源dInfer框架，联合名校发论文阐述实现细节。它解决扩散模型推理难题，提出创新算法和系统优化策略，实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM，代码已开源。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
谷歌提出破局Self-Consistency计算瓶颈！LLM推理效率革命，推理加速不牺牲精度
Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。
开会最怕那一声尖叫，被腾讯会议用声链干掉了
开会时多人用多台设备入会常出现啸叫、回声问题，以往解决方法成本高或体验差。腾讯会议‘声链’以纯软件方案解决此问题，让设备自由开麦，声音更自然稳定，体现技术价值。