「混合线性注意力架构」共找到 469 篇相关文章
彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器
商汤科技联合南洋理工大学发布NEO - unify，这是“原生、统一、端到端”多模态模型架构，砍掉VE和VAE，用混合变换器架构打通视觉与语言能力，提升数据与算力利用效率，为跨模态智能系统奠基。
FlashAttention-4正式发布：算法流水线大改，矩阵乘法级速度
深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上，注意力机制执行速度接近矩阵乘法。新算法克服瓶颈，在B200上性能提升，还获Pytorch官方支持。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
双管齐下：联邦学习防投毒攻击与梯度泄露，华南理工深北莫研究成果登上TMC与IoT
随着联邦学习在物联网系统广泛应用，数据隐私保护成难题。华南理工大学与深圳北理莫斯科大学合作，提出FedMSBA和FedMAR两种防御方法，分别解决参与方梯度泄露和服务器受攻击问题，在多方面实现突破。
首个Data Agent基准测试来了！2007个测试任务将数据库、PDF、视频、音频异构数据源一网打尽
南洋理工大学、新加坡国立大学与华为开源首个针对数据智能体异构混合数据分析的基准测试FDABench。它有2007个任务，覆盖多领域多数据源，独创协作框架，能测多种工作流模式的数据智能体。
小红书 FinOps 实践：云成本优化与资源效率提升之道
在 InfoQ 举办的 QCon 全球软件开发大会上，小红书梁啟成分享云成本优化实践。介绍了小红书用云情况，分析成本优化面临的问题，阐述成本洞察和优化的探索，如内外账分离、CPU 和 GPU 资源提效等，还展望了 AI for FinOps 实践。
又是浙大校友！AI眼镜“隔空取物”，戴上即可随心选中现实世界任意物体
混合现实重塑人机交互边界，但传统XR设备选物易出错。研究团队提出Reality Proxy，即现实物体的抽象数字表示，将交互目标转移到代理上，便于用户摆脱限制选物，还支持多种交互功能。
就是阻击OpenAI，Claude抢先数十分钟发布Claude Opus 4.1
就在Sam Altman官宣两个开源推理模型前半小时，Anthropic抢先发布新模型Claude Opus 4.1。该模型能力提升，适用多平台，定价公布，企业用户反馈良好，还提供混合推理模式，不过订阅费遭吐槽。