「window attention」共找到 121 篇相关文章
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
狂揽15.9K star！！Win系统居然还有开源替代版，牛逼啊~
开源君分享开源项目`ReactOS`，它类似Windows，目标是与NT系列无缝兼容，可直接运行Windows软件和驱动。该项目始于1996年，在Github获15.9K star，有轻量、兼容等特点，安装简单。
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
Win11 已近乎“残废”？微软承认多个核心功能崩盘，锅要甩给 AI 编程吗？
近期微软麻烦不断，先是部分Microsoft 365服务故障，Windows业务负责人公布的计划也遭不满。英伟达指出Windows 11更新影响游戏效能，微软承认其存在系统性问题，多个核心功能故障已持续四个月，官方正修复并给出临时方案，引发社区吐槽。
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
天选Windows打工AI来了！实测完Claude Cowork国产版：超顶
硅谷Claude Cowork出圈后，国产昆仑万维Skywork桌面版登场。它支持模型自由切换、海量Skills集成，实测任务完成率高、速度快、有自纠错机制，依托上下文能力升级，是国产AI创新力量的展示。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。