「混合线性注意力架构」共找到 469 篇相关文章
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
一块画板，Nano Banana，无限创意：谷歌新工具实测
谷歌Labs推出AI概念板Mixboard，由Nano Banana图像模型驱动，整合Gemini 2.5 Flash模型。可上传个人图像混合编辑，适合设计师等。现仅在美国公开测试，速度快，操作便捷，能高效验证想法。
清华唐杰团队揭示大模型记忆全景
清华唐杰教授团队等发布大模型记忆架构综述，提出三维记忆分类学，将前沿工作统一到理论框架，为LLM设计指明方向，分析了隐式、显式记忆架构，还探讨混合架构挑战与未来方向。
MiniMax M2.5：230B参数仅激活10B，开源模型首次逼近Claude Sonnet，成本仅十分之一
MiniMax推出新一代开源模型M2.5，官方称其为‘为现实世界生产力设计的开源前沿模型’。性能逼近Claude Opus 4.6，采用混合专家架构，成本低。已在内部大规模部署，定位为‘AI员工’。
2025年AI编程助手大盘点，从微软、亚马逊、谷歌到开源大神
2025年，超八成开发者使用或打算用AI编程助手。文章盘点微软、亚马逊、谷歌等推出的闭源助手，及Cline、OpenHands等开源助手，还从多维度对比闭源与开源方案，指出企业可混合使用。
Kubernetes 引入后量子支持的 TLS
Kubernetes推出增强功能，通过与KMS插件系统集成的混合密钥交换机制支持后量子密码学，应对量子计算对加密协议的威胁，确保系统能随密码学标准演变灵活适应，此举措符合相关建议。
240 款 AI 软件定价分析：从席位到成果，AI 定价的五种趋势
国外科技作者 Kyle Poyar 收集超 240 家软件公司数据，分析 AI 软件定价。指出传统定价面临挑战，混合定价成主流，还介绍常见策略、结果定价问题、价格透明化困境及企业准备不足等情况。
巧妙！一个传统技术让国产视觉基础模型直接上大分
格灵深瞳的Glint - MVT视觉基础模型表现出色，线性探测准确率高于CLIP等，下游任务效果佳。其引入间隔Softmax损失函数，结合虚拟类别构造等优化方案提升性能，团队专注视觉研发，务实开放。