「自注意力层」共找到 1599 篇相关文章
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
苹果或搁置自研模型，转向依赖OpenAI或Anthropic
苹果正考虑用第三方AI模型驱动Siri，这是其在AI竞赛中的重大转向。目前苹果多为自研技术，评估外部模型项目已启动，虽未做最终决定，但或借此摆脱AI落后声誉。网友对此看法不一。
从静态模型到数字生命体：自进化AI Agent综述
近年大型语言模型催生AI智能体发展，但现有系统依赖人工预设，难适应动态环境。论文提出自进化AI智能体，可通过环境反馈自动优化，还提出三定律、四阶段范式演进模型等，开源EvoAgentX框架。
比肩英伟达H20！阿里自研PPU浮出水面
1月29日，阿里旗下平头哥官网公布高端AI芯片“真武810E”信息，标志“通云哥”协同体系亮相。该芯片全栈自研，已服务超400客户。其PPU架构性能比肩英伟达H20，性价比更高，阿里还支持平头哥探索独立上市。
The Batch: 873 | 通过自监督学习实现更好得图像处理
Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。
港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型
香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。
模型都一样了，AI Agent 真正的差距在 Harness 层！
如今各平台接入模型趋同，AI Agent 差距体现在 Harness 层。以天工超级智能体为例，其有约束先行、任务并行编排等亮点，还提供 Skill 粒度新思路，且云端运行降低使用门槛。
GPT-6要「活」了？MIT新作曝光，AI「自进化」不远了
麻省理工学院推出全新自适应大模型框架「SEAL」，让模型从「被动学习者」变为「主动进化者」。网友猜测GPT - 6可能整合其能力，成为能自主学习的模型，研究虽有局限，但为大模型自进化提供新路径。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
突发！OpenAI「掀桌」：自研推理芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。