「线性特征」共找到 215 篇相关文章
美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。
注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美，线性递归等新方法理论有优势，实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架，用滑动窗口循环和B2P算法，实验显示有速度与质量双重突破。
创业者思考：如何做 AI Agent 喜欢的基础软件？
作者黄东旭指出Infra软件主要使用者正从开发者转向AI Agent，以TiDB Cloud为例说明趋势已现。他探讨如何做AI Agent喜欢的基础软件，从心智模型、接口设计、必要特征、商业模式等方面给出建议。
吞下17亿图片，Meta最强巨兽DINOv3开源！重新定义CV天花板
Meta训出70亿参数「视觉巨兽」DINOv3并完全开源。它用自监督学习，无需人工标注，可生成强大图像特征，在多任务超专用方案，NASA已用其探索火星，还能推动多行业进步。
这种“半光半物质”粒子，有望补上AI光计算最后一块拼图
宾大物理学家 Bo Zhen 团队造出激子－极化激元，用约 4 飞焦能量完成光信号全光开关切换。光子计算在非线性环节依赖电子器件，该成果有望补上缺失环节，但距商用还有关卡。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
人工智能驱动的科研新范式及学科应用研究
文章指出AI驱动的科研新范式通过数据、算力、算法深度耦合嵌入科研全过程，引发多方面变革。总结其特征与演化方向，分析学科应用要求与成功案例，还提出我国推动AI科研应用的启示与建议。
The Batch: 951 |让助手始终保持“帮助状态”
通常大语言模型被训练成有帮助、无害、诚实的助手，但长时或激烈对话中会有不理想特征。研究人员提出稳定 LLM 助手人格的方法，定义 assistant axis 纠正偏离，测试显示该方法有效且不降低模型表现。
Qwen-Scope：看穿大模型的“小心思”
Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。