搜索：线性注意力模块

「线性注意力模块」共找到 501 篇相关文章

Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限

线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。

大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。

微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。

字节跳动2025年12月在海外推出一站式AI协作工作台AnyGen，强调人机协作打磨。产品有文档、通用智能体、幻灯片、数据分析四个核心模块，能解决会议纪要整理、PPT制作等痛点，还与主流工具做了横评。

伦敦大学学院等团队推出开源框架Avenir - Web，解决现有Web Agent在复杂网页操作中的难题。它采用模块化设计，包含经验模仿规划等模块，在ONLINE - MIND2WEB测试中表现出色，已开源供开发者探索。

2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。

Anthropic上线Claude托管智能体功能，让开发者告别底层基建搭建，只需几天就能让业务级智能体投入生产。该功能有四大核心流转模块，多家企业使用后效率大幅提升，还介绍了接入细则。

在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。

现有强化学习工作将语言模型作整体策略优化，研究提出以策略视角审视内部隐藏状态，分析层级和模块级策略，发现不同模型模式差异，还提出自底向上强化学习策略，为研究架起新桥梁。

在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。