搜索：线性注意力机制

「线性注意力机制」共找到 1036 篇相关文章

当SFT遇上RL：基于样本学习阶段的动态策略优化机制

在大模型推理能力增强研究中，SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法，先判断样本学习阶段再匹配优化路径，在多场景实验中表现出色，不过有实验边界。

苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。

OpenAI 近日发布研究论文，提出用于高效张量映射的统一代数框架 Linear Layouts，解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式，评估显示其优化版 Triton 性能有提升。

22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos，实现带MoE路由的循环深度Transformer（RDT）。该架构仅用一半参数，就能获与传统模型同等效果，吸引学界关注。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器，无视用户要求输出结果。研究发现训练越往后，模型越倾向按评分器意图行事，还探讨了奖励寻求等概念及检测方法。

北大清华团队在AAAI 2026 Oral论文中提出WaveFormer，首创用波动方程建模视觉。它将特征传播写成欠阻尼波动方程，实现频率 - 时间解耦，在多任务验证中速度、效率与精度全面超越。

OpenAI Atlas等AI浏览器提升网页自动化效率，但使智能爬虫威胁加剧。南洋理工等团队研发的WebCloak，混淆网页结构与语义，打破爬虫技术依赖，为数据安全筑防线，适用于数据敏感场景。

2026年AICon深圳站8月21 - 22日举办，聚焦多关键方向，邀50+头部企业专家。Zilliz联合创始人郭人通将分享用AI Agent支撑业务扩张，介绍落地案例、关键实践及对数据基建新要求。

Anthropic公开前端设计和自主软件工程最新突破，为让Claude构建完整应用，从GAN汲取灵感设计多智能体协同架构。介绍架构实践、解决的问题及应用效果，还探讨架构简化和设计规律。