搜索：线性注意力机制

「线性注意力机制」共找到 1036 篇相关文章

这些大神在Meta的论文看一篇少一篇了

田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。

伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1，为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据，让模型学会像人一样查证，在多数据集上表现出色。

OpenAI离职员工Calvin French - Owen揭秘公司文化。OpenAI扩张快致机制常调整，靠Slack运转，推崇实力至上、行动导向。Codex从想法到上线仅7周，虽辛苦但成果惊人，还分享了公司在安全、代码等方面情况。

过去一年AI Agent能力提升，但用户体感未同步变好，原因在于人类注意力窗口有限。赛道分化，主动式桌面Agent是新方向，AirJelly是代表产品，五源资本对其创始人黄柏特进行访谈，探讨产品设计、应用场景等问题。

本文介绍阿里基于AI的UI自动化测试框架在专有云质量保障的实践。框架用开源browser - use等工具，采用自然语言驱动用例、动态元素定位等机制，还应对了大模型幻觉等挑战，也提及构建企业级数据分析Agent方案。

文章围绕将思维链（CoT）引入具身智能领域展开。介绍CoT从语言层面到成为机器人行为核心认知机制的转变，分析分层架构与端到端模型两种技术路径，还阐述自变量机器人统一架构的优势和能力。

大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。

上海AI Lab庞江淼认为开放平台是具身智能“ChatGPT时刻”的前提。他早期专注CV，后转型切入底层控制。他指出具身智能Scaling Law非简单线性，还探讨了大小脑融合、VLA技术等，团队发布的Intern - Robotics目标是建开放基础设施。

阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。

清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。