「自注意力机制」共找到 1943 篇相关文章
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
为什么自监督永远学不到语义？
《Visual Language Hypothesis》论文用纤维丛理论审视视觉表征学习，指出只做连续变换难触达语义。分析现有无监督学习不足，提出“Expand - and - Snap”机制，还通过实验验证，提供审视AI架构新视角。
吴恩达来信：当防护机制出问题时
本周，闭源模型用户意外发动网络攻击，闭源模型因防护机制无法协助防御，开放模型 GLM 5.2 却助力应对。吴恩达认为应重视模型使用的责任，开放模型能让技术更透明安全。
ChatGPT的记忆机制被公开了
OpenAI推出ChatGPT聊天历史记录记忆功能，默认关闭需手动开启，因未全面开放，技术大佬逆向工程破解机制。记忆系统分保存记忆、聊天记录等，体验反馈两极分化，有优势也有诸多bug。
DeepSeek被曝自研AI推理芯片
据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。
EvoSkills：自进化的skill，是好skill
文章分享两项Agent Skill最新研究论文，指出智能体技能从手工制作向自动进化转变。介绍EvoSkills和EvoSkill两种自动化Skill进化方案，对比其机制、验证方式等，还提及未来研究方向。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美，线性递归等新方法理论有优势，实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架，用滑动窗口循环和B2P算法，实验显示有速度与质量双重突破。
刚刚，Ilya Sutskever宣布自任CEO：联创被Meta挖走了
周五凌晨，OpenAI 联合创始人 Ilya Sutskever 宣布自任 Safe Superintelligence（SSI）首席执行官，原 CEO Daniel Gross 已退出。此前有 Meta 欲收购 SSI 的传闻，Gross 或转去 Meta 负责人工智能产品。
苹果AI自研不动，库克外包给谷歌Gemini了
今天凌晨，苹果与谷歌官宣达成深度合作协议，基于Gemini模型和谷歌云技术构建下一代苹果基础模型，成果之一是今年内上线“更个性化的Siri”。此前苹果自研AI推进不顺，人才流失严重。