搜索：自注意力机制

「自注意力机制」共找到 1946 篇相关文章

李飞飞的World Labs联手光轮智能，具身智能进入评测驱动时代！

李飞飞旗下World Labs与光轮智能联手，瞄准具身智能「规模化评测」问题。World Labs的Marble是生产力工具，而光轮智能有自研仿真技术体系，双方合作让规模化评测成为可能，具身智能迈入评测驱动时代。

2026年1月8日消息，xAI联合创始人通知员工，Cursor中的Claude模型无法响应，是Anthropic针对对手的新政策。此前Anthropic已多次调整策略，封杀竞争对手，其目的包括保护数据资产等。xAI或加速自研，行业或开启军备竞赛。

jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。

Sakana AI受自然演化启发提出全新模型融合进化方法M2N2，引入‘择偶机制’让AI‘竞争、择偶、繁衍’。此研究获GECCO 2025最佳论文提名，M2N2表现优于其他算法，还避免‘灾难性遗忘’。

17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。

视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。

本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。

当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。

AI原生设备爆发，传统操作系统面临挑战，将迎来范式革命。vivo蓝河操作系统3（BlueOS 3）全栈自研，具备“天生更智慧、更流畅、更安全”特质，本文以此为例解读操作系统架构重塑。