「自注意力机制」共找到 1939 篇相关文章
熬夜后走神不是你的错，而是自救机制在“洗脑” | Nature
麻省理工学院研究揭示，熬夜后白天易走神是因大脑“洗脑”机制启动。正常“洗脑”在睡眠时进行，清理废物；睡眠不足时，白天也会启动，代价是注意力受损。此前波士顿大学也有大脑清洁相关研究。
可塑的计算机Omarchy爆火硅谷，龙虾之父自掏100万投资
Ruby on Rails 作者 DHH 推出 Linux 发行版 Omarchy，将 AI agent 嵌进系统底层，有独特设计和功能。自带安装脚本，安装快。获十位大佬各 100 万美元赞助，多家系统也在探索 AI 嵌入，它有望开启 Agent OS 时代。
VLA统一架构新突破：自回归世界模型引领具身智能
北京智源研究院联合中科院自动化所提出 UniVLA 全新 VLA 模型架构，基于全离散、自回归机制建模多模态信号，后训练引入世界模型。它刷新多项基准纪录，在真机操控和自动驾驶有潜力，为多模态感知决策融合带来新思路。
爆红Moltbook一夜塌房！极客自曝狂刷50万假Clawdbot，全网都被骗了
爆火的Moltbook社区上，150万个Clawdbot中的一大部分由人类操控。极客Gal Nagli自曝刷了50万虚假账号，还指出其验证机制脆弱，可伪造数据。哥大论文也显示AI社交互动浅薄。
Qoder 发布首个自进化的智能体：看 Quest 如何重构了 Quest
Qoder 发布首个自进化智能体 Quest，它能自主完成重构自身长程任务执行逻辑等任务。Quest 从上下文管理、工具选择、Agent Loop 三方面优化架构，还具备自主进化能力，正探索自主编程新可能。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
深度解析LLM Wiki / Obsidian-Wiki / GBrain：Agent时代知识的“自组织”与“自进化”
文章深度解析LLM Wiki、Obsidian - Wiki和GBrain项目，探讨Agent时代知识的“自组织”与“自进化”。指出传统知识管理有短板，而这些项目通过不同方式解决知识结构化、沉淀和更新问题，各有优劣。