「分块注意力残差」共找到 237 篇相关文章
Skywork技术论坛一手分享：Agent与多模态的落地真相｜甲子光年
8月19日，昆仑万维发起第一期Skywork全球技术论坛讨论会，众多高校和企业嘉宾围绕Agent与多模态展开交流。探讨了Agent商业化、多模态应用等核心问题，提出诸多判断，指出行业热度高但落地是关键。
告别评估乱象！首个视觉解释综合性基准发布，附人类真值 | KDD'25
埃默里大学团队推出首个视觉解释基准Saliency - Bench，构建8个任务的数据集，提供标准化评估流程与开源工具包，解决评估缺乏标准等问题，推动可解释AI向可靠、透明发展。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
中学生就能看懂：从零开始理解LLM内部原理【九】｜ 层归一化：神经网络的稳定器
本文是系列文章第九篇，介绍了神经网络中的层归一化。先回顾标准差、标准分概念，指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络，还加入可学习参数，最后总结其作用与应用位置。
Qwen3.8-Flash-Next：SGLang Day-0 支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next，是Qwen4架构早期预览版。SGLang在发布首日提供完整支持，模型架构多方面升级，亮点众多，还介绍各组件优化及PLE架构与卸载优势。
Claude神之bug：给自己下指令，还诬赖用户？？Hacker News炸了
强如Claude也现诸多bug，如分不清发言角色，把恶意注入指令当用户请求。技术根源是Transformer架构注意力机制盲区。网友给出避坑方案，还吐槽Claude算力调整、计费乌龙等问题。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
更长的推理链反而导致更多幻觉，MLLMs 幻觉解法仅「抄作业」还不够？摘要
近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。
CoT推理大溃败？哈佛华人揭秘：LLM一思考，立刻就「失智」
新研究揭示思维链CoT会分散模型「注意力」，使大模型推理时易出错。研究指出在需遵守指令任务中，用CoT推理模型准确率下降，还总结了四大模式，并提出四种缓解策略。
击败PI！星动纪元登顶具身奥林匹克，狂揽三项全球冠军
在具身灵巧操作奥林匹克赛事Benjie’s Olympics中，中国具身智能公司星动纪元斩获三项全球第一，超越美国明星公司PI。其自研VLA具身模型优势显著，且已在多领域落地应用。