「多头潜在注意力」共找到 283 篇相关文章
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
OpenAI谷歌Anthropic罕见联手发研究！Ilya/Hinton/Bengio带头支持，共推CoT监测方案
OpenAI、谷歌DeepMind、Anthropic联合发表立场文件，提出CoT监测概念，认为是控制AI Agent核心方法。探讨其潜在机遇、局限，还提及不同公司对CoT监测的不同态度，如OpenAI乐观，Anthropic焦虑。
别跟LLM太交心！斯坦福新研究：AI不能完全取代人类心理治疗师
斯坦福大学研究团队测试流行AI模型及商业化AI治疗平台，发现AI治疗师存在根本缺陷与潜在危险，如歧视回应、无法危机干预、谄媚等，但也认可其在心理健康方面的辅助用途。
图灵奖得主 Yoshua Bengio 智源大会最新演讲：关于AI，我改变了信念，也改变了研究方向
2025年6月6日，图灵奖得主Yoshua Bengio在第七届智源大会发表演讲。他目睹前沿AI行为演化后深感警觉，决定调整科研方向以降低AGI潜在风险，还分享AI“求生”案例，提出构建“科学家AI”新理念。
CoT推理大溃败？哈佛华人揭秘：LLM一思考，立刻就「失智」
新研究揭示思维链CoT会分散模型「注意力」，使大模型推理时易出错。研究指出在需遵守指令任务中，用CoT推理模型准确率下降，还总结了四大模式，并提出四种缓解策略。
Anthropic 发文称自家 Claude 已经开智，网友：为了上市，不择手段？
Anthropic发布Claude内部机制新研究，介绍J-space和J-lens，称可读取模型未输出的内部概念。此研究在训练、评测和部署有潜在价值，但叙事引发争议，网友质疑是否过度包装。
击败PI！星动纪元登顶具身奥林匹克，狂揽三项全球冠军
在具身灵巧操作奥林匹克赛事Benjie’s Olympics中，中国具身智能公司星动纪元斩获三项全球第一，超越美国明星公司PI。其自研VLA具身模型优势显著，且已在多领域落地应用。
国产AI营销工具来了！工作流被Agent重构，营销物料一键即出
2026年营销与以往不同，传统营销困境重重，消费者注意力碎片化。巨量引擎推出「品星云AI营销新模式」，贯穿营销全链，有独家生态、硬核技术、体系协同优势，为AI营销产业级落地提供范本。
FlashAttention-4正式发布：算法流水线大改，矩阵乘法级速度
深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上，注意力机制执行速度接近矩阵乘法。新算法克服瓶颈，在B200上性能提升，还获Pytorch官方支持。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。