「Self - Attention」共找到 92 篇相关文章
「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破
颠覆性论文《Attention is all you need》作者之一Llion Jones在TED AI大会称厌倦Transformer。他认为AI领域资源多但创造力降，过度聚焦单一架构或错失重大突破，建议调高‘探索旋钮’并分享结果。
「微调已死」再添筹码，谷歌扩展AI自我进化范式，成功经验与失败教训双向学习
近期，‘微调已死’言论引关注。谷歌《ReasoningBank: Scaling Agent Self - Evolving with Reasoning Memory》论文提出类似概念，可让智能体从自身成败经验学习，还引入MaTTS，实验显示其有效性和效率优于基准方法。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。
谁说Scaling Law到头了？新研究：每一步的微小提升会带来指数级增长
很多人质疑扩大计算规模训练模型的做法，因Scaling Law面临收益递减。但新研究发现，模型单步准确率的微小提升能使完成任务长度指数级增长，还探讨了长程执行能力的衡量及影响因素。
从Transformer到GPT-5，听听OpenAI科学家 Lukasz 的“大模型第一性思考”
2017年《Attention Is All You Need》提出Transformer架构，重塑AI版图。其作者“Transformer八子”中，Lukasz Kaiser加入OpenAI，参与GPT-4、GPT-5等研发。他10月将出席大会分享见解，曾预言多模态等趋势已渐成现实。
当Sora 2意外停摆，这个国产视频生成创业团队，直接「开源」三连击
OpenAI叫停Sora 2项目，同期北京AI初创公司Sand.ai在GitHub连续三天开源核心技术栈，包括音视频同出大模型、分布式Attention组件、全局编译框架，还介绍了团队和产品，展现全栈实力。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
推理“刹不住车”？新框架让DeepSeek-R1们告别过度思考，已开源
DeepSeek - R1等推理模型能力增强，但出现过度思考问题，如步骤繁冗、表述拖沓、输出冗长。浙大等团队提出Self - Braking Tuning（SBT）框架，能让模型适时终止推理，在多数据集测试中效果显著。