「Attention性能瓶颈」共找到 2434 篇相关文章
上交×蚂蚁发布 DiagGym：以世界模型驱动交互式医学诊断智能体
上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破
颠覆性论文《Attention is all you need》作者之一Llion Jones在TED AI大会称厌倦Transformer。他认为AI领域资源多但创造力降，过度聚焦单一架构或错失重大突破，建议调高‘探索旋钮’并分享结果。
Agent 一年半开发复盘：大家对 Agent 的理解有错位，有效的「认知流程」很关键
本文是作者对一年半AI开发过程的复盘，指出大家对Agent理解有错位，强调有效「认知流程」的关键作用。通过高考、学霸成长等例子阐述Agent核心，对比Chatbot与Agent，还从理论视角解释其有效性，最后点明开发者角色转变及面临的挑战与前沿探索方向。
机器人连续叠衣120分钟！仅用0.9B参数实现五大SOTA｜清华AIR & 上海AI Lab开源
清华大学智能产业研究院与上海人工智能实验室联合发布通用跨本体具身基座模型X-VLA。它是首个实现120min无辅助自主叠衣的全开源模型，仅0.9B参数量就在五大权威仿真基准刷新纪录。
蚂蚁开源万亿参数思考模型 Ring-1T，综合能力逼近 GPT-5、数学能力对标 IMO 银牌
10月14日凌晨，蚂蚁集团推出万亿参数思考模型Ring-1T并全面开源。它在多任务榜单表现均衡，数学能力达IMO银牌水平，通用能力逼近GPT - 5，还采用自研算法应对行业难题，目前可下载体验。
晶圆级芯片主流技术路径对比
人工智能时代算力需求爆炸式增长，与半导体工艺进步放缓矛盾凸显。晶圆级计算为算力发展开辟新路径，有Cerebras和特斯拉两种技术路线，邬江兴院士团队提出软件定义晶上系统技术，但我国该技术发展面临多重挑战。
视觉领域的GPT-3时刻！DeepMind首次证明Veo3模型实现对物理世界建模和推理
谷歌DeepMind研究团队论文显示，视频模型Veo 3学会‘无师自通’，能处理多种没学过的视觉任务。研究人员将其能力分四级，还做了定量评估。研究认为机器视觉或正处范式转变边缘。
斯坦福新论文：微调已死，自主上下文当立
斯坦福大学等机构研究人员新论文指出，依靠上下文工程，无需调整权重，模型也能变聪明。他们提出智能体上下文工程ACE，不依赖模型重训，让上下文自主进化，在多场景测试中表现优于多种方法。
Thinking Machines新发现：Lora不是权宜之计，哪怕秩低到 1，也能匹敌全参数微调
Thinking Machines和John Schulman新研究刷新对LoRA的认知，实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系，有层选择、学习率等关键发现，还给出实用建议，但LoRA在部分场景表现待验证。