「循环Transformer」共找到 386 篇相关文章
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
ICCV 2025 | FDAM：告别模糊视界，源自电路理论的即插即用方法让视觉Transformer重获高清细节
针对视觉 Transformer（ViT）‘低通滤波’特性致细节丢失问题，北京理工大学等团队提出即插即用的 FDAM 模块。它受电路理论启发，能提升模型在分割、检测等任务性能，取得 SOTA 效果，有巨大应用潜力。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
Loop-ViT：让AI学会「反复思考」，3.8M参数小模型追平人类平均水平
香港科技大学等团队提出 Loop - ViT，将循环 Transformer 引入视觉推理领域。该模型参数少但性能强，3.8M 小版本追平人类平均水平，揭示视觉推理任务中‘思考时间’比‘模型大小’更重要。
Communications Engineering | 西湖大学&女王大学：面向阵风气动建模的表面压力时空动力学关联研究
西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模，融合图神经网络与注意力机制，从表面压力信号学时空关联，实现气动力准确预测，为AI在复杂气动建模提供新思路。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
Claude强到不敢发的Mythos，被质疑用了字节Seed技术
Claude最强“神话”模型Mythos引发猜测，或用了字节Seed技术。社区热议其是否采用循环语言模型架构，关键线索来自Anthropic测试数据，在图搜索测试中Mythos优势明显，还有其他线索指向循环架构。
Loop Engineering 实战：实现从日志扫描到预发部署的全自主闭环
文章分享 Loop Engineering 实战经验，指出传统维护循环存在看不见、记不住、没闭环问题。介绍了从 Prompt 到 Loop 的四代 AI 工程化范式，阐述 Loop 原理、组件及落地实践，还提及范式迁移和踩坑教训。