整流流Transformer」共找到 386 篇相关文章

新闻资讯8

Mamba-3惊现AI顶会ICLR 2026!CMU知名华人教授一作首代工作AI圈爆红

Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进,在长文本处理、实时推理和成本优化有优势。此外,FBAM也从不同角度探索Transformer下一代框架。

新智元
算法论文7

原来Scaling Law还能被优化?Meta这招省token又提效

2017年《Attention Is All You Need》提出的Transformer是主语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制,证明其表现能改变Scaling Law系数,还证实2 - simplicial Transformer在有限token预算下更优。

机器之心
新闻资讯7

刚刚,全球最难考试惊天大反转!黑马AI冲破36%,顶模型集体翻车

ARC-AGI-3测试中,顶级大模型Opus 4.6仅得0.2%,人类获满分。而Symbolica公司用Agentica框架首日就取得36.08%的成绩。该框架有独特技术路径和策略,但成绩未经验证,ARC-AGI-3被视为通向AGI的‘北极星’。

新智元
产品应用7

小企业专属Claude来了!一键接入全套业务,不用写代码AI自动算账催款

Anthropic推出Claude for Small Business,是全新连接器和工作包,可嵌入小企业常用工具。操作简便,覆盖多领域,有安全保障,还配套培训课程和线下活动。

AI寒武纪
开源动态8

把RoPE扔掉,AI更能看懂长上下文!Transformer作者团队开源大模型预训练新方法

Transformer架构核心作者之一Llion Jones团队开源新技术DroPE,可丢弃位置嵌入扩展上下文,解决RoPE长序列处理缺陷,在多模型实验中表现卓越。该团队来自Sakana AI,此前还有相关研究成果。

量子位
算法论文8

ICCV 2025 | FDAM:告别模糊视界,源自电路理论的即插即用方法让视觉Transformer重获高清细节

针对视觉 Transformer(ViT)‘低通滤波’特性致细节丢失问题,北京理工大学等团队提出即插即用的 FDAM 模块。它受电路理论启发,能提升模型在分割、检测等任务性能,取得 SOTA 效果,有巨大应用潜力。

机器之心
新闻资讯7

“最悲伤的结局”?IBM豪掷110亿收购Confluent:Kafka开源焦虑升级,Flink计算成最大赢家

IBM 以 110 亿美元全现金收购 Kafka 公司 Confluent,此前已在开源软件收购投入超 500 亿美元。Confluent 贡献 Kafka 超 60 - 70% 代码量,收购引发开源社区担忧,也让 Flink 计算或成赢家。

InfoQ
新闻资讯7

大模型玩不好数独?!Transformer作者初创公司公布排行榜:o3 Mini High“变异数独”正确率仅2.9%

Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜,用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%,9×9数独中高性能模型o3 Mini High正确率2.9%。

量子位
新闻资讯7

7B小模型超越DeepSeek-R1:模仿人类教师,弱模型也能教出强推理LLM | Transformer作者团队

Transformer作者之一创立的Sakana AI带来新方法,让教师模型像人类教师一样做启发式教学,根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。

量子位
算法论文8

Communications Engineering | 西湖大学&女王大学:面向阵风气动建模的表面压力时空动力学关联研究

西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模,融合图神经网络与注意力机制,从表面压力信号学时空关联,实现气动力准确预测,为AI在复杂气动建模提供新思路。

力学与人工智能