「非Transformer」共找到 845 篇相关文章
科学家发现大脑中的“旋转风暴”,其结构竟类似Transformer注意力机制
2026年6月18日,叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波,总结特征、验证其与全脑及行为关联,还指出其类似Transformer注意力机制,未来将继续深入研究。
拖拽式搭建分布式Agent工作流!Maze让非技术人员几分钟搞定复杂任务
大模型智能体落地有诸多问题,Maze分布式智能体工作流框架可提供一站式解决方案。它是集成分布式执行引擎的全能平台,有四大核心优势,还有可视化工具让非技术人员也能轻松搭建工作流。
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!
谷歌提出新架构,参数减少40%,训练速度较RNN提升5 - 8倍,某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略,用「保留」取代「遗忘」,还提出Moneta、Yaad、Memora三个新模型,在多任务上表现卓越。
Transformer终结者!谷歌DeepMind全新MoR架构问世,新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构,推理速度翻倍、内存减半,重塑LLM性能边界,碾压传统Transformer。它融合参数共享与按需计算,有路由和KV缓存策略,实验显示其性能优越、可扩展性好。
突发!OpenAI 宣布重大调整:非营利组织将继续永久控制公司!
OpenAI宣布重大结构调整,包括继续由非营利组织控制、营利实体变为公益企业等。网友对此看法不一,有人认为是为赚钱囤资本,也有人肯定其能兼顾使命与发展,变革影响待察。
看懂这篇,你就能秒懂 LLM底层秘密—Transformer原理解析
文章由浅入深介绍LLM基础知识,着重解析Transformer原理,结合案例讲解其工作流程,还介绍当前开源旗舰LLM架构变化,如DeepSeek V3等模型的创新,最后强调模型能力与应用形态的关系。
Sebastian Raschka 2026预测:Transformer统治依旧,但扩散模型正悄然崛起
知名AI研究员Sebastian Raschka预测2026年,Transformer架构在未来至少一到几年仍占统治地位,但会在效率和混合上微调。同时,扩散语言模型虽有工具调用缺陷,但在数据稀缺时或成更好的学习者。
谷歌创始人布林:当年发完Transformer论文,我们太不当回事了
在斯坦福大学工程学院百年庆典活动上,谷歌联合创始人谢尔盖・布林与校长、工程学院院长对谈。他回顾谷歌发展,称曾对Transformer论文未足够重视,还分享对专业选择、大学模式、学术与产业等方面的看法。
告别Transformer,重塑机器学习范式:上海交大首个「类人脑」大模型诞生
上海交通大学团队发布首个「类人脑」大模型 BriLLM,脱离传统 Transformer 架构限制。它基于 SiFu 学习机制,有可解释性、能无限处理上下文等优势,还支持多模态融合,已获交大重点项目资助。
直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理?
为研究Transformer是否具备组合式推理能力,提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力,训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制,展示其泛化推理潜力。