「并行循环Transformer」共找到 616 篇相关文章
Transformer学不会多位数乘法？MIT和哈佛的研究指出了一个简单漏洞
MIT、哈佛和谷歌DeepMind团队实验发现，Transformer做4位数乘法有软肋。用‘隐式思维链’（ICoT）训练的模型准确率达100%，传统方法仅1%。研究揭示了问题根源，还给出修复方案，但也引发诸多质疑。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
在WAIC现场，全球首个拥有「原生记忆力」的大模型亮相，但不是Transformer
在WAIC上，RockAI推出基于非Transformer架构Yan 2.0 Preview的多模态大模型，有原生记忆能力。它在性能指标上优势明显，其记忆机制接近生物方式，团队秉持理念推动离线智能，获硬件厂商关注。
ICML 2025 | 打破残差连接瓶颈，彩云科技&北邮提出MUDDFormer架构让Transformer再进化！
彩云科技与北邮联合提出多路动态稠密连接（MUDD）替代残差连接，提升Transformer跨层信息传递效率。实验显示，采用该架构的模型性能显著提升，论文等均已公开。
SMO | 西工大宁晨伽、张伟伟等：基于共享并行神经网络架构的多精度气动融合方法
高可靠性气动数据降本增效是关键命题。本研究总结主流多精度建模方法，提出基于共享并行架构的融合策略，区分公共与私有特征，提升融合框架表征能力，还通过算例验证方法有效性。
卡帕西李飞飞辛顿都投了的Transformer专用芯片，签下10亿美元大单
Etched是只做Transformer专用芯片的创业公司，获卡帕西、李飞飞、辛顿投资。它宣布流片成功，筹集8亿美元，获10亿美元客户大单，还推出一整套面向前沿模型推理的集群系统。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
全网破防，AI「手指难题」翻车逼疯人类！6根手指，暴露Transformer致命缺陷
最近网友被AI「手指难题」逼疯，给AI六指手，它始终无法数对。GPT - 5.2、Nano Banana Pro等均翻车。此问题揭露当前模型思考机械、割裂等缺陷，也凸显Transformer架构弱点。