「循环深度Transformer」共找到 1095 篇相关文章
注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美，线性递归等新方法理论有优势，实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架，用滑动窗口循环和B2P算法，实验显示有速度与质量双重突破。
八年后，Meta教会了Transformer「显式思考」
10月20日Meta上线新论文《The Free Transformer》，作者François重写Transformer思维方式，造出Free Transformer新架构。它在解码器内加入随机潜在变量，让模型生成内容前先‘思考’，实验显示在多任务上性能显著提升。
统治AI十年的Transformer，要被亲爹亲手砸碎？
5月5日旧金山的辩论赛上，Transformer联合发明人Łukasz Kaiser为其作品辩护，三位挑战者指出Transformer五大死穴。Kaiser称除非新架构证明有更好的scaling曲线，否则Transformer仍是主流，还给出具体辩护。
Meta打碎Transformer 8年铁律！改写AI最底层规则，模型首次冒出潜意识
Meta推出「自由Transformer」新模型，打破自2017年以来GPT模型核心规则，在解码器引入潜在随机变量Z，增加“潜意识”。仅增约3%计算开销，在多测试中超越大规模模型，或开启后自回归时代。
浙大彭思达团队 × 理想最新研究：直面高分辨率深度的细节缺失
现有高分辨率深度估计方法在实际使用中存在局限，浙江大学彭思达团队联合理想研究团队提出论文《InfiniDepth: Arbitrary-Resolution and Fine-Grained Depth Estimation with Neural Implicit Fields》，构建实验验证了InfiniDepth在多方面的有效性。
深度视角 | 物理法则如何“纠偏”AI黑盒？首篇社会物理学引导的深度学习（SGDL）综述深度解析
近日，清华等多机构发布全球首篇SGDL系统性综述。文章介绍SGDL诞生背景、核心架构、应用场景，探讨其与大模型结合潜力，也指出面临的挑战，认为其是思维范式跃迁，正构建智能社会蓝图。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
苹果AI选Mamba：Agent任务比Transformer更好
苹果新研究指出，在长任务、多交互的Agent式任务中，基于SSM架构的Mamba在效率与泛化能力上超Transformer。虽Mamba有局限性，但引入外部工具后性能显著提升。
TransDiff--最简洁的AR Transformer + Diffusion图像生成方法
文章分享图像生成新方法TransDiff，它结合AR Transformer与Diffusion，提出MRAR范式。通过Q&A解答其使用Transformer原因、小Diffusion Deocder效果等问题，还指出它有连续帧生成潜力，将用于视频生成。
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。