搜索：循环Transformer

「循环Transformer」共找到 393 篇相关文章

OpenAI 迈出关键一步：LLM 黑盒不再是盲盒

OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。

蛋白质折叠是计算生物学核心难题，SimpleFold作为首个仅基于通用Transformer模块的蛋白折叠模型，摒弃AlphaFold2系列传统架构，能将蛋白序列生成三维原子结构，在多基准测试表现强劲，还可生成结构集合。

谷歌花27亿美元挖来的Transformer“贡献最大”作者Noam Shazzer，因在公司内部论坛发表极具争议的言论，点燃“火药桶”。谷歌管理方删帖使争议升级，外界联想起2017年“James Damore事件”，但Noam地位重要，谷歌难以将其开除。

LSTM之父Jürgen Schmidhuber替学生Sepp Hochreiter发声，称残差学习30年前已诞生，1991年Sepp就用循环残差连接解决梯度消失问题，为残差思想奠基。他觉得将成果全归何恺明团队有失偏颇。

美光财报表现亮眼，单季营收414亿美元，同比暴涨346%，毛利率从38%飙升到85%。AI让内存成战略资源，需求爆发，供给受限。美光扩产激进、技术进步快，有望进入‘以利润养扩产’正循环。

淘宝姜宇宁团队上线RecGPT百亿参数推荐大模型，对“猜你喜欢”功能技术升级。大模型赋予传统推荐系统新能力，如让其“白盒化”、理解长上下文等。姜宇宁认为AI要创造商业价值，落到业务场景形成正向循环。

蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。

具身智能发展中样本效率成瓶颈，传统无模型强化学习依赖盲目试错。清华与加州伯克利团队提出BOOM框架，通过自举循环机制解决在线规划与策略学习矛盾，实验表现卓越，为具身智能落地提供支撑。

英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。

马斯克将X平台（原Twitter）「为你推荐」信息流算法开源，不到一天冲到5000 Star。该算法将站内与站外内容合二为一，用基于Grok的Transformer模型统一排序，移除手工特征与大部分启发式规则。