搜索：循环Transformer

「循环Transformer」共找到 386 篇相关文章

离开OpenAI和Google后，两位大模型核心负责人决定卷下一代架构

曾是OpenAI的「强化学习最大主义者」Jerry Tworek，与谷歌Gemini预训练负责人Rohan Anil，共同创办Core Automation。他们探讨当前AI路线问题，认为下一代架构要能持续学习，还计划打造自动化AI实验室。

AI传奇人物Noam Shazeer宣布离开谷歌，转投OpenAI。他是Transformer架构论文作者之一，贡献卓越。Sam Altman称等他10年，OpenAI研究负责人欢迎其加入。这对OpenAI是胜利，对谷歌Gemini研发是打击。

文章对比AI智能体与传统AI应用，指出前者更像“乐高积木”，可融入生活工作。介绍其工作是“感知—推理—执行—学习”循环，还给出快速构建通用方法，如明确目标、选框架等。

Google在NeurlPS2025大会推出结合RNN与Transformer的全新架构Titans，能扩展到超200万个token上下文。背后涉及Titans和MIRAS两篇论文，共同推进测试时记忆概念，实验显示新架构性能出色。

伴随Gemini 3、GPT 5.1小道消息，谷歌Nano Banana 2提前到来。它采用多步骤生成流程，有自我纠错循环，能替代部分Photoshop功能，在细节、配色等方面比一代提升明显，即将正式上线。

在Agent时代，提示工程进化成上下文工程。斯坦福等团队提出Agentic Context Engineering（ACE），让智能体自我学习与进化。文章介绍了上下文工程的必要性、定义、常见策略，以及ACE的概念、原理与架构。

OpenAI CEO Sam Altman与内部核心高管圈子主导1.5万亿美元系列交易，绕开银行家和律师。交易呈技术优先、财务后置非传统模式，如与英伟达、AMD等多笔重磅交易，还介绍了绕开外部顾问原因。

MC大神sammyuri时隔3年发布新作，在MC中复刻ChatGPT，名为CraftGPT。虽参数量小，但用Transformer架构，能和用户交互。模型训练用Python和小数据集，视频存档公布助理解原理。

过去大模型依赖Transformer和NVIDIA GPU体系，硬件自主化难。中科院团队提出类脑大模型SpikingBrain，在超长文本处理上百倍加速，在国产MetaX GPU平台稳定训练76B模型，开辟新道路。

Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。