「循环Transformer」共找到 386 篇相关文章
稳定训练、数据高效，清华大学提出「流策略」强化学习新方法SAC Flow
本文介绍清华大学和CMU提出的SAC Flow新方案，可端到端优化流策略。它将流策略视作residual RNN，用GRU和Transformer结构稳定训练。在多环境测试中表现优，有稳定、快速、样本效率高的特点。
博士80小时熬夜改代码，Codex 2小时交卷！科研奇点来了
近日，Agentic AI工程师Dan McAteer实验发现，OpenAI Codex的Goal Mode完成机械可解释性研究任务，效率比博士高40倍。Codex /goal模式能自主循环，契合科研流程。此外，递归自我改进证据涌现，AGI或早已实现。
AI Coding 之后，如何让 Agent 进入企业研发全链路？得物推荐的 Harness 实践
得物资深技术专家白忠魏在AICon大会分享实践。团队目标是将AI Coding扩展为全链路方法，介绍了PDCA循环、全链路前提、七阶段护栏等探索，还提及用知识体系和混合Agent架构解决问题，已有阶段性成果。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
突破Pass@1瓶颈：一种让LLM自我博弈、永不枯竭的RL新范式，超越基线22.8%！
近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
RAG 进化之路（祛魅 Agentic RAG）：传统 RAG 到工具与强化学习双轮驱动的 Agentic RAG
文章旨在祛魅 Agentic RAG，先介绍传统 RAG 的离线入库和在线应用，指出其不足。再阐述 Agentic RAG 让 LLM 自主决策，结合工具执行循环。还介绍基于提示词和强化学习的实现方式，最后总结不同 RAG 的优劣。
我用 GLM-5.2 读 148 万字资料：一天读懂一个知识
作者用 GLM-5.2 处理 148 万字 Transformer 资料，它生成可打开的 HTML 阅读页，将内容排成理解路线。GLM-5.2 在评测榜单中进入第一梯队，主打 1M 上下文，还分享了使用该模型处理资料的具体做法。
【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】
当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。