算法论文7

循环模型500步后训练突破256k长度泛化极限

机器之心2025-07-08

AI 摘要

CMU、Cartesia AI研究者指出，循环模型处理长序列时遇未探索状态致泛化失败。提出未探索状态假说，用SP、TBTT等干预方法，经500步后训练，让模型突破256k长度泛化极限。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

三万字讲透大语言模型入门

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。

OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。