「循环模型」共找到 7745 篇相关文章
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
刚刚，OpenAI Astra核心架构爆出：大模型第三条Scaling法则诞生
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法，该技术能降本提效，但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题，并给出Scaling Law。
都在卷「让大模型多循环几遍」，这个7B模型LoopCoder v2说：多循环 1 次就够了
当下推理模型流行在测试时多循环，以打磨答案。但新研究发现，7B模型LoopCoder v2只多循环1次（共2次），就能大幅提升性能，继续增加循环次数，性能反而下降。研究还分析了收益与成本，给出选择循环次数的诊断方法。
都在卷「让大模型多循环几遍」，这个7B模型LoopCoder v2说：多循环 1 次就够了
一项新研究表明，7B小模型LoopCoder v2在正常计算外多循环一次，就能在SWE - bench Verified基准上大幅提分。继续增加循环次数，性能反而下降。研究还算了‘收益 - 成本’账，给出选择循环次数的诊断方法。
写给Agent的Loop，关键不在循环那六行代码本身
最近‘别再一句句给Agent写提示词，去写循环’说法火了。虽循环代码简单，但关键在模型周围。循环工程有四大难点，角色也从操纵Agent变为设计系统，不过此说法也有反对声。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
火速吃瓜，OpenAI模型还没发又惹出争议了？？
GPT - 6发布前夕消息不断，OpenAI新模型引入的“循环深度”技术因可能让模型思考难监控引争议，同时模型名或被API剧透，图像模型GPT Images 2.1也将更新。
年度AI论文！全球三大顶尖模型的防蒸馏机制全面告破：小模型“套出”大模型隐藏思维链，Kimi-K3重现概率异常
这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。
非Transformer架构的新突破，液态神经网络的推理小模型只用900M内存
谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。
首次曝光！OpenAI新一代旗舰Astra换上“循环深度”推理架构：用计算深度换参数规模
9月2日消息，OpenAI将推出的旗舰模型Astra采用“循环深度”新技术，用较小模型实现庞大模型性能，降低成本。但该技术会让AI推理过程不可读，加重安全担忧，此前奥特曼已因Astra“能力过强”踩刹车。