「自进化训练」共找到 3429 篇相关文章
五年，终于等来Transformers v5
Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。
马斯克麾下最惨打工人：手滑删掉xAI三周训练数据
xAI一名员工在数据迁移时误删了2到3周的核心训练数据，这或为Grok重组震荡后遗症。xAI为追Claude等，采取喂Cursor数据、自研V9等策略，还曾借道访问竞品模型。如今xAI把算力租给对手变现。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
ACL 2026｜打破推理同质化！阿里达摩院新作让RLVR从重复采样走向有效探索
阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO，改进rollout策略，在关键节点生成更具区分度的推理轨迹，结合信息瓶颈自奖励机制，在多个数学基准上提升准确率与语义多样性。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
挺意外的，Agent长期记忆潜力被AMemGym挖出来了
论文提出交互式在线策略评测框架AMemGym，它能反映AI助手长期记忆能力、驱动Agent自我进化记忆。它以结构化状态演化为骨架支撑自由对话评测，还对主流记忆系统做了扫描，带来评估与训练范式转换。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
Meta提出Deep Think with Confidence：几乎啥都不用动，就能提升推理的准确性与效率
传统自一致性方法虽能提升推理准确率，但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence（DeepConf），可在不增训练成本和不调超参数下，提升推理准确性与效率，本文对其全面解读。