「长序列训练」共找到 2701 篇相关文章
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
新模型亦是新 Agent，Kimi-Researcher 超大量一手实测！
2025 年被称为“Agent 元年”，月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher，其基座是自研新模型。文章对其进行大量实测，与 OpenAI 等对比，并探讨了 Deep Research 的重要性及 Kimi 的不足。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
太逼真！豆包·播客模型来了：一句话生成「苏超联赛」播客，很懂13太保的梗
火山引擎发布豆包·播客模型，生成的AI对话语气、停顿等像真人。操作简单，生成快且有字幕。能处理多种类型内容，如热搜话题、苏超联赛、超长文本等。其基于端到端实时语音模型，有技术突破。
微软副总裁X上「开课」，连更关于RL的一切，LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」，分享人工智能教育帖子，从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论，分布式强化学习系统构建，RL 用于后训练 LLM 等，还介绍单步强化学习与策略梯度及相关技巧。
纯血国产！4B模型越级打怪，杀入万亿赛道
9月1日，Hugging Face上线星火X2.5-4B和1.7B开源端侧模型，在多指标测试中表现优异，实现“越级打怪”。该模型基于全国产算力平台训练，在断网笔记本上实测效果惊艳，使用了两项技术提升能力，适配性强。
全网最强万字解读：DeepSeek-V4 掀翻了谁的桌子？ | GAIR live 030
文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。
一场关乎纯度99.9999%的国运之战
2026年，一场围绕电子特种气体纯度的“国运之战”正激烈展开。其纯度要求已严苛至6N乃至更高，这关乎国家科技自立、产业安全。当前中国电子特气市场虽扩大，但本土产业面临外资封锁，国产化突围道阻且长。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
对话原力灵机周而进：模型2.4B就够用，关键是“具身原生”；能闭环才是最高效方法
原力灵机推出首个具身原生模型产品DM0，仅2.4B参数，却能支撑实时处理画面与真机进化。其合伙人周而进称要走具身原生路线，还介绍了数据采集、模型训练等多方面内容及公司发展规划。