「长度外推」共找到 1268 篇相关文章
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
全球首个英伟达含量为0的万亿模型，成了海外开发者的抢手货
美团推出LongCat-2.0，是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强，适配主流编程工具，架构设计原创，还证明了国产算力有支撑大模型迭代的能力，训推成本更低。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
Kimi K3 发布 47 页技术报告，最有价值的创新点是这些
月之暗面发布 Kimi K3 技术报告并开放权重，总参数达 2.8T（激活 104B），支持 100 万 token 上下文，主攻 Agent 持续运行数小时的长任务系统改造。
Anthropic 最新发布的 Agent 提示词的 12 条最新规则
指导智能体（Agent）执行复杂任务的关键在于明确验收标准与安全边界。文章整理了定义完成条件、维护长任务清单等 12 条实用规则，并提供了提示词骨架模版。
通用Agent长啥样
视频探讨大厂做基于命令行编程工具的原因，介绍命令行Agent，剖析其等于庞大工具生态、经典Unix组合哲学与现代AI调度能力，指出通用Agent骨架由AI大脑、命令行身躯和MCP感官构成。
李飞飞最新长文火爆硅谷
AI教母李飞飞发表长文，首次系统性解释空间智能，提出真正具有空间智能的世界模型须具备生成、多模态、交互三个核心能力，还分享World Labs进展及世界模型在多领域的潜力。
李飞飞万字长文爆了！定义AI下一个十年
李飞飞新文指出AI下一个前沿是「空间智能」，揭秘其「世界模型」核心框架和三大核心支柱。构建具备空间智能的AI需世界模型，其应用涵盖创意、机器人、科学医疗等领域，有望提升人类生活。
李飞飞万字长文爆了！定义AI下一个十年
李飞飞最新长文指出，AI下一个前沿是「空间智能」，它能让「看见」升华为「推理」等。她揭秘了空间智能「世界模型」核心框架和三大核心支柱，还阐述了其应用领域及构建挑战。