「长文本训练」共找到 2990 篇相关文章
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
SnapMoGen：44 小时动作数据 + 12 万文本注释，文本驱动动作生成数据集
近年来文本驱动动作生成有进展，但受限于数据集质量。Snap团队提出SnapMoGen数据集和MoMask++模型。前者有2万条动作片段和12.2万条文本描述，后者建模更有效，还结合LLM提升适用性，但二者都有局限。
探索文本压缩极限！C3纯文本压缩pipeline：20倍压缩解码准确率98%
DeepSeek团队的DeepSeek - OCR技术引发关注，研究者重新审视视觉压缩路径后提出C3技术。C3采用纯文本压缩管道，实验表明其压缩精度远超DeepSeek - OCR，还具独特遗忘模式，代码模型均已开源。
从“一句成片”到“长轨推演”：探究多模态智能体在长视频编辑中的应用
近年来大语言模型在长篇视觉叙事中潜力卓越，但长视频剪辑仍难控制。中科大等团队开源工作从系统工程视角研究多模态智能体在长视频编辑中的机制，重构剪辑管线，找到症结并给出解决办法。
把AI 时代最重要的判断力当专业学科训练，专注提升判断力
文章指出AI时代人们多只有“领域内判断力”，判断力可当学科训练。介绍预测大赛中普通人表现超CIA分析师，1小时训练能提升10%准确度，还给出判断力3层栈框架及30天训练清单。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
【万字长文】大模型训练推理和性能优化算法总结和实践
本文总结大模型落地的训练、推理和性能优化算法与实践，介绍语言模型发展，对比BERT、GPT等训练方式，分析生成式大模型问题，还阐述数据处理、推理优化及训练调优等内容，并给出不同场景技术选型建议。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。