「长文本训练」共找到 2990 篇相关文章
调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模
微软亚洲研究院提出全新文本数据组织范式DELT，通过引入数据排序策略，充分挖掘训练数据潜力，优化训练数据的组织方式，在不同模型尺寸与规模下都达到了良好性能，且不用增加数据量或扩大模型规模。
天下苦VAE久矣：阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖
当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。
告别大模型“失忆”！人大开源MemSifter：轻量代理先思考再回忆，搞定长时记忆
当前大语言模型在长周期任务中，长时持久记忆管理陷入“精度不够”和“成本太高”的两难困境。中国人民大学团队提出MemSifter框架，将记忆检索工作外包给轻量级代理模型，在8个权威测试中超越现有方案，且已开源。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
文生图Scaling新变量，被字节Seed团队发现了
ByteDance Seed团队研究发现，文生图模型中自然语言Caption变长，不意味着模型获更多视觉监督，其信息量更能预测训练损失。团队提出Structured Prompt，从两侧提升文本条件，在多任务上取得显著提升。
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
听说，大家都在梭后训练？最佳指南来了
大模型时代，Scaling Law 边际效益递减，业界转向后训练。《Post-training 101》博客可助初学者入门，涵盖从预训练到指令微调、SFT 原理、多种强化学习技术及模型评测方法等内容。