「预训练框架」共找到 3463 篇相关文章
清华&巨人网络首创MoE多方言TTS框架，数据代码方法全开源
清华与巨人网络联合首创 DiaMoE-TTS 多方言 TTS 框架，数据、代码、方法全开源。它基于 IPA 体系，有 MoE 架构和低资源适配策略，在多语种验证，为方言语音合成提供低成本、可扩展方案。
火山引擎 veFuser：面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破，但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架，能在图片和视频生成上实现低延迟、低成本的高质量体验，且未来会持续迭代。
基于LLM的Agentic Reasoning框架综述：从方面到场景的全面总结
近年来，大型语言模型虽能力强但有局限，研究者构建基于LLM的智能体系统。此综述论文提出系统、统一分类法梳理智能体推理框架，建立统一描述语言和通用算法，分析其在不同场景表现与评估方法。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
马斯克开源新模型：能实时抓取社交平台数据，20万块H100训练
马斯克旗下xAI开源去年最佳模型Grok - 2.5，6个月内还将开源旗舰模型Grok 3。Grok - 2.5可实时抓取社交平台X数据，用超20万块H100训练，性能超GPT - 4o等，应用场景广泛。
SPIRAL：零和游戏自对弈成为语言模型推理训练的「免费午餐」
新加坡国立大学等机构团队提出 SPIRAL，让模型在零和游戏自对弈强化推理，摆脱人工监督。研究发现游戏可培养推理能力并迁移到数学，还开发系统保障训练，虽有局限但为 AI 发展指明方向。
Gödel Rescheduler：适用于云原生系统的全局最优重调度框架
本文介绍字节跳动研发的Gödel Rescheduler重调度框架，它能解决传统调度资源分配和任务摆放问题。阐述传统重调度弊端，介绍新方案组件，列举应用场景及成果，还提及未来规划，目前已开源。
豆包是如何炼成的？字节放出自研万卡训练系统ByteRobust论文
文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成，关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性，已部署超一年，效果显著。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
LeCun力荐的JEPA杀入LLM，用CV的思路训练LLM，性能鲁棒性双丰收
LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。