「预训练框架」共找到 3535 篇相关文章
视频世界模型跑长序列不「崩」了！用光流约束+历史记忆+多步训练，让动态场景稳如磐石
现有视频世界模型在长时间交互中易出现运动不合理与场景崩坏问题，核心原因是误差累积。MagicWorld提出面向长时稳定性的交互式建模框架，通过光流约束、历史缓存检索和多步聚合训练，有效缓解误差累积。
让企业拥有自己的模型！PyTRIO定义TaaS新范式：大模型训练进入API时代
本文围绕企业自主训练专属大模型的行业趋势展开，指出当前大模型训练门槛高、工程成本大的痛点，介绍情感机器推出的PyTRIO训练平台，提出TaaS新范式，封装底层工程，开放训练API，降低训练门槛。
详尽地带你从零开始设计实现一个AI Agent框架
文章详尽介绍AI Agent框架，从理论到实践，涵盖多种模式、主流框架对比，强调上下文工程是核心，还给出极简框架实现及应用示例，虽有不足但能助看清Agent本质。
清华开源首个股票k线大模型
清华开源首个股票K线大模型Kronos，是专为金融市场K线序列预训练的模型，处理金融数据高噪声特性。采用两阶段框架，有安装、预测步骤，还有批量预测方法，项目地址为https://github.com/shiyu-coder/Kronos。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
让AI自我进化？斯坦福华人博士答辩视频火了，庞若鸣参与评审
斯坦福大学博士生 Zitong Yang 完成「持续自我提升式 AI」博士论文答辩并分享视频。他针对当前模型局限提出解决方案，涵盖合成持续训练、预训练能力自我提升、迈向 AI 设计 AI 三个核心方向，引发行业关注。
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。
我只推荐这5个！24个开源Agent/Workflow框架大比拼！
文章围绕《A Survey on Agent Workflow》展开，介绍了Agent Workflow概念、与Multi - Agent差异、核心组成及Agent角色。对24个主流框架进行对比，还给出不同场景下的框架选择建议，指出当前框架缺乏统一标准。