「预训练框架」共找到 3463 篇相关文章
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
出自小米的模块化图像编辑改造：让 AI 学会「搭积木」
小米研究团队发布 Lego-Edit 图片编辑框架，将复杂编辑任务拆成工具集和调度系统，工具集模型各司其职，调度系统指挥操作。采用渐进式训练，性能优、扩展性好，体现协同智能优势。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
机器人学会「眼看手摸」！FreeTacMan 实现人类指尖亲自「授课」
OpenDriveLab提出的FreeTacMan，将人类视觉、触觉和动作技能高效传输给机器，破解精细操作难题。它配备高分辨率触觉“皮肤”，实现人类“手把手”教机器人“感知”，还通过融合时间感知的触觉预训练，提升机器人策略性能。
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
ACL 2026｜清华新作ControlAudio：声音何时响、说啥话？都能按剧本可控生成！
现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。
从视觉出发统一多模态！颜水成团队最新研究：不再把图像编解码器塞进LLM｜ICLR'2026
NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
AGI倒计时，OpenAI首席研究官重磅表态：留给人类的窗口「很小」
OpenAI首席研究官Mark Chen称AGI即将到来，模型能自主研究。他反对‘预训练已死’，认为Scaling曲线未到头。还提出‘Vibe Researcher’概念，不过通往AGI有评测和持续学习等问题待解决。