搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

AutoDev CLI：打造 AI 生成的 AI Agent 质量保障与验证架构

文章介绍AutoDev CLI，它基于AutoDev MPP架构构建，旨在解决上一代AutoDev智能体测试难题。阐述其起步、迭代、演进、集成过程，实现从AI生成代码到验证、生成测试系统的转变，带来可验证、可演化、可移植的优势。

随着AIGC爆发，3D人体动作生成领域滞后，现有模型泛化能力有瓶颈。南洋理工大学等机构研究人员提出ViMoGen，从数据、模型、评估三方面重新定义通用动作生成路径，还能赋能具身智能。

香港科技大学（广州）与地平线团队提出VGGT4D，通过分析VGGT内部机制，利用注意力层运动线索，提出无需训练框架，在动态物体分割等任务表现优异，为低成本4D重建提供新思路。

将大模型应用于特定领域需数据微调，但筛选高保真训练数据难度大、成本高。谷歌提出新主动学习筛选流程，能将训练数据规模降1万倍，还提升模型与人类专家一致性。经实验验证，该方法效果显著。

在大模型推理复杂的当下，生成超长文本成本高。BIGAI NLCo团队提出推理加速框架TokenSwift，被ICML 2025接收。它重构传统自回归推理，解决长生成瓶颈，在多模型实验中表现亮眼。

近期AI侵权频发，暴露AIGC技术下沉应用危害。中国电子商会等联合起草全国首个AI生成内容合规团体标准《人工智能生成内容合规管理指南》，规范合规要求，还给出四大核心路径解决企业痛点，并阐述标准价值，现公开征集起草方。

多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。

MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。

大模型后训练越发关键，GRPO 有缺陷。作业帮与香港科技大学（广州）团队在 NeurIPS 2025 提出 GVPO 方法，解决 GRPO 稳定性难题，理论有最优解保证，实验表现超现有方法。

大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。