「生成式预训练」共找到 4004 篇相关文章
Thinking Machines 发布第二篇博文：用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章，提出模块化流形理论框架，通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题，提出流形Muon优化器，还探讨了模块化流形扩展到大型网络的方法。
国内首个！360发布“纳米漫剧流水线”，AI漫剧生成进入工业化时代
1月29日，360宣布国内首个工业级AI漫剧智能体生产平台“纳米漫剧流水线”公测。它整合多环节，素材生成成功率超90%，单集制作缩至1小时内，已和多家公司合作，推动构建行业标准。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
字节跳动开源视频生成模型Alive：12B参数，个人电脑也能跑
字节跳动开源视频生成模型Alive，12B参数，支持四种模式，硬件门槛低。在评测中表现出色，技术架构精心设计，解决音视频同步等问题，虽有小瑕疵，但更适合普通玩家。
何恺明组三位本科生领衔！持续聚焦Flow模型，突破归一化流生成效率瓶颈
何恺明团队新作聚焦Flow模型，提出双向归一化流（BiFlow）框架，解耦前向与逆向过程，打破传统归一化流生成模型效率低下问题。三位一作是本科生，实验显示其速度和质量表现出色。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理？
为研究Transformer是否具备组合式推理能力，提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力，训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制，展示其泛化推理潜力。
视觉AI从「会生成」走向「能创作」，RabbitVis探索AI应用新范式
随着AI生图能力提升，如何让AI进入创作流程成新问题。兔展智能基于UniWorld - Design视觉AI大模型推出RabbitVis，推动视觉AI从图片生成走向可编辑、可交付的创作流程，解决创作流程断点问题。
ICCV 2025 | HERMES：首个统一3D场景理解与生成的世界模型
本文介绍HERMES，首个统一3D场景理解与生成的世界模型。它由华中科技大学等团队合作研发，通过共享LLM驱动两大任务，解决了输入处理和任务融合难题，实验效果显著，为自动驾驶提供新范式。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。