搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

Andrej Karpathy 辣评Veo 3：视频生成将直接优化人类的注意力，TikTok只是弟弟

Andrej Karpathy发文对Google的Veo 3视频生成模型发表见解，指出视频生成技术进步带来四个关键转变，认为视频将成AI与人类交流绝佳界面，也引发众人对其利弊的讨论。

OpenAI联合英伟达等五巨头推出超算开放网络协议MRC并正式向行业开放。MRC目标是性能可预期，有多平面网络、自适应包喷射、SRv6源路由三大核心机制，已在OpenAI多台超级计算机上部署。

图像处理中‘图像morphing’常见又有创意，但以往技术有训练复杂等问题。南洋理工大学等团队提出FreeMorph方法，无需训练实现图像变形，通过改进注意力机制解决特征丢失和过渡不连贯问题，实验效果佳。

开源作者tw93因不满AI生成文档排版，开发了Kami。它是给AI写的文档设计系统，有一套跨文档的约束集合，支持六种文档类型，安装简单，能让AI生成的文档排版更专业。

文章围绕LLM生成式检索在手猫搜索召回的应用展开。先点明当前搜索召回机制问题及生成式检索挑战，提出CQ - SID等方法，经实验验证其效果佳，还介绍了线上实验成果，最后展望未来探索方向。

灵感实验室团队联合 LMMs - Lab 推出 LLaVA - OneVision - 1.5，全流程开源。其 8B 模型预训练 4 天、成本 1.6 万美元，在多模态基准上性能优，还公开数据构建与训练策略等细节，复现简单。

随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。

昆仑万维推出3D世界生成框架Matrix - 3D，能从单图像生成高质量、轨迹一致的全景视频并还原可漫游3D空间。它优势明显，还突破多项技术难题，背后是昆仑万维对空间智能的战略布局。

Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。

新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。