搜索：视频扩散Transformer

「视频扩散Transformer」共找到 1375 篇相关文章

李志飞：1 个人、2 天做出 AI 时代的「飞书」，真正的 Founder Mode

出门问问创始人李志飞在「TicNote」发布会上分享「一人公司」实验。他用AI编程工具2天做出AI时代“飞书”原型，还谈了使用AI编程问题、对智能和Agent思考等，重新找回AGI信仰。

Meta发布V-JEPA 2世界模型及三个新基准测试，Meta首席AI科学家Yann LeCun介绍其不同。V-JEPA 2基于视频训练，用62小时机器人数据就能实现零样本控制，还将探索分层式模型和多模态建模。

6月11日，火山引擎举办Force原动力大会，发布豆包大模型1.6、视频生成模型Seedance 1.0 pro等，升级Agent开发平台。豆包1.6表现优异，应用广泛；Seedance 1.0 pro评测领先。还通过创新定价等推动Agent规模化应用。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。

英伟达发布专为龙虾打造的开源模型Nemotron 3 Super，总参数120B，激活参数12B，在龙虾模型基准PinchBench上成功率全球第四。该模型结合Mamba与Transformer架构，引入多项创新技术，还开源了模型权重、数据集等。

OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。

OpenAI发布工程博客，揭秘用Codex不到一个月打造Sora安卓版应用的过程。这款应用上线首日冲至Google Play下载榜第一，24小时内用户生成超百万视频，开发过程耗约50亿tokens，崩溃率仅0.1%。

Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。