「视频稀疏注意力」共找到 1234 篇相关文章
OpenAI突然发布Sora 2：好一个“AI版抖音”！
OpenAI重磅上新，带来依托Sora 2的“AI版抖音”——Sora iOS APP。Sora 2是音视频同步生成模型，更遵循物理定律、可控性强，还能注入现实元素。实测效果佳但画质低，Pro版可改善，后续还会发布API。
iPhone 17 Pro居然能跑8B大模型！
iPhone 17 Pro竟能跑8B大模型，如Qwen3 - 8B，推理较流畅。作者换机一是因eSIM，二为拍视频。其认为AI普及需端侧落地，此机芯片性能是好信号，盼出优质iOS客户端。
谢赛宁也玩MC？开源全新世界模型生成多人一致的游戏视角
电子游戏推动AI发展，谢赛宁团队探索世界模型新方向，推出多人视频世界模型Solaris。该模型能生成多人一致的第一视角，团队还搭建了多人数据采集系统SolarisEngine，构建了多人Minecraft数据集。实验结果显示，其方法在多方面表现更优。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
全网挤爆Seedance 2.5，但2.0 fast降到6毛是真的香！
近期AI视频赛道竞争激烈，FLUX 3登场，国内巨头也纷纷推出新模型。字节Seedance 2.5优势明显，但适用特定场景。Seedance 2.0 fast降至6毛每秒，经多场景实测，表现均衡，是性价比之选。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
DeepSeek V3到V3.2的进化之路，一文看全
知名AI研究者Sebastian Raschka发布深度博客，详细梳理DeepSeek V3到V3.2进化历程。DeepSeek V3.2性能对标GPT - 5和Gemini 3.0 Pro，且为开放权重模型，报告涵盖众多有趣领域和知识。
万帧实时！流式3D重建天花板，被国产开源模型打破了
蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。