「空间稀疏注意力机制」共找到 761 篇相关文章
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
谷歌Gemma 4全系开源：3.8亿激活超越20倍体量模型，手机秒变AI工作站
谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。
李飞飞押注的3D世界模型黑科技，被这篇论文一次性扒光！
李飞飞创业公司World Labs发布空间智能模型成果，推出Marble平台。本文分享3D、4D世界模型技术综述，系统梳理原生表示的世界模型，给出分层分类法、数据集与评测指标，并开源维护。
谷歌深夜放出「创世引擎」Genie 3！一句话秒生宇宙，终极模拟器觉醒
谷歌DeepMind推出通用世界模型Genie 3，能以每秒20 - 24帧速度实时生成720p画面，一句话即可生成动态世界，可模拟物理、自然等多种场景，但也存在有限动作空间等局限。
这个开源模型的UI审美碉堡了~
当下流行基于大模型生成HTML源码可视化文本内容，网页审美对模型很难。早期用Claude 3.7，后有DeepSeek V3 0324等。Tesslate开源基于Qwen微调的模型，尺寸全，审美佳，想象空间大。
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
李飞飞曝创业招人标准！总结 AI 大牛学生经验，告诫博士们不要做堆算力项目
近日，“AI教母”李飞飞接受采访，指出当前AI繁荣有局限，其初创公司World Labs将攻克空间智能。她回顾ImageNet项目，讲述AI发展历程，还分享创业招人标准、给博士建议等内容。
SIGGRAPH 2025 | CLR-Wire：曲线框可生成？可交互？深大VCC带你见证魔法
深圳大学黄惠团队推出 CLR - Wire 方法，将复杂三维曲线框结构编码到连续潜空间，解决传统难题，能实现高效生成与平滑插值，相关代码已开源，在多领域有应用前景。
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。