「空间稀疏注意力机制」共找到 761 篇相关文章
用短视频成本生成长视频，字节Seed新注意力机制让计算量降低85%
字节Seed与斯坦福等机构推出新模型，其新注意力机制MoC能让长视频生成计算量降低85%，质量不减且保持连贯性。团队将视频生成定义为上下文检索任务，提出MoC机制并阐述实现方法。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。
昆仑万维方汉：通用Agent是伪命题，AI Office仍有存在空间丨MEET2026
昆仑万维董事长兼CEO方汉在MEET2026提出新视角，认为Agent是可验证过程的自动化系统，擅长复制流程。其判断大模型从‘背答案’到‘背过程’跃迁，Agent先落地AI Office，重塑组织，人类成过程架构者。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
一文读懂DeepSeek-V3.2核心技术DSA：API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。
地球级AI智能体爆诞！谷歌地球开外挂，一夜为20亿人洪水预警
谷歌结合世界建模经验与Gemini推理能力，升级Earth AI。它是地理空间AI模型和数据集，可自动连接不同地球AI模型。谷歌还推出新成果，如新一代影像与人口基础模型、空间推理智能体，可用于灾害预警等。
Nature 正刊收录！清华 FIB 实验室揭示：AI 提升科学家个人影响力，却收缩科学整体探索空间
清华大学 FIB 实验室牵头研究表明，AI 在自然科学应用广泛，提升科学家个人影响力，但使科学整体探索空间收缩。研究基于大量论文和人员数据，还提出科研智能体系统 OmniScientist 缓解问题。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
CJA|西工大林海涛、张伟伟等：关联函数学习：适用飞行器外形泛化的稀疏气动数据重构方法
本文提出关联函数学习（SFL）方法，通过符号回归挖掘气动力系数复合函数表达式，实现非线性气动数据稀疏重构与状态外推。用少量样本构建数据库，误差 1%-5%，比 Kriging 法样本量减超 90%。