「空间稀疏注意力机制」共找到 761 篇相关文章
Google搜索转型，Perplexity入不敷出，AI搜索还是个好赛道吗？
Google在I/O开发者大会宣布上线由Gemini驱动的高级AI搜索模式AI Mode，此前其因转型冲击收入而犹豫。Perplexity访问量增但亏损，AI搜索赛道融资减少，大厂抢占空间，产品转垂类，商业化待探索。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
谷歌最强具身大脑发布！波士顿机器狗瞬间人模人样
Google DeepMind发布机器人推理模型Gemini Robotics - ER 1.6，搭载它的波士顿动力机器狗能精确读仪表数字。该模型是第三代，在空间推理等方面显著提升，还新增读仪表能力，且是谷歌迄今最安全的机器人模型。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
震撼，世界模型第一次超真实地模拟了真实世界：谷歌Genie 3昨晚抢了OpenAI风头
昨晚谷歌DeepMind宣布Genie世界模型到第3代，能通过单个文本提示词创建交互式、可玩环境。它在多方面优于前代及其他模型，具备构建完整世界能力，但也存在动作空间有限等局限，未来应用值得期待。
ICML 2026 | 拒绝盲目猜token，阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。
AAAI 2026 Oral | 大模型「爱你在心口难开」？深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。
微软机房大量英伟达GPU开始吃灰……
微软CEO纳德拉承认，因缺电、缺机房空间，大量英伟达AI芯片闲置。这不仅是微软烦恼，也是大模型巨头共同问题。奥特曼称行业挑战在能源与基础设施匹配，算力企业也在调整策略。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
告别Transformer！北大、北邮、华为开源纯卷积DiC：3x3卷积实现SOTA性能，比DiT快5倍！
北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。