「稀疏注意力模型」共找到 7762 篇相关文章
DeepMind 最新研究：智能体就是世界模型！
DeepMind研究科学家Jon Richens团队在ICML 2025发表论文，从第一性原理证明智能体就是世界模型，回答了AI界多年的根本问题，还带来多个有趣推论，引发AI社区热烈讨论。
一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈
UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
Redis 之父：哪怕被喷我也得说，AI 远远落后于人类程序员！开发者跟评：用大模型气得我自己写代码都有劲儿了
Redis之父Antirez分享开发经历称人类程序员仍比大模型出色，举例说明在解决Redis复杂bug时，人类的创造力能想出奇特有效的解法，而大模型较难做到。开发者看法不一，有将其当助手，也有认为它会干扰思路。
20000 GPU·h砸出 106 个SOTA模型架构：AI 科研进入“自我加速”时代
模型架构发现领域迎来突破，ASI - ARCH超级智能体无需人类预设搜索空间，完成科研闭环。经20000 GPU·h、1773次实验，发现106个超越人类SOTA的线性注意力架构，且已开源。
央企怎么做超级智能体？对谈中电信天翼AI：自研模型为底座，自主规划是必须，能适应千行百业才行
中国电信天翼AI发布星辰超级智能体，获2025企业级AI Agent榜单央企第一。它依托自研“星辰大模型”，具备全模态、复杂推理等能力。访谈专家指出智能体可直接产出应用，落地需嵌入主业系统，电信持续迭代模型优化它。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。
ICML 2026 | 大模型内部也会长出「情绪树」，规模越大越懂人心
ICML2026 论文指出，大语言模型内部会自然形成类似人类心理学模型的「情绪树」，模型越大，情绪树越复杂，且在销售等任务上表现更好。同时，模型的情绪结构受身份设定影响，存在与人类相似的情绪识别偏见。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。