「稀疏注意力架构」共找到 2043 篇相关文章
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
中国AI芯片如何破局？这家公司重注推理芯片
2月3日，云天励飞董事长陈宁在战略前瞻会表示要All in AI大算力推理芯片，打造“中国版TPU”。他认为2025 - 2035年是推理芯片高光时刻，还介绍了公司技术壁垒、差异、战略及生态等内容。
SIGGRAPH Asia 2025｜30FPS普通相机恢复200FPS细节，4D重建方案来了
3D视觉领域难题是用普通摄像机将高速世界转为数字化4D时空。受限于成本和带宽，现有方法有局限。本文提出“异步采集 + 视频扩散模型修复”方案，用30 FPS相机恢复100 - 200 FPS动态细节。
智源悟界 · Emu3.5 重塑世界模型格局：首提多模态 Scaling 范式，AI 理解世界再进化
北京智源研究院发布大规模多模态世界模型“悟界·Emu3.5”，它能模拟复杂动态物理世界，揭示“多模态Scaling范式”。该模型继承深化Emu3技术哲学，在多方面有提升，为世界模型领域提供进化路线。
Anthropic：上下文工程在AI Agents的正确打开方式！
在‘提示工程’后，‘上下文工程’成焦点。它是提示工程延伸，因信息过多模型会‘失焦’，上下文是稀缺资源。文章介绍高效上下文‘解剖学’、运行时检索策略、长周期任务应对方法等。
Meta CTO打脸扎克伯格：首秀翻车全因致命bug，AI智商捉急、语音交互全面崩盘
Meta Connect开发者大会上，Meta发布三款智能眼镜，现场演示却屡屡翻车。扎克伯格将问题归咎于Wi-Fi，CTO Bosworth否认，称是资源管理和软件错误。网友对Meta解释不满，质疑团队能力。
Yann LeCun最新纪录片首曝！传奇AI教父的双面人生，深度学习幕后40年
Yann LeCun新纪录片上线，回顾其深度学习四十年历程。他是深度学习开创者、Meta首席AI科学家，坚信机器应学会学习，认为AI竞争是开放与封闭之争，还对AI威胁论持务实乐观态度。
ACL 2025预定爆款！HyperGraphRAG横扫5大领域，检索效率提升7倍
文章聚焦HyperGraphRAG模型，介绍其架构由知识超图构建、超图检索策略、超图引导的生成机制组成，阐述构建步骤，该模型能提升检索效率，或成ACL 2025爆款。
LeCun发布最新世界模型：首次实现16秒连贯场景预测，具身智能掌握第一视角！还打脸用了VAE
LeCun团队推出PEVA模型，让具身智能体学会人类“预判能力”，首次实现16秒连贯场景预测。它结合结构化动作表示与条件扩散Transformer，用真实数据训练，解决长时序问题，还能筛选最优动作。
最低仅需2G显存，谷歌开源端侧模型刷新竞技场纪录，原生支持图像视频
今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。