注意力改造」共找到 273 篇相关文章

开源动态7

全新开源视频换装框架MagicTryOn

现有视频虚拟试穿(VVT)方法在时空一致性和服装内容保留方面有挑战,浙大提出全新开源视频换装框架MagicTryOn,利用全自注意力机制统一时空建模,设计服装保留策略,还引入掩码感知损失。

带你学AI
算法论文8

北大DeepSeek论文或预定ACL Best Paper!梁文锋署名

北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高,有望冲击最佳论文。该技术革新传统注意力机制,提升算力效率,是长文本处理的突破。此外,张铭教授团队还有多篇论文上榜。

新智元
产品应用8

当 GPU 成为主角:解锁 AI 集群中那 85% 的闲置 CPU 算力

全球AI算力规模增长,GPU成主角,但GPU满负荷运转时CPU利用率低,传统调度机制无法保障优先级,造成资源浪费。TencentOS如意(RUE)的在离线混部技术改造Linux内核调度体系,高效释放算力。

InfoQ
开源动态8

谷歌Gemma 4全系开源:3.8亿激活超越20倍体量模型,手机秒变AI工作站

谷歌发布Gemma 4全系列开源模型,有4个尺寸。它在硬件适配、注意力机制等方面革新,能在手机等设备运行,在测试中成绩出色,还获多平台支持,谷歌发起挑战赛鼓励开发者。

AIGC开放社区
算法论文8

字节跳动发布SeedFold,蛋白质结构预测相关多任务超越谷歌AlphaFold 3,揭示大模型缩放新秘诀

字节跳动Seed团队推出新一代折叠模型SeedFold,在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路,推出加宽模型、线性三角注意力等方法。

AI寒武纪
算法论文8

Qwen突破:用「并行计算」代替「堆参数」,新方法内存降22倍、延迟降6倍

LLM进化依赖「堆参数」,存在训练成本高、推理慢等问题。论文提出ParScale,用「并行计算」代替「堆参数」,让模型「分头思考」,推理效率提升22倍,旧模型也能改造,落地价值大。

深度学习自然语言处理
产品应用7

Claude Code发布Agent View,多任务流的ADHD患者有救了

Claude Code发布Agent View,它像给Claude Code的tmux,能将多个Claude会话状态分类展示,帮用户分配注意力。它把Anthropic内部工作流产品化,有会话与窗口解绑、工作树隔离等设计。

花叔
开源动态8

kimi K3超大杯升级背后的技术内幕

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。

Agent的潜意识
新闻资讯7

对话 Coddie 何鋡威:95 后,华为、传音、拓竹历练,用特斯拉的思路做母婴产品

Coddie创始人何鋡威,95后,曾任职华为等企业,后投身母婴赛道。他认为母婴行业产品差、毛利高,缺乏极致产品。Coddie用AI改造该赛道,做育儿大脑和生态,欲成母婴界特斯拉,目标欧美市场。

Founder Park
算法论文8

答对了却没看图?EASE给多模态RLVR装上「视线校正器」

强化学习与可验证奖励提升视觉语言模型推理能力,但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE,把标注证据区转为目标分布,监督空间注意力,推理无额外标注,实验成绩优异。

机器之心