全注意力残差」共找到 2033 篇相关文章

开源动态8

FlashAttention-4正式发布:算法流水线大改,矩阵乘法级速度

深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上,注意力机制执行速度接近矩阵乘法。新算法克服瓶颈,在B200上性能提升,还获Pytorch官方支持。

机器之心
新闻资讯8

LeCun 对线 DeepMind:LLM 永远造不出机器人水管工

图灵奖得主 Yann LeCun 和 Google DeepMind 的 Adam Brown 就 LLM 是否真正理解世界展开争论。LeCun 认为 LLM 虽在符号操作领域出色,但难理解物理世界;Adam Brown 则觉得 LLM 正涌现对宇宙的真正理解。

AGI Hunt
开源动态8

AI版权侵权难以“定罪”?Copyright Detective:首个集成多范式检测的交互式版权取证系统

随着生成式AI广泛应用,版权纠纷成AI领域棘手挑战。张登辉等研究人员推出Copyright Detective系统,集成多范式检测,解决单一检测局限,为大模型文字版权风险提供方位“体检”方案。

深度学习自然语言处理
开源动态8

OnlyOffice 平替,用 Vue3 + Vite 做了个“本地 OnlyOffice”:接入成本低到离谱!!!

文章介绍 onlyoffice-web-local 项目,它是基于 OnlyOffice 的纯前端本地网页文档编辑器,无需服务器端处理,部署轻、接入快、更安。阐述其功能、适用场景,给出开发部署及集成方案,可作 OnlyOffice 平替。

小华同学ai
8

清华传奇姚顺宇立功!新Gemini一夜血洗编程,球仅7人能赢它

谷歌Gemini 3 Deep Think重磅升级,几乎刷爆领域SOTA。编程界冲入Codeforces人类TOP 10,人类最后考试等测试也表现优异。还能解决科研工程难题,实测物理模拟能力强,给OpenAI带来压力。

新智元
产品应用8

1700个OpenClaw技巧,我用多邻国的方式学会的!

AI带来学习方式变革,OpenClaw技巧众多难记。智谱清言APP的学习搭子功能,可将GitHub项目生成多邻国式课程,还能处理论文、演讲等素材,通过多种技术实现知识读薄、读活、读透。

量子位
算法论文8

清华刘知远团队论文:最小化结构改动,短文本到长文本丝滑升级 | ICLR 2026

大语言模型发展中,上下文长度成关键瓶颈,主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》,提出可切换注意力框架,为长上下文研究提供新思路。

AI科技评论
新闻资讯7

昔日王者应用商店,将死!OpenClaw或杀死80%手机应用

OpenClaw创始人Peter Steinberger在访谈中称手机里80%的APP已死。OpenClaw能操控设备、完成复杂操作,还让非技术人会编程。不过它有安风险,仍被部分人看好用于企业经营。

新智元
开源动态8

DeepSeek 硬核开源 DeepSeek-OCR-2!弃用 CLIP 改用 Qwen,创新视觉因果流!

昨天开源社区热闹非凡,Kimi 发布 K2.5,DeepSeek 则推出 DeepSeek - OCR - 2,用 LLM 架构替换传统 CLIP 视觉编码器。它核心创新是视觉因果流,能智能规划阅读路径,性能高效且量开源。

开源星探
新闻资讯8

明年让AI可靠地抢走你的活儿?Anthropic 首席产品官曝新年目标:大模型不拼 “更聪明”,终结“公司上AI,员工更累”尴尬

2025 年智能主体面爆发,编码领域智能体成突破点,Anthropic 的 Claude Code 表现突出,份额超 OpenAI。其首席产品官 Mike Krieger 梳理发展方向,指出明年重点解决企业部署 AI 但员工未变高效问题。

InfoQ