稀疏注意力架构」共找到 2033 篇相关文章

开源动态8

GLM4.5之后,智谱又开源GLM-4.5V,实测下来视觉推理能力贼强~

智谱继GLM4.5后又开源GLM - 4.5V,它是同级别开源SOTA视觉推理模型,在多模态理解榜单表现优异。文章实测其在科研全生命周期的应用,还介绍了模型架构设计和训练策略。

PaperAgent
算法论文7

SSM+扩散模型,竟造出一种全新的「视频世界模型」

在AI热词不断涌现的时代,斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合,创造全新「视频世界模型」。它用状态空间模型实现长期记忆,还设置局部注意力机制,训练和推理表现出色。

机器之心
算法论文8

阿里SkillClaw:让 Agent 技能在真实使用中集体进化

当前LLM Agent依赖可复用技能完成任务,但技能部署后静态不变,改进仅停留在当前会话。阿里SkillClaw提出中心化进化架构,将多用户交互作为技能改进信号,通过Agentic Evolver更新技能,经夜间验证后部署。

PaperAgent
新闻资讯8

英伟达改卖Token?黄仁勋GTC后发声:token就是AI新通货,值钱的不是算力,是“每度电的智商”

英伟达黄仁勋在采访中强调其是加速计算公司,非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出,token 是新通货,还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。

AI前线
开源动态8

OpenAI 迈出关键一步:LLM 黑盒不再是盲盒

OpenAI开源新研究成果,提出全新范式,训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步,关键结果显示稀疏模型优势多,但也存在训练成本高、规模有限等局限,还给出两条未来路线。

PaperAgent
算法论文8

苹果掀桌!扔掉AlphaFold核心模块,开启蛋白折叠「生成式AI」时代

蛋白质折叠是计算生物学核心难题,SimpleFold作为首个仅基于通用Transformer模块的蛋白折叠模型,摒弃AlphaFold2系列传统架构,能将蛋白序列生成三维原子结构,在多基准测试表现强劲,还可生成结构集合。

新智元
开源动态8

中国科大Science-Star(科星) : 一体化、可扩展的科学智能体搭建平台

中科大认知智能全国重点实验室开发了 Science - Star 科研智能体平台。它基于 ReAct 引擎,有一体化可视化支持、插拔式模块化架构和跨学科工具集成等特色,为科研智能体研发与实验提供高效基础设施。

PaperAgent
开源动态8

紫东太初开源视觉神经增强方法,即插即用终结多模态幻觉 | ACL 2025

中科院自动化所等团队提出VHR方案,通过“视觉神经增强”机制放大模型视觉关键注意力头输出,降低幻觉现象。此前主流方法多作用于最终输出阶段,VHR深入干预内部机制,还介绍了SSL语义引导方法。

量子位
产品应用8

三星研究院发布手机端侧大模型MeKi:基于Memory的LLM扩展新范式,支持旗舰手机端侧部署

三星研究院发布端侧大模型架构MeKi,提出用存储空间扩展模型容量、提升LLM性能的新范式。它利用手机ROM缓解内存压力,实现容量与性能提升。实验显示其性能、效率表现优,为边缘部署LLM提供新思路。

AI科技评论
新闻资讯7

Atlas来了!ChatGPT嵌入浏览器,用谷歌的引擎,革谷歌的命

OpenAI推出ChatGPT Atlas浏览器,将ChatGPT嵌入浏览体验中心,具备智能体模式可自主执行操作,被视为对谷歌的宣战。此外,还有Perplexity的Comet、Opera的Neon及谷歌的Gemini版Chrome等参与竞争,但都基于Chromium架构

新智元