线性注意力机制」共找到 1036 篇相关文章

开源动态8

打破AI能力的惯性评估方式,红杉中国推出全新双轨基准测试xbench|甲子光年

红杉中国推出全新AI基准测试工具xbench,采用双轨评估体系,构建多维度测评数据集,追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制,首期发布两个核心评估集并给出综合排名,公开后邀各界完善。

甲子光年
新闻资讯8

Clawdbot开发者:未来一大批应用都会消失,提示词就是新的interface

Clawdbot开发者Peter Steinberger在采访中分享诸多观点,认为今年是「个人助理」之年,每个人应构建智能体探索记忆机制;指出GUI糟糕,多数MCP应做成CLI;还称未来大批应用会消失,提示词是新界面。

Founder Park
算法论文8

DeepSeek比你更懂反思!谷歌重磅发现,智能的本质竟是一场社会化对话

谷歌等机构研究发现,像DeepSeek - R1等推理模型思考复杂问题时,内部模拟多角色辩论赛,形成思维社会机制,让AI准确率提升,证明智能本质或是内化社会互动,还为调优AI提供新方法。

AIGC开放社区
算法论文8

大模型顿悟原理!Meta新论文说清楚了

Meta超级智能实验室(FAIR)最新论文把大模型顿悟(grokking)现象的数学机制说清楚了。提出Li2数学框架,将两层神经网络的grokking动态分三阶段,还推导了泛化缩放定律等。

AI工程化
开源动态8

Jina-VLM:可在笔记本上跑的多语言视觉小模型

Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM,在多语言视觉问答任务达 SOTA。它引入注意力池化,连接视觉与语言基座,支持 29 种语言,能高效处理问答等任务,对硬件需求低。

Jina AI
开源动态8

NeurIPS 2025 | Code Graph Model:重塑代码大模型架构,利用“代码图”突破仓库级编程瓶颈

在 NeurIPS 2025 上,蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」,它将代码库图结构注入 LLM 底层注意力机制,打破业界刻板印象,在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。

AINLPer
开源动态7

我MiniMax,用实习生处理数据,照样屠榜开源大模型

MiniMax M2屠榜开源大模型,引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径,公开技术细节。M2团队选Full Attention,雇实习生处理数据,提出交错式思维链策略,强调实用性和泛化能力。

量子位
算法论文8

DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍

扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。

机器之心
新闻资讯8

谷歌大脑之父首次坦白!茶水间闲聊引爆万亿帝国,AI自我突破触及门槛

AI界传奇Jeff Dean在「登月播客」深度访谈中,回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节,还谈到神经网络发展、注意力机制突破、LLM可解释性等内容,也提及未来五年规划。

新智元
新闻资讯8

OpenAI刚刚发布GPT-5,免费使用、疯狂屠榜,一夜改写AI历史

今天凌晨1点,OpenAI发布GPT - 5,采用内嵌式三位一体集成架构,有创新的实时决策路由机制。免费版ChatGPT可使用,有额度限制。测试显示其在多领域大幅超越前代,应用开发能力强,今日向部分用户推出。

AIGC开放社区