两阶段注意力机制」共找到 1640 篇相关文章

算法论文8

DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍

扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。

机器之心
新闻资讯8

谷歌大脑之父首次坦白!茶水间闲聊引爆万亿帝国,AI自我突破触及门槛

AI界传奇Jeff Dean在「登月播客」深度访谈中,回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节,还谈到神经网络发展、注意力机制突破、LLM可解释性等内容,也提及未来五年规划。

新智元
新闻资讯8

OpenAI刚刚发布GPT-5,免费使用、疯狂屠榜,一夜改写AI历史

今天凌晨1点,OpenAI发布GPT - 5,采用内嵌式三位一体集成架构,有创新的实时决策路由机制。免费版ChatGPT可使用,有额度限制。测试显示其在多领域大幅超越前代,应用开发能力强,今日向部分用户推出。

AIGC开放社区
新闻资讯8

刚刚,Fable-5之下,智谱开源的GLM-5.2拿下AI编程第一!

智谱开源的GLM - 5.2在AI编程领域成绩斐然,在Arena获全球第二、Design Arena全球第一,八项基准测试表现亮眼。经多方面实测,它在长程任务中优势明显,标志国产开源模型进入开发者工作流和硬核工程阶段

量子位
算法论文8

生成式推荐补上关键一环!语义ID首次实现可微分联合优化 | SIGIR'26

生成式推荐依赖语义ID,可现有语义ID常先学好再冻结,与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架,让推荐损失参与语义ID学习,还设计策略解决训练问题,实验表现佳。

新智元
新闻资讯7

ICML2026 | 全新评审政策出炉!作者可选:评审是否使用AI

ICML 2026 为应对预期投稿量,提出互审数量限制和 AI 使用规定。此次引入评审类型选择机制,作者可决定评审是否用大模型,分严格禁止的政策 A 和有限制允许的政策 B,但执行或有困难。

AINLPer
开源动态8

杨植麟带 Kimi 团队深夜回应:关于 K2 Thinking 爆火后的一切争议

上周,月之暗面发布并开源 Kimi K2 Thinking,主打“模型即 Agent”,引发广泛关注。今日凌晨,杨植麟等团队成员在 Reddit 开展 AMA 活动,回应 K2 Thinking 相关问题,如 KDA 机制应用、训练成本、速度与准确性平衡等。

AI前线
开源动态8

500美元刷新SOTA!训练成本砍到1/200,华人团队重构视频生成范式

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0,在基础大模型上引入VTA机制,用3860对视频 - 文字数据、约500美元微调,在I2V超越Wan - I2V - 14B实现SOTA,还解锁零样本任务能力。

量子位
算法论文8

边画边想!多模态Reasoning迎来巨大提升!

论文指出文本无法精准表达空间关系,现有视觉语言模型(LVLM)在空间推理上是短板。ViLaSR让模型直接画图推理,经三阶段训练,在五大空间推理测试中表现出色,还开源资源,有望带来机器认知升维。

深度学习自然语言处理
推荐文章8

API7.ai创始人温铭:烧了几百亿Token,我用AI重写了生产级网关,总结出6条经验

API7.ai创始人温铭分享用AI重写生产级网关经验。他认为AI编码能力超资深工程师,瓶颈在人。还介绍在公司‘禁手写代码’的情况,以及AI代码审查、使用阶段等内容,最后说明重写AI网关AISIX的原因。

InfoQ