「注意力经济」共找到 388 篇相关文章
黄仁勋,开启智元(Token)时代
全球大模型进入千万亿智元(Token)时代,OpenRouter年化智元用量突破一千万亿,对应推理支出约10亿美元。黄仁勋在GTC大会提出「智元(Token)经济学」,智元成AI时代核心经济标尺,重塑产业规则。
AAAI 2026 Oral | 大模型「爱你在心口难开」?深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’,论文让模型用此给推理‘打分’,过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略,提升了推理链稳定性,实验效果优异。
Coatue 最新报告:复盘 400 年、 30+ 次泡沫,我们离 AI 泡沫还很远
Coatue 最新报告否定‘AI 泡沫论’,结合市场与消费数据,表明 AI 拉动经济。复盘历史,推出‘泡沫评分标准’。反驳市场对 AI 的 8 大质疑,还指出谷歌转型成功,预计未来 AI 利润可观,给出投资原则与指标。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开,指出当前大模型训练不充分,介绍了算法层面如混合注意力机制、模型结构优化、优化器等,工程层面如细粒度专家并行、算子内核开发等,以及后训练的范式转变和领域专家网络蒸馏等内容。
告别Transformer!北大、北邮、华为开源纯卷积DiC:3x3卷积实现SOTA性能,比DiT快5倍!
北大、北邮和华为研究提出纯卷积扩散模型 DiC,抛弃自注意力机制回归 3x3 卷积。它性能超 DiT,推理速度快 5 倍,证明精心设计的卷积网络在生成任务中也能表现卓越。
硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。
17万白领岗消失!Scale AI最新研究:AI仅动用了3%实力
新智元报道,近期多家巨头裁员17万,AI成“罪魁祸首”。但Scale AI和Center for AI Safety研究指出,全球六大顶尖AI自动化率不到3%,新基准RLI评估显示其执行有经济价值项目能力有限。
SSM+扩散模型,竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代,斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合,创造全新「视频世界模型」。它用状态空间模型实现长期记忆,还设置局部注意力机制,训练和推理表现出色。
紫东太初开源视觉神经增强方法,即插即用终结多模态幻觉 | ACL 2025
中科院自动化所等团队提出VHR方案,通过“视觉神经增强”机制放大模型视觉关键注意力头输出,降低幻觉现象。此前主流方法多作用于最终输出阶段,VHR深入干预内部机制,还介绍了SSL语义引导方法。
谷歌卷Gemini模型,OpenAI刷GPT-5科研论文
谷歌推出Gemini 3 pro等模型,来势汹汹。OpenAI CEO称其带来经济阻力,还挖掘GPT - 5应用价值并发表89页论文,展示在科研流程中的表现,也提及失败风险与可用Prompt模板。