「注意力运算」共找到 229 篇相关文章
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
从一行代码发现DeepSeek的秘密：Model1到底是什么？
在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
TinyAI ：全栈式轻量级 AI 框架
TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
谷歌大脑之父首次坦白！茶水间闲聊引爆万亿帝国，AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中，回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节，还谈到神经网络发展、注意力机制突破、LLM可解释性等内容，也提及未来五年规划。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
EAAI | 香港理工大学王旭等：一种增强MFNN的多源气动数据重构方法
飞行器气动压力分布获取依赖风洞试验或数值模拟，多源数据差异为气动数据重构带来挑战。本研究提出增强型多保真神经网络，通过差分运算提升模型泛化精度，在跨声速压力分布重构中效果显著。
CVPR 2026 | ReFTA：打破张量化PEFT的「权重重建」瓶颈
随着大模型发展，全参数微调成本高，参数高效微调（PEFT）成主流。常见基于矩阵低秩分解的PEFT方法有局限，张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题，有工程和理论优势。