「深度注意力」共找到 934 篇相关文章
Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型
Qwen3技术报告揭晓8款模型关键技术，采用双模式架构，训练和微调分段进行，还“大带小”蒸馏数据。其融合思考与非思考模式，训练分多阶段，Qwen Chat还全量上线深度研究功能。
Claude Code一周份额，一天就烧完一半？有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发，如思考深度大幅下降，还存在7个叠加的bug，浪费用户token配额。开发者给出应对建议，新版本增加账单透明度和缓存过期提醒，该工具正面临信任危机。
经验记忆黑科技：LightSearcher让AI工具调用减39.6%、推理快48.6%
现有的 RL 驱动的深度思考大模型系统面临准确率与效率的「跷跷板」困境，北邮百家 AI 团队提出 LightSearcher 框架，解决了这一痛点，在保持准确率的同时，显著提升了工具调用效率。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
AI4S回归白盒符号主义，清华等联合发布SR-LLM：自主发现科学知识
清华大学等多所高校联合发布SR - LLM，这是融合大语言模型与深度强化学习的符号回归框架。它从数据生成可解释数学模型，在跟车行为建模等任务表现优，为机器自主科学发现开辟新路径。
Hinton能重新坐下了，什么时候开始的？
AI教父Geoffrey Hinton来上海了，他曾因腰伤近18年几乎无法坐下，如今却能安然坐下。本文讲述他科研生涯，从坐冷板凳到引领深度学习变革，又在AI发展巅峰时反思风险，提醒人们警惕。