「稀疏注意力」共找到 279 篇相关文章
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
ICCV 2025｜训练太复杂？对图片语义、布局要求太高？图像morphing终于一步到位
图像处理中‘图像morphing’常见又有创意，但以往技术有训练复杂等问题。南洋理工大学等团队提出FreeMorph方法，无需训练实现图像变形，通过改进注意力机制解决特征丢失和过渡不连贯问题，实验效果佳。
谷歌Gemini 3.2偷跑上线！2200行代码一镜到底，Claude/GPT坐不住了
发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力，衡量标准是用户是否解决问题后离开，这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念，如今也面临桥与巢的矛盾。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。