「注意力残差」共找到 555 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。
无VAE扩散模型！ 清华&可灵团队「撞车」谢赛宁团队「RAE」
清华大学智能视觉团队和快手可灵团队联合推出《Latent Diffusion Model without Variational Autoencoder》，提出 SVG 框架，用预训练视觉特征编码器替代传统 VAE，解决了传统「VAE + Diffusion」范式的效率与通用性痛点。
对标GPT-4o和香蕉！浙大开源ContextGen：布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。
没有国产替代，EDA需“自主可控”突围
在ICCAD - Expo 2025上了解到，国产EDA从业者不期待国产替代，要在新产业机遇找突破。先进封装催生出新的EDA技术需求，硅芯科技推出3Sheng平台应对，还推动产业生态建设。赵毅认为国产EDA可差异化突破、工具级协作。
CVPR 2026 | 20步也能稳住画质，这个扩散加速方法不一样
扩散模型推理效率是落地应用的核心制约因素，阿里安全 AGI 实验室 - 御风大模型团队联合浙江大学提出全新扩散加速方法 TC - Padé，在低步数设置下能兼顾生成质量与推理效率，已被 CVPR 2026 录用。
扒光谷歌Gemini 2.5：一份官方“翻车报告”，揭露AI Agent的8个秘密。
谷歌DeepMind发布Gemini 2.5技术报告，以玩《宝可梦 红/蓝》为例，展示构建有效智能体的案例。该系统架构由多部分组成，但运行状况百出，如上下文过长变差、产生幻觉等，也有亮点，还能提炼避坑方法。
Agent 的第一性问题：Proactive 与 Context 经济学
过去一年AI Agent能力提升，但用户体感未同步变好，原因在于人类注意力窗口有限。赛道分化，主动式桌面Agent是新方向，AirJelly是代表产品，五源资本对其创始人黄柏特进行访谈，探讨产品设计、应用场景等问题。
AI正在淘汰“中间层”！昆仑万维方汉：要么冲进前10%，要么学会“向下兼容”
InfoQ 专访昆仑万维董事长兼 CEO 方汉。他指出 AI 会全面提升行业效率，促使从业者“向上”或“向下”发展；企业出海要选好市场、做好本地化和差异化；还探讨了 AI 商业化、开源等问题，认为开源能满足长尾需求、带来销售线索。