「稀疏注意力优化」共找到 1447 篇相关文章
3D重建的惊人进展：多所世界名校联合发布论文，告诉你AI在3D世界的研究现状
多所世界名校联合发布调查研究论文，回顾用于3D重建和视图合成的前馈技术并分类，研究关键任务及应用。前馈模型打破每场景优化魔咒，带来速度和泛化能力的提升，解锁新应用，但也面临挑战。
高性能计算群星闪耀时
本文介绍了高性能计算（HPC）在大模型时代的重要性，以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术，陈文光、翟季冬等助力大模型训练，武永卫团队优化推理，张悠慧探索类脑计算。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
一个运行了80年的算法，我们现在才真正理解它？
近80岁的单纯形法是优化领域基石，广泛用于包裹配送、飞机航线规划等，但此前没人能从理论上完美解释其高效原因。现在，Huiberts和Bach找到了谜题的最后一块拼图，不仅让算法更快，还从理论上解释了现象。
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。
月费3万，成本为零：谁在收割企业的GEO焦虑？| 甲子光年
GEO指针对生成式AI进行结果优化，提高品牌被纳入回答的机会。当下GEO市场乱象丛生，多数服务商报价随意、技术原始，靠“黑帽”做法捞金。不过也有行业规范派在建立标准。其背后是流量入口争夺战，未来提示词或成新货架。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
苹果ASM投放的两种方式，竞价原理与机制
苹果ASM投放模式的选择对广告效果至关重要。Basic模式适合预算有限且缺乏投放经验的开发者，操作简单但数据报告不详尽。Advanced模式则适合专业团队，提供更精准的用户定位和详尽的数据报告，以便随时调整广告策略。