搜索：稀疏注意力架构

「稀疏注意力架构」共找到 2078 篇相关文章

AI圈水太深：OpenAI保密、Meta作弊！国产MoE却异军突起

文章梳理大语言模型发展，从传统稠密架构到稀疏MoE架构，参数从百亿到万亿。介绍OpenAI、Meta等厂商模型，如GPT系列、Llama系列，还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻，国产MoE模型异军突起。

Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。

2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目，提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题，还分享多项目实操经验。

InfoQ 2025 年软件架构和设计趋势报告，借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势，如 LLM 普及但应用场景存疑，还有 Agentic AI、SLM 等创新领域，以及 RAG、AI 辅助开发等不同阶段趋势。

2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。大会聚焦国产算力，主论坛将发布新一代GPU架构，还有20+技术专场和1000㎡科技嘉年华，官网已开放报名。

检索增强生成系统复杂度提升，科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0，基于 MCP 架构，降低复杂 RAG 系统技术门槛与学习成本，支持低代码构建复杂系统。

清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。

OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。

DeepSeek更新DeepSeek - OCR 2，引入DeepEncoder V2架构，实现视觉编码范式转变。模型和技术报告齐开源，在多项测试中表现出色，降低重复率，为全模态编码提供路径，但在报纸类文档识别有不足。

全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。