搜索：少步扩散模型

「少步扩散模型」共找到 8025 篇相关文章

重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%

GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。

现有AI智能体在真实场景表现不稳定，阻碍其应用走向生产。ART开源强化学习框架诞生，通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境，还给出使用方法，在案例中展现强大效能与经济性。

文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。

作者分享用Cursor + Claude code + Kimi K2开发「丑咪挑战赛」全栈项目的体验，介绍组合优势、接入教程、前端测试案例和使用技巧，认为Kimi K2在agent和coding能力上表现不错，适合作为Coding模型。

英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。

英伟达市值达3.92万亿美元刷新全球纪录，超加拿大与墨西哥股市总市值之和及英国所有上市公司总市值。其股价飙升源于AI热潮与芯片技术突破，同时老黄还不断从清华系AI公司挖人。

文章聚焦RAG与MCP集成，介绍RAG突破传统模型局限及不足，引出Agentic RAG。阐述MCP革新AI工具连接方式，结合二者构建集成架构，还给出实现步骤、优化策略与代码实践，为释放AI系统潜力提供方案。

谷歌更新Gemini 2.5 Pro模型预览版，几周后成正式稳定版用于企业级应用。它在多个竞技场分数创新高，编码能力强，还新增“思考预算”功能控成本，价格有竞争力，谷歌还将推更强“Kingfall”。

文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。

近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。