搜索：推理缓存优化

「推理缓存优化」共找到 3061 篇相关文章

创智突破：AI首次自主发现106个超越人类设计的神经网络架构

创智学院团队发布的AI超智能系统ASI - ARCH，自主发现106个超越人类设计的神经网络架构，建立“科学发现缩放定律”，实现从“自动化优化”到“自动化创新”转变，还将成果开源推动研究发展。

文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。

作者参加AI狼人杀比赛，分享构建高分Agent全过程。介绍比赛规则、题目挑战及解题思路，阐述Agent基础能力，如缓存、并发集成等，还提及模型调优、战术策略，最后开源代码，分享心得体会。

半小时前马斯克发布Grok - 4，虽Grok3.5跳票、直播迟到被吐槽，但它训练量和算力投入大。在多项基准测试中碾压Claude Opus 4，还具备原生工具调用等能力，xAI目标是让其更快更智能。

过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。

Grok 4跑分提前泄露，在「人类最后考试」中得分高达45%，远超Gemini与Claude，成为当前测试中最强模型之一。马斯克表示Grok 4以「第一性原理」构建推理机制，有望改写LLM格局。

谷歌DeepMind发布Gemini 2.5技术报告，以玩《宝可梦红/蓝》为例，展示构建有效智能体的案例。该系统架构由多部分组成，但运行状况百出，如上下文过长变差、产生幻觉等，也有亮点，还能提炼避坑方法。

伯克利团队提出新方法InFOM，不依赖奖励信号，能在多任务中超强迁移与推理。在36个基于状态和4个基于图像的任务测试中，InFOM表现出色，在jaco任务上改进达20倍。

文章介绍 Agent 发展历程，从单一 LLM 调用到 OneAgent + MCPs 范式。Manus 是 Loop 框架典型代表，将其与 Cline 开发范式结合企业 MCP Server，可完成多业务需求。同时指出该范式不足及发展方向，还介绍强化学习应用。

微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架，通过帧内并行采样、帧间自回归等方式，让视频生成在保持高质量的同时，效率大幅提升，还采用多项技术进一步优化。