「混合推理架构」共找到 3646 篇相关文章
深度拆解 DeepSeek Harness 架构：AGI 的自进化，终于有了「后悔药」
8月13日，DeepSeek开放DeepSeek Harness v0.1开发者预览版，在Github获4.5万星。它提出“一切皆插件”概念，核心组件可插拔。还联合北大提出Cordis框架，解决组件插拔问题，但面临价格与组件膨胀挑战。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
AEPO：智能体熵平衡策略优化，让探索更稳，推理更深！
中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。
模仿学习新范式！Chain-of-Action：轨迹自回归实现动作推理
具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。
Karpathy投了一家AI记忆公司，撞名DeepSeek Engram记忆架构
新公司Engram完成9800万美元融资，投资人有Andrej Karpathy等。它想为AI构建能持续学习的“记忆层”，解决模型吸收组织内部知识问题，首个产品是面向Agent的API，已与多家合作。
首发Omni-Flow流式全模态架构，消费级显卡就能跑
面壁智能等联合发布MiniCPM-o 4.5技术报告，公开Omni-Flow流式全模态框架。该模型凭9B参数实现端到端全双工全模态，可在消费级显卡运行，还推出在线体验Demo等，性能表现佳，应用潜力大。
Transformer可以改装成Mamba了：苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。
老黄入局吃龙虾！英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
AI 代码审查再进化：AutoDev 多智能体协作架构深度解析
现代软件开发中，代码审查存在信息割裂、人工效率低等痛点。AutoDev 借助多智能体协作与信息聚合，实现从分析到修复的闭环智能流程，还构建多 Agent 协作体系，未来将集成更多能力。