「推理部署」共找到 2643 篇相关文章
重磅！iPhone 端侧可部署 Gemma 4 了！完全零token消耗！
PhoneClaw 是运行在 iPhone 的本地 AI Agent，可离线运行 Google Gemma 4。它支持多模态，有隐私保障和灵活模型管理。文中介绍使用方法、自定义 Skill 方式、常见问题，还提及后续扩展计划。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
AEPO：智能体熵平衡策略优化，让探索更稳，推理更深！
中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。
模仿学习新范式！Chain-of-Action：轨迹自回归实现动作推理
具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。
Transformer可以改装成Mamba了：苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。
老黄入局吃龙虾！英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。
OpenClaw 2026.3.8更新：安全认证及部署回滚能力提升
OpenClaw发布2026.3.8版本更新，聚焦安全性与bug修复。关键更新有ACP来源验证，让代理确认指令来源；更新前自动创建配置快照，可回滚设置。还修复了Telegram重复回复等问题。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
AAAI 2026 Oral｜LENS：基于统一强化推理的分割大模型
文本提示图像分割技术有战略意义，但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架，采用强化学习机制，还介绍其架构、奖励机制，该框架在测试中表现优异，代码已开源。
阿里开源AgentScope 1.0，多智能体从开发到部署一条龙服务
大语言模型发展下，多智能体系统开发面临诸多难题。阿里通义实验室开源AgentScope 1.0框架，以开发者为核心，有三层解耦架构，模块化设计，还解决安全和管理问题，在工程化特性上优势明显。