搜索：推理优化与部署

「推理优化与部署」共找到 3516 篇相关文章

Transformer可以改装成Mamba了：苹果把推理成本直接打成线性

苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。

英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。

OpenClaw发布2026.3.8版本更新，聚焦安全性与bug修复。关键更新有ACP来源验证，让代理确认指令来源；更新前自动创建配置快照，可回滚设置。还修复了Telegram重复回复等问题。

文本提示图像分割技术有战略意义，但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架，采用强化学习机制，还介绍其架构、奖励机制，该框架在测试中表现优异，代码已开源。

大语言模型发展下，多智能体系统开发面临诸多难题。阿里通义实验室开源AgentScope 1.0框架，以开发者为核心，有三层解耦架构，模块化设计，还解决安全和管理问题，在工程化特性上优势明显。

红杉美国合伙人预测2025年是AI agent元年，但此前Agentic AI落地难。AWS在纽约峰会推出系列产品，如Amazon Bedrock AgentCore等，完成从存储到市场的升级，有望推动企业构建Agentic AI。

论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。

Claude两款新模型“棉花糖”和“甜瓜”实测流出，在3D强化学习和建筑空间布局上性能强大，还能直接理解并生成复杂3D坐标和空间关系。它们对算力吞噬疯狂，引发对其身份的猜测。

快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。

MineContext是开源跨平台桌面应用，可把电脑操作变成“上下文记忆库”。它能自动收集信息、生成总结和待办等。有自动截屏、生成总结等功能，使用体验好，适合常忘工作内容的信息工作者。