「推理部署」共找到 2637 篇相关文章
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
零样本&少样本横扫12个工业医疗数据集：西门子×腾讯优图新研究精准定位缺陷，检测精度新SOTA丨AAAI 2026
西门子与腾讯优图联合团队提出AdaptCLIP通用视觉异常检测框架，不改动CLIP主干，引入轻量适配器。它兼容零样本/少样本推理，在12个数据集评估表现优，兼顾精度与部署需求。
14.7M参数，小目标AP达到13.9%！FSDETR用频空融合重新定义目标检测
传统小目标检测问题多，2026年4月FSDETR论文提出频空融合法，用14.7M参数获13.9% APS成绩。它有SHAB、DA - AIFI、FSFPN三个核心模块，还给出训练、推理及导出ONNX部署代码。
mcpx？要来拯救mcp！让工具调用不再吃掉你的上下文
MCP传统集成方式需在对话前加载所有工具定义，易使上下文溢出。开发者cs50victor基于mcp - cli构建mcpx，按需发现工具，大幅节省token，提升准确率，适合本地部署，虽有额外推理调用，但利大于弊。
OpenAI首款芯片问世：用AI设计，9个月流片
本周三，OpenAI 与博通合作推出首款芯片 Jalapeño，用于人工智能推理负载，由博通制造。它用 AI 设计，9 个月流片，性能未公布但早期测试显示每瓦性能优，目标 2026 年底前初步部署。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
港中文 MMlab×美团新研究：仅用一个模型，应对多种视觉推理任务
港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。