「推理服务」共找到 2616 篇相关文章
刚刚，AMD、OpenAI联合发布超强AI芯片，推理提升35倍
今天凌晨，AMD举办2025全球AI发展大会，与OpenAI联合发布Instinct MI400、Instinct MI350系列超强AI芯片。MI350推理性能提升35倍，MI400内存配置大幅提升。AMD还开源ROCm7平台，7大AI平台与其合作。
阶跃新模型快到“没推理”！印奇上任，果然气势一新
印奇上任后，阶跃星辰发布新一代开源Agent基座模型Step 3.5 Flash，总参数196B，支持256K上下文窗口。它推理快，适配多家芯片厂商，在多场景表现出色，还具备端云协同能力，架构也有多项优化。
4B参数实现理解、推理、生成、编辑一体化！InternVL-U重磅开源
上海人工智能实验室联合多所高校开源多模态一体化模型 InternVL-U，仅 4B 参数，突破现有统一多模态模型瓶颈，在复杂场景超越 14B 级模型，已全面开源，提供推理代码等。
国内首次！8.9毫秒推理速度破纪录，1元打穿百万token
在2025人工智能计算大会上，浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒，后者将推理成本降至1元/百万Token，解决了AI智能体速度与成本难题。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
OpenAI 推出 Pulse 预览版，ChatGPT 可以主动为你提供服务了
OpenAI发布ChatGPT Pulse预览版，让ChatGPT从被动答问变为主动提供个性化服务，根据聊天记录等每天准备定制化信息更新。目前向Pro用户推，仅限移动端，虽有局限但代表AI交互新范式。
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
深入体验 A2A SDK：一步步教你构建“服务化”的 Agent 系统
文章基于A2A最新Python - SDK，介绍将LangGraph的Agent通过A2A协议对外暴露并服务的方法，涵盖核心架构、概念、交互流程，以及A2A Server端、Client端实现和测试总结，还提及A2A优势。