「推理服务基础设施」共找到 2930 篇相关文章
吴恩达来信：建立为人类服务的智能体社群
吴恩达讨论编程智能体分享经验平台的可能性，介绍了解决编程智能体获取最新API文档问题的chub工具。他提出收集智能体反馈以更新文档，还受Moltbook和Stack Overflow启发，认为智能体贡献反馈很有价值。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
Anthropic创始人盛赞Meta：开启广告基础设施「智能体进化」时代
Meta最新论文揭示基于树状思维链搜索的智能体框架，以“无人驾驶”方式重写广告系统底层内核，将内核开发时间从数周缩至数小时，生产环境性能最高提升17倍，Anthropic创始人高度评价。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Groupe SNCF 使用 Talos OS 和 Kubernetes 实现基础设施的现代化
法国国家铁路集团（Groupe SNCF）从传统 VM 的 Kubernetes 部署迁移到基于 Talos OS 和 OpenStack 的云原生平台，解决运维挑战。虽面临组织和技术难题，但紧密合作加强了平台，未来将扩展平台、迁移关键应用。
文心新出的推理大模型，给了我们信心
在 WAVE SUMMIT 2025 大会上，百度发布文心大模型 X1.1，是 X1 升级版，发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升，全方位测评表现出色，还开源新模型，展现百度全栈 AI 实力。
MCP Registry 预览版上线：AI 开发的统一服务目录
Model Context Protocol 推出 MCP Registry 预览版，这是开放的 MCP 服务器目录和 API，可改善服务器可发现性。注册表开源，分公共和私有子注册表，采用社区举报机制，设计类似 Docker Registry。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。