「推理部署」共找到 2645 篇相关文章
黄仁勋三次断言翻车！CUDA护城河，被谷歌一行代码凿穿
本文是新智元报道，基于SemiAnalysis的第三方测试，谷歌第七代TPU Ironwood推理性价比大幅领先英伟达最新B200、B300，谷歌通过软件重构打破CUDA护城河。
大型挂机现场：马斯克的55万英伟达GPU，利用率才11%
《The Information》报道，马斯克旗下xAI有55万英伟达GPU，利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题，xAI着手解决，设定50%利用率目标。
智能旅行助手
开发者开源智能旅行助手 AI Travel Agent Streamlit，集成 OpenAI、天气 API 等服务，可在直观界面完成旅行规划。介绍了设置、运行、部署方法，还提及测试、安全等要点。
我的天！MCP开发，从“地狱模式”秒变“傻瓜操作”
作者分享FastMCP工具，它让MCP开发从难变易。过去开发MCP耗时久、Bug多，用FastMCP，186秒可本地搭建，还能上云、部署到Cloudflare Worker，降低AI工具开发门槛。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
清华开源了一个真的会和你互动的AI课堂，同学老师都是AI，500学生已经验证....
清华大学开源OpenMAIC，这是多智能体驱动的交互式AI课堂。它模拟真实课堂，有多种场景，内置自适应引擎。经500学生验证，数据佳。支持多模型，部署方式多，还集成OpenClaw。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
一个现代化AI 内容聚合平台，集成了 AI 报告生成、飞书机器人推送、多源内容聚合等高级功能
RSS - AIGC 是现代化 RSS 订阅与 AI 内容聚合平台，有智能内容聚合、AI 内容加工等核心能力。具备 RSS 订阅管理、内容聚合等功能，还介绍了环境要求、配置说明及部署指南。
tokens烧钱太快？试试这个四层模型组合
ClaudeCode等智能体兴起，开发者面临tokens不够用、主流模型降智问题。网络给出多模型策略缓解，网友将2026年主流模型分四档，还介绍了实际路由策略、部署建议，指出单模型依赖危险。