「低延迟推理」共找到 2936 篇相关文章
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
谷歌与OpenAI对狙，Gemini主打极速性价比，GPT优化对话温度
谷歌与OpenAI对狙，谷歌发布Gemini 3.1 Flash - Lite，主打规模化性价比，专为高频场景设计，成本低、速度快；OpenAI上线GPT - 5.3 Instant，优化对话体验，减少拒答、增强联网搜索等。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
Pony Alpha新模型炸场！全球「猜爹大赛」开启
2月7日深夜，OpenRouter悄悄上线匿名模型Pony Alpha，其编程、推理等体验出色，外网瞬间疯传。全球开启‘猜爹大赛’，Claude、DeepSeek、Grok、GLM各派开吵，还凸显了‘匿名盲测式发布’新打法。
免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」
杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。
项目在GitHub上已获得约3600+star,探秘 ChatDoctor：LLaMA 微调后的 AI 医生，真能在线问诊？
现代医疗资源不均、问诊效率低，ChatDoctor应运而生。它基于LLaMA微调，有医学对话微调等亮点，技术优势多，适用于在线问诊等场景，与同类对比优势明显，开源助力医疗对话模型发展。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
Claude Sonnet 4.5发布，多领域性能超越GPT-5和Gemini 2.5 Pro
Anthropic发布Claude Sonnet 4.5，是目前最强编程模型，在多领域性能超GPT - 5和Gemini 2.5 Pro。操作电脑、数学推理能力提升，产品更新功能丰富，安全性增强，价格不变，获多家公司认可。