「推理加速」共找到 2534 篇相关文章
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
Pony Alpha新模型炸场！全球「猜爹大赛」开启
2月7日深夜，OpenRouter悄悄上线匿名模型Pony Alpha，其编程、推理等体验出色，外网瞬间疯传。全球开启‘猜爹大赛’，Claude、DeepSeek、Grok、GLM各派开吵，还凸显了‘匿名盲测式发布’新打法。
微软 Build 2025：AI 智能体时代与开放智能体网络的构建
微软 Build 2025 大会展示迈向 AI 智能体时代路径，如发布新功能助力开发者，让 AI 智能体更强大安全，支持开放智能体网络，还推出平台加速科学发现。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
DeepMind大佬最新暴论：单体大模型穷途末路，未来买的不是模型，是"智能路由"
DeepMind研究员Andrew Trask认为，因Scaling Law对资源需求攀升，AI将成协议而非程序。组合不同厂商模型有优势，当主流榜单同等评分时变革加速，之后人们将买“智能本身”。
OpenAI发布新模型 GPT-Rosalind：专攻生物学、药物发现和转化医学
OpenAI发布生命科学前沿推理模型GPT - Rosalind，目标是生物学研究等领域。它是生命科学模型系列首款产品，在多方向表现强。当前以研究预览版向特定合作机构开放，有意机构可申请。