「高效推理框架」共找到 3706 篇相关文章
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
让扩散模型「可解释」不再降质，开启图片编辑新思路
过去三年扩散模型席卷图像生成领域，但可解释性研究是‘黑箱’，且现有尝试常致性能下降。香港中文大学与上海人工智能实验室团队提出TIDE框架，可解释且不降质，还带来新图像编辑方式。
Agent经济，要来了
红杉资本半小时演讲讲清AI产业现状与趋势。介绍了分析框架，指出AI浪潮大且猛，会颠覆软件市场，机会在应用层。还提出Agent经济概念，建议大家抓住机会行动起来。
AI产业链投资大逻辑：第三集
本集围绕AI产业链投资大逻辑，从底层的电展开。指出AI瓶颈正从GPU扩散到电力，存量核电资产因AI数据中心需求变得值钱，还引出'过渡期与终局'核心判断框架。
Pixeltable：一张表搞定AI流水线
Pixeltable是统一声明式框架，能处理多模态AI流水线。它用表格接口替代传统复杂架构，有数据统一管理等核心能力，适用于多模态RAG等场景，内置支持主流AI服务，值得多模态AI项目一试。
HOIDiNi：一句话驱动虚拟人高精度操作物体
特拉维夫大学提出HOIDiNi，这是文本驱动的扩散框架，用于生成人体 - 物体交互动作。它引入扩散噪声优化，能兼顾真实感与物理正确性。不过它泛化能力待拓展、生成速度慢，未来需提升效率等。
实测腾讯Hunyuan-Image2.0，首个毫秒级实时图像生成模型
今天上午腾讯发布混元图像2.0，以“更智能、更开放、更中国”为理念。其参数规模提升，推理时间大幅压缩，实现毫秒级实时生成，还在画面质量等方面升级，新增实时绘画板功能。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
Pony Alpha新模型炸场！全球「猜爹大赛」开启
2月7日深夜，OpenRouter悄悄上线匿名模型Pony Alpha，其编程、推理等体验出色，外网瞬间疯传。全球开启‘猜爹大赛’，Claude、DeepSeek、Grok、GLM各派开吵，还凸显了‘匿名盲测式发布’新打法。