「Nano - vLLM」共找到 169 篇相关文章
蚂蚁dInfer框架，让扩散大语言模型推理速度再飙10倍，相同模型性能下超越自回归模型
蚂蚁开源dInfer框架，联合名校发论文阐述实现细节。它解决扩散模型推理难题，提出创新算法和系统优化策略，实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM，代码已开源。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
谷歌认领最强AI版Photoshop！现在人人可用，效果确实强悍
谷歌认领神秘图像编辑模型nano - banana，即Gemini 2.5 Flash Image。它可免费在Gemini和Google AI Studio使用，API收费。该模型图像编辑能力出色，能合并图片、实现2D到3D转换等，此前爆火却无官方文档。
画图 Prompt 两则
作者李继刚分享画图 Prompt 两则。因 Gemini Nano banana pro 画图风格太‘AI’，提出注入指定风格解腻，介绍了生成 Swiss 风格《鬼灭之刃》继国缘一战斗特写及日系下雪天初恋男女操场玩闹写真海报图的具体要求。
OpenAI新模型Day0就被嫌弃！排名拉垮，不如一月底发布的国产模型
OpenAI推出GPT - 5.4 mini和nano模型，主打快速经济，针对编程等优化。但评测中GPT - 5.4 mini排名不佳，不如国产Kimi 2.5，且价格对比有争议。不过与自家旧版比有提升，网友测试有亮点。
这才叫AI原生应用：Google Slides
Google Slides是Google版AI PPT，与传统AI PPT不同。它像传统PPT搭配AI聊天机器人，用Nano Banana模型可直接生成图片和文字，能像素级推理，打破传统PPT结构，还可自然语言交互修改，只是中文生成效果待提升。
HAMi 2.7.0 重磅发布 | 异构芯片全面拓展，调度更稳、生态更强
Dynamia密瓜智能宣布发布HAMi 2.7.0版，在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片；调度器优化了资源计算和可观测性；应用层与vLLM、Xinference等整合。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
Seedream 4.0 来了，AI 图片创业的新机会也来了
今年AI生图领域爆款不断，Google旗下Nano Banana模型虽火但中文支持欠佳。火山引擎推出豆包·图像创作模型Seedream 4.0，主体一致性强，支持4K多模态生图，有多图融合、精准编辑等能力，或给AI图片创业带来新机会。