「Nano - vLLM」共找到 169 篇相关文章
AI Infra入门干货总结:大模型是如何高效推理的
作者深入研读vLLM源码,以Llama 3为例,聚焦Decoder-Only架构LLM,介绍推理各环节及张量维度变化,讲解连续批处理和Paged Attention概念,还阐述推理流程、采样策略等,最后总结相关拓展内容。
今天起,GPT Image 2要把全体设计师送走了
GPT Image 2横空出世,暴打Nano Banana 2,其超强文字渲染和设计能力颠覆众多行业。它生成的图片真假难辨,解决文字渲染难题,降低数字内容生成成本,让设计师面临失业危机,也使互联网信任体系洗牌。
独一份!带动效的 PPT 生成 Agent!使用教学&创作思路
作者实现用 Nano Banana Pro 生成带演示动画的 PPT 这一独特功能。介绍了更新后的 PPT 生成 Skills 能力、使用方法、创作思路,还提及成本及对 AI Coding 发展的看法。
字节Seedream 4.0将全量开放!抢先评测来了,我们摸索出AI生图20种「邪修」玩法
近日,字节跳动内测豆包・图像创作模型 Seedream 4.0,支持多模态生图,核心能力显著提升。它将全量上线并开放给企业客户。实测显示其多模态融合出色,还与谷歌 Nano Banana 对比,各有优势。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
AI Infra进阶:如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略,因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响,给出vLLM实现Batch Invariance的方法。
与Banana Pro过过招,国产Libcom图像合成工作台开启Labubu漫游记
2025年AIGC热度再创新高,通用图像编辑大模型虽功能强大,但在细分领域有不足。上海交通大学牛力团队推出并升级了Libcom图像合成工作台,与Nano Banana Pro对比,其在图像合成上表现更稳定。
国产大模型持续开源的一周:DeepSeek、Qwen、字节、书生~
国产开源大模型持续发力,本周DeepSeek V3.1、字节Seed-OSS-36B等接连发布。此外,马斯克xAI正式开源Grok 2.5,英伟达也开源了Nemotron-Nano-9B-v2。PaperAgent专题进行了梳理盘点。
阿里重磅开源 0.5B TTS + 0.8B ASR,支持跨语种音色克隆、说唱识别!
2025 年 AI 圈风向变了,开始卷端侧模型。阿里 FunAudioLLM 团队发布 Fun - CosyVoice3 0.5B 和 Fun - ASR - Nano 0.8B,TTS、ASR 双线程开源,是工程级版本,目标是在本地跑顺‘听 + 说’。
The Batch: 870 | 手机上的主动式AI助手
谷歌发布Pixel 10,搭载Magic Cue AI系统。它基于新版Gemini Nano,运行在Tensor G5处理器上,能预判用户需求,自动提供相关信息。谷歌早就在手机推AI,此次将其深度融入系统和应用。