「Nano - vLLM」共找到 169 篇相关文章
腾讯发布SpecExit算法，无损压缩端到端加速2.5倍！解决大模型长思考效率难题
腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。
英伟达开源9B参数小模型，比Qwen3快6倍
英伟达推出新型小型语言模型Nemotron Nano v2，在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高，速度快6倍。它兼顾推理与非推理任务，支持“思考”预算控制，还开源了创建模型的绝大部分数据。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
Google DeepMind CEO Hassabis 最新访谈：未来十年实现完整 AGI，引领科学黄金时代
Google DeepMind CEO Demis Hassabis在访谈中分享诸多观点。他认为未来十年能实现完整AGI，还谈到Genie 3重新定义视频、人形机器人重要性等，指出AI创造力不足等局限，也提及旗下公司在制药等领域突破。
简单快速的用 Claude Code 帮你创建 PPT 生成 Skills
Claude Code热度高，其Skills可辅助构建简单Agent。作者以创建Nano Banana PPT生成Skills为例，教大家安装、使用及创建Skills，还提及Skills迭代和局限性等内容。
【教程】一口气教你用AI做出被数千名用户夸夸的UI设计
作者分享用AI做UI设计经验，先介绍用Claude Code等工具做出‘还可以’设计的方法，又阐述从‘还可以’到‘被用户夸’的关键是定制图标，还给出具体工作流及方法有效的原因。
大语言模型的解耦：人工智能基础设施的下一轮进化
人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。
英伟达力荐，小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大，LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed，有 TensorRT LLM 性能、vLLM 易用性，受英伟达力荐且已开源，为智能体负载提供近「光速级」推理能力。
火爆全网的《卢浮宫小猫》AI视频万字创作心得分享，这可能是他们最毫无保留的一次。
数字艺术家海辛和阿文分享《卢浮宫小猫》AI视频全流程创作心得，从选角、定调、音乐、分镜、美术到动画等环节，还提及废稿情况，强调模型便捷不应成偷懒理由，要把作品做得更好。
比NotebookLM更实用，基于LLM的AI PPT开源工具，连配套演讲稿都给写好了。
现在很多人用Nano Banana、NotebookLM做PPT，但存在字体、内容契合度等问题。本文推荐基于LLM的开源AI PPT工具LandPPT，它支持多格式文档生成、有深度研究等功能，协议宽松可商用。