「vllm v1」共找到 2118 篇相关文章
腾讯发布大模型思考早停算法SpecExit，效果无损，端到端加速2.5倍！
腾讯为破解大模型长思维链效率难题，提出思考早停算法SpecExit，将思考早停与投机采样融合，在不影响准确性前提下，在vLLM上实现端到端加速2.5倍，还能缩短思维链长度。
ClockBench：一个简单的钟表测试让AI全线溃败
ClockBench测试让11个多模态大模型与5个普通人认钟表时间，人类平均准确率89.1%，最好的AI仅13.3%。AI在复杂钟面表现差，却能处理抽象指令。该测试暴露视觉AI空间推理缺陷，对评估有启发。
本周推荐的5个超级6的Github开源项目！
文章推荐了5个Github开源项目。如htmx，能在纯HTML搞定多种交互，无需JS；Flow.Launcher可快速搜索文件、启动应用；Maple Mono是编程字体，中英2:1对齐；Trilium Notes是分层笔记神器；Hyprnote可实时转录会议内容。
Temporal：Nvidia、OpenAI 都在用，为什么 Agent 还需要专门的长程任务工具？
本文编译了 Temporal CTO Maxim Fateev 的访谈。Temporal 提出 durable execution，确保工作流可靠执行，即使出错也能继续。它获 1.46 亿美元 C 轮融资，Nvidia、OpenAI 是客户。不过，它也面临 AI 发展和云厂商竞争等挑战。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
每周2亿年轻人用ChatGPT，却连高手的零头都没用出来
全球超2亿18 - 24岁年轻人用ChatGPT，高阶用户调用能力仅为超级用户1% - 10%。OpenAI推出三款教育插件，分别针对K - 12老师、大学老师和大学生，还搭建教育闭环，不过教学权仍在教师、学校和政府手中。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
专为终端设计 ，轻量快速，GB 大文件都秒开！
开源君发现一款基于 Rust 的终端文本编辑器 `Fresh`，目标是轻量、快速、功能强大，支持多平台，有7.1k+ star。它上手0门槛、轻量快速，有代码友好功能和丰富生产力工具，还支持插件扩展，提供多渠道安装方式。
号称1200万token上下文的模型来了，数据亮眼但疑点重重
当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。