「vllm v1」共找到 2103 篇相关文章
全网疯传的《OpenClaw橙皮书》更新了
《OpenClaw橙皮书》爆火，X浏览量超180万，飞书文档2天访问超10万+。v1.1版本新增国产Claw产品选购指南、安全事件及OpenClaw新功能。文档用Claude Code创作，有大量人工环节。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
浙大&港理工等提出InfiGUI-R1：利用强化学习，让GUI智能体学会规划任务、反思错误
多模态大模型驱动的GUI智能体有潜力，但现有智能体面对复杂任务力不从心。浙大等机构提出InfiGUI-R1及Actor2Reasoner框架，通过两阶段训练提升智能体能力，InfiGUI-R1-3B在多基准测试中性能卓越，为GUI自动化工具开辟新道路。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。
Cloudflare 如何将 Quicksilver 迁移到多级缓存并处理数十亿个请求
Cloudflare 工程团队分享将全局键值存储 Quicksilver 过渡到分层缓存架构的故事。从 V1 到 V2 迁移，采用多级缓存策略，解决存储、一致性等问题，提升性能，多数请求可在短时间内响应。
AI生成视频总不符合物理规律？匹兹堡大学团队新作PhyT2V：不重训练模型也能让物理真实度狂飙2.3倍！
匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。
Claude时代终结？LMArena实测DeepSeek R1编程得分超Opus 4，但月暗称其新模型更胜一筹
在闭源模型主导的AI环境下，开源的DeepSeek - R1（0528）在LMArena测试中表现亮眼，编程得分超Claude Opus 4，引发社区关注与讨论。不过LMArena曾被指责偏袒，其联合创始人反驳。此外，月之暗面新模型Kimi - Dev - 72B编程成绩超R1。
碾压DeepSeek V3！开源AI Agent专属模型，1万亿参数、工具使用能力超强
国内大模型平台月之暗面开源了模型Kimi - K2，这是混合专家模型，总参数1万亿。它针对AI Agent优化，工具使用能力强。测试显示其性能碾压DeepSeek V3等模型，训练流程还有独特技术创新。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。