「vllm v1」共找到 2110 篇相关文章
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
AI PC进入爆发期，国产芯片能否在其中分得一杯羹？
AI从云端走向端侧，AI PC迎来爆发期。Arm虽有结构性优势，但在PC端进展慢。此芯科技推出此芯P1，联合多方打造开放平台，推动标准化和生态建设，产品也不限于AI PC，未来有望为国产芯片争得话语权。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
Claude Code 新功能 Agent Teams：4 类活效率翻倍，4 类活纯烧 token
Claude Code v2.1.32 后新增实验性功能 Agent Teams，可将其从单个 AI 助手升级为 AI 团队，但会使 token 用量线性放大。文章总结了适合和不适合用此功能的任务类型，还给出决策清单、实战避坑建议。
西游取经团再出征：小米 Token Plan 能把 Token 价格打下来吗？
4月3日小米发布首款“走字儿”Token Plan计费方案，以Credit换算Token，不同模型换算比例不同，取消使用时间限制。实测MiMo V2 Pro完成任务水平在线，成本约为Lite套餐60％，但Token消耗难预估，其价值取决于任务场景。
18岁天才少年，登上Nature封面！
DeepSeek-R1荣登Nature封面，成史上首个经严格同行评议大模型。18岁天才少年涂津豪以实习生身份参与，其从高中生到Nature作者的经历堪称传奇。他还改造Claude 3.5，开源项目获15k多星，还对AGI发表思考。
机器人“真干活”，为什么宁德时代选择了银河通用？｜甲子光年
宁德时代与银河通用签署全球战略合作协议，推动具身智能机器人在全球市场拓展及规模化应用。银河通用重载机器人Galbot S1已在宁德时代产线作业，其核心技术“银河星脑”能让机器人适应复杂环境。双方还在服务体系上合作，补齐规模化部署短板。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
大动作，800亿芯片龙头筹划并购
8月28日晚，804亿市值的芯原股份公告筹划收购芯来智融全部或控股权。芯原是我国排名第一的半导体IP供应商，业绩出色。芯来智融是RISC - V领域代表企业。此次并购有望让芯原切入该领域，成全栈IP平台。