「分布式层级 Namespace」共找到 115 篇相关文章
开源动态7
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
猛猿
7
谷歌Gemini最强性价比模型发布,1块8读完3本三体
谷歌推出Gemini 3.1 Flash-Lite,号称性价比最高的Gemini 3系列模型,每百万输入token仅0.25美元,读完3本《三体》只需1.8元。性能表现佳,还支持可调思考层级。两小时后ChatGPT推出GPT - 5.3 Instant回应。
量子位
新闻资讯8
11 年前的那张图,又火了
一张2015年关于AI的智能曲线图近日在X上刷屏,马斯克也进行了转发。该图作者Tim Urban将AI分为ANI、AGI、ASI三个层级,指出人类习惯线性思考,但AI进步是指数级的。如今AI发展加速,其能力边界不断扩张。
AGI Hunt
产品应用8
阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。
阿里云开发者
开源动态8
攻克结构化长文档检索难题!新框架让模型告别“结构性失明”
SEAL团队推出全新对比学习框架SEAL,通过带结构感知和元素对齐,将文档宏观层级结构和微观元素语义融入Embedding空间,提升模型对结构化数据的理解。在BGE - M3模型上提升了MRR@10指标,还开源了万级字数长文档数据集。
量子位