「重调度框架」共找到 2688 篇相关文章
图解Vllm V1系列6:KVCacheManager与PrefixCaching
文章聚焦vllm v1,阐述调度器取请求时判断设备有无充足空间做推理的问题,涉及KVCacheManager与Prefix Caching。前者管理请求和块,后者通过找最长一致前缀节省显存,还介绍块分配释放策略与流程。
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
大模型上线部署时推理成本高、算力投入大但效果不成正比,企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致,成本低,集成关键创新,还被集成到 AI 云原生推理套件 ServingKit 中。
速戳!2026中国科幻大会北京未来数字空间创新试验区产业引领论坛亮点抢先看
2026第十届中国科幻大会将在北京首钢园召开,“北京未来数字空间创新试验区产业引领论坛”3月29日亮相。论坛有四大亮点,包括“街区式”创新平台亮相、“三重智能”协同勾勒技术路线等,还汇聚多方资源构建产业创新生态。
李诞的虾,把搞 AI 的都看沉默了
飞书「玩虾大会」直播中,李诞现场教呼兰在飞书上养虾。诞虾能理解意图建边界、实事求是判断合作、犀利评价呼兰虾,还能依场景调整表达。李诞养虾好因重表达和思考,AI可照见灵魂。
生成式推理再排序,可能会是LLM4RecSys的新突破口吗?
Meta AI研究者尝试把推理模型引入推荐系统再排序阶段。论文通过监督微调等赋予模型推理能力,超LLM4Recsys标杆。中期内化物品语意ID,生成推理路径,推理赋能再排序,披露重排序提升空间。
AI六小虎,敲锣之后分道扬镳
随着智谱AI与MiniMax先后上市,AI大模型六小虎走向不同道路。未上市几家放慢脚步,百川或2027年上市,月之暗面“不差钱”不着急,阶跃走软硬结合路线。投资人更看重公司商业化能力。
AI教母李飞飞最新长文:空间智能是AI的下一个前沿「LLM太局限了,缺乏现实根基」
AI教母李飞飞最新文章指出,以LLM为代表的AI技术虽改变世界,但缺乏现实根基。要让AI与物理世界互动,需迈向空间智能,她还提出构建世界模型框架及面临的挑战和应用前景。
机器人「看片」自学新技能:NovaFlow从生成视频中提取动作流,实现零样本操控
布朗大学和机器人与人工智能研究所团队提出 NovaFlow 框架,利用视频生成模型常识知识,让机器人“看片”自学。它将任务理解与控制解耦,通过生成视频提取动作流,实现零样本操控,为通用机器人提供新路径。
ICML 2025 | 给AI装上「智能升级插件」!阿里安全-清华大学D-MoLE让模型在持续学习中动态进化
近日,阿里巴巴集团安全部 - 交互内容安全团队与清华大学联合研究成果被 ICML 2025 收录。他们提出 D - MoLE 框架应对多模态大模型持续学习挑战,实验显示其性能优、训练快,还能用于提升阿里安全审核模型适应力。
刚刚,DeepSeek Harness震撼开源:一切皆插件
今天凌晨,DeepSeek Harness(开发者预览版)开源。它是构建智能体的SDK与框架,设计理念为“一切皆插件”,代码量大且模块化,通过配置文件组装不同智能体,还具备多方面创新设计和安全策略。