「全局调度」共找到 225 篇相关文章
“Skills 不就是脚本套个壳吗?我十几年前就玩 AutoIt 了”
程序员常认为 Agent Skills 是脚本换壳,实则二者有本质差异。脚本按步执行,Skills 由 AI Agent 调度、用自然语言编排工作流。确定的事用代码,不确定的交给 Agent。Skills 降低成本、利于分享,进化快但有安全问题。
图解Vllm V1系列6:KVCacheManager与PrefixCaching
文章聚焦vllm v1,阐述调度器取请求时判断设备有无充足空间做推理的问题,涉及KVCacheManager与Prefix Caching。前者管理请求和块,后者通过找最长一致前缀节省显存,还介绍块分配释放策略与流程。
DiffMoE:动态Token选择助力扩散模型性能飞跃,快手&清华团队打造视觉生成新标杆!
清华大学和快手可灵团队推出DiffMoE,通过创新的动态token选择机制和全局token池设计,拓展了扩散模型的效率与性能边界。实验表明,DiffMoE在多方面超越现有模型,未来集成先进技术或有新增益。
当AI应用都在「撒钱」时,谁来扛住千亿交互背后的算力大考?
春节将至,AI应用竞争激烈,各大厂商纷纷「撒钱」。行业预测除夕当晚主流AI应用交互量或破千亿次,考验底层算力。Remy爆火时,共绩科技助其扛住流量冲击,其弹性算力调度优势明显,适合春节流量洪峰。
通用Agent长啥样
视频探讨大厂做基于命令行编程工具的原因,介绍命令行Agent,剖析其等于庞大工具生态、经典Unix组合哲学与现代AI调度能力,指出通用Agent骨架由AI大脑、命令行身躯和MCP感官构成。
「上下文学习」之后,腾讯混元第二篇公开研究:精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc,可将全局梯度突刺定位到具体异常 token,降低 RLVR 训练观测与分析门槛,助力解决训练不稳定问题,让模型调优更科学。
ChatGPT语音杀入桌面!你负责动嘴,一群AI负责干活
近日OpenAI将ChatGPT语音功能正式引入桌面版,其底层是新一代语音模型GPT - Live。大佬们看好语音输入,因其能高带宽传递上下文。该功能不仅能闲聊,还可调度智能体,OpenAI想让ChatGPT成AI工作操作系统。
前小米 OS 高管创业:你的下一部「手机」未必是手机
前小米OS高管董红光创立光帆科技,他认为AI将重塑消费电子行业,未来交互是“需求式”和“多模态”的,手机或不再是最适配设备,穿戴设备或先变革,未来多设备联动由AI大脑调度。
快手 AB 场景提速 145 倍,从 Spark 到 Apache Doris 的加速实践
快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗降 72%,刷新 Doris 单机群最大规模。本文介绍选择 Apache Doris 的原因,以及在存储、计算、调度、稳定性等方面的优化,对构建 AB 实验平台有参考价值。
央企出手,让选大模型更容易了!中国移动发布MoMA聚合服务引擎
7月26日,中国移动在世界人工智能大会发布MoMA多模型与智能体聚合及服务引擎。它汇聚优质模型与智能体,为复杂任务提供方案,解决调度、意图理解、成本收益平衡等难题,还应用于灵犀智能体2.0。