「调度熵」共找到 192 篇相关文章
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
当AI应用都在「撒钱」时，谁来扛住千亿交互背后的算力大考？
春节将至，AI应用竞争激烈，各大厂商纷纷「撒钱」。行业预测除夕当晚主流AI应用交互量或破千亿次，考验底层算力。Remy爆火时，共绩科技助其扛住流量冲击，其弹性算力调度优势明显，适合春节流量洪峰。
通用Agent长啥样
视频探讨大厂做基于命令行编程工具的原因，介绍命令行Agent，剖析其等于庞大工具生态、经典Unix组合哲学与现代AI调度能力，指出通用Agent骨架由AI大脑、命令行身躯和MCP感官构成。
ChatGPT语音杀入桌面！你负责动嘴，一群AI负责干活
近日OpenAI将ChatGPT语音功能正式引入桌面版，其底层是新一代语音模型GPT - Live。大佬们看好语音输入，因其能高带宽传递上下文。该功能不仅能闲聊，还可调度智能体，OpenAI想让ChatGPT成AI工作操作系统。
对话 Elys 创始人：他的 10 个产品洞察，和他想创造的下一代社交网络
极客公园与 Elys 创始人 Tristan 深度对话，分享 10 个产品洞察。他认为 context 价值大，做新 AI 产品要找好形态，记忆系统本质是推荐系统，还阐述了对 AI 社交等看法，目标是创造低熵社交网络。
前小米 OS 高管创业：你的下一部「手机」未必是手机
前小米OS高管董红光创立光帆科技，他认为AI将重塑消费电子行业，未来交互是“需求式”和“多模态”的，手机或不再是最适配设备，穿戴设备或先变革，未来多设备联动由AI大脑调度。
快手 AB 场景提速 145 倍，从 Spark 到 Apache Doris 的加速实践
快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗降 72%，刷新 Doris 单机群最大规模。本文介绍选择 Apache Doris 的原因，以及在存储、计算、调度、稳定性等方面的优化，对构建 AB 实验平台有参考价值。
央企出手，让选大模型更容易了！中国移动发布MoMA聚合服务引擎
7月26日，中国移动在世界人工智能大会发布MoMA多模型与智能体聚合及服务引擎。它汇聚优质模型与智能体，为复杂任务提供方案，解决调度、意图理解、成本收益平衡等难题，还应用于灵犀智能体2.0。
在软件工程中，对 AI 的过度依赖，会加速工程师的无能
资深软件工程师Doug Slater指出，在软件工程中对大语言模型（LLM）过度依赖会加速工程师无能。LLM无法取代人类批判性思维，它在输出、输入、开发速度和用户技能等方面存在风险，且无法掌握程序理论和抵抗程序熵。
半量工具，双倍效能：ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。