「调度熵」共找到 192 篇相关文章
对话 Elys 创始人 Tristan:人的灵魂是所有 context 的总和,我们从未被真正连接过
本文是极客公园创始人张鹏与 Elys 创始人 Tristan 的对话。Tristan 认为产品应围绕 context 构建,Elys 结合记忆、推荐等系统,要打造低熵社交世界,还介绍了产品设计、用户导入等方面内容。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。
AI+直播的新玩法! StreamDiffusionV2让创意零延迟
生成模型改变直播行业,但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2,通过智能调度和缓存机制优化,支持多GPU并行,可灵活调画质和延迟,实现实时直播。
AI Infra进阶:如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略,因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响,给出vLLM实现Batch Invariance的方法。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
硬核拆解 OpenClaw:如何构建真正稳健的生产级 Agent 系统?【上】
本文深入剖析 OpenClaw 的 Agent 任务引擎,介绍其‘工作室’、整体架构、调度与并发控制、高可用与容错机制等。指出其架构有工程智慧,对构建生产级 Agent 系统有参考价值,下篇将介绍更多实践。
AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!
中国人民大学与快手团队联合提出 AEPO 算法,解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制,在 14 个基准上优于主流算法,在 X 等平台获高关注。
集合通信库VCCL释放GPU极致算力,创智、基流、智谱、联通、北航、清华、东南重磅开源
在超大规模智算集群需求下,创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发,有智能调度、容错、细粒度观测机制,实测能提升算力利用率、降低故障率,还解决了服务器异构等问题。
阿里版Claude Cowork杀疯了!一句话直出杂志级PPT,全球打工人变天
阿里QoderWork新版全面上线Windows。它是成熟的商业化办公桌面Agent,能处理文件、生成文档等。实测显示,它可整理图片、生成PPT和报告,还能处理重复工作。其具备安全防护、分级调度、功能扩展等特点。
“Skills 不就是脚本套个壳吗?我十几年前就玩 AutoIt 了”
程序员常认为 Agent Skills 是脚本换壳,实则二者有本质差异。脚本按步执行,Skills 由 AI Agent 调度、用自然语言编排工作流。确定的事用代码,不确定的交给 Agent。Skills 降低成本、利于分享,进化快但有安全问题。