调度熵」共找到 192 篇相关文章

产品应用7

对话 Elys 创始人 Tristan:人的灵魂是所有 context 的总和,我们从未被真正连接过

本文是极客公园创始人张鹏与 Elys 创始人 Tristan 的对话。Tristan 认为产品应围绕 context 构建,Elys 结合记忆、推荐等系统,要打造低社交世界,还介绍了产品设计、用户导入等方面内容。

Founder Park
算法论文8

跨层压缩隐藏状态同时加速TTFT和压缩KV cache!

论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。

机器之心
产品应用7

AI+直播的新玩法! StreamDiffusionV2让创意零延迟

生成模型改变直播行业,但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2,通过智能调度和缓存机制优化,支持多GPU并行,可灵活调画质和延迟,实现实时直播。

带你学AI
推荐文章8

AI Infra进阶:如何让大模型输出确定的结果

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略,因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响,给出vLLM实现Batch Invariance的方法。

腾讯技术工程
技术实践8

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。

阿里云开发者
推荐文章7

硬核拆解 OpenClaw:如何构建真正稳健的生产级 Agent 系统?【上】

本文深入剖析 OpenClaw 的 Agent 任务引擎,介绍其‘工作室’、整体架构、调度与并发控制、高可用与容错机制等。指出其架构有工程智慧,对构建生产级 Agent 系统有参考价值,下篇将介绍更多实践。

AI大模型应用实践
算法论文8

AEPO:智能体平衡策略优化,让探索更稳,推理更深!

中国人民大学与快手团队联合提出 AEPO 算法,解决驱动式智能体强化学习训练不稳等问题。它设计两项核心机制,在 14 个基准上优于主流算法,在 X 等平台获高关注。

机器之心
开源动态8

集合通信库VCCL释放GPU极致算力,创智、基流、智谱、联通、北航、清华、东南重磅开源

在超大规模智算集群需求下,创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发,有智能调度、容错、细粒度观测机制,实测能提升算力利用率、降低故障率,还解决了服务器异构等问题。

机器之心
产品应用8

阿里版Claude Cowork杀疯了!一句话直出杂志级PPT,全球打工人变天

阿里QoderWork新版全面上线Windows。它是成熟的商业化办公桌面Agent,能处理文件、生成文档等。实测显示,它可整理图片、生成PPT和报告,还能处理重复工作。其具备安全防护、分级调度、功能扩展等特点。

新智元
推荐文章7

“Skills 不就是脚本套个壳吗?我十几年前就玩 AutoIt 了”

程序员常认为 Agent Skills 是脚本换壳,实则二者有本质差异。脚本按步执行,Skills 由 AI Agent 调度、用自然语言编排工作流。确定的事用代码,不确定的交给 Agent。Skills 降低成本、利于分享,进化快但有安全问题。

宝玉AI