资源调度」共找到 539 篇相关文章

算法论文8

ICML 2026 | 拒绝盲目猜token,阿里x浙大将投机解码带入弹性预算时代

随着大模型参数规模扩大,推理成本成核心瓶颈。投机解码在高并发下有问题,阿里与浙大学者提出 ECHO,将投机树构造建模为预算调度问题,通过稀疏门控和弹性预算调度提升系统收益。

机器之心
推荐文章7

从后训练回到预训练,LLM+RL 的潜力兑现有有机会走更远吗?

RL与LLM结合是重要技术方向,应用从后训练延伸至预训练。虽看似为LLM+RL带来希望,但RL本身有局限。微软等提出的RPT有潜力,不过训练语料等未广泛验证,且需大量计算资源

机器之心
产品应用7

容器可观测新视角: SysOM延时监控助力定位业务抖动原因

云原生场景下,资源超卖和混合部署使宿主机与容器化应用资源竞争加剧,引发内核级延迟问题。本文结合实战案例,介绍用ack - sysom - monitor Exporter分析定位内核延迟,还介绍了SysOM监控及解决系统延时的方法。

阿里云开发者
产品应用7

作业帮Flink On K8s落地实践

本文分享作业帮2025年Flink on k8s的探索与实践,包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题,阐述选型Flink K8s Operator模式的原因,还提及任务状态观测、环境资源成本等,分析核心问题并给出解决方案。

InfoQ
算法论文7

英伟达新研究:小模型才是智能体的未来

英伟达最新论文指出,大模型在Agent任务中消耗大量计算资源,成本高、效率低、灵活性差,而小模型能在性能够用前提下让任务执行更经济灵活。小模型通过优化硬件资源和任务设计高效执行任务,但落地面临挑战。

量子位
产品应用7

LLM加速利器LMCache,极大降低GPU资源消耗

LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。

GitHubStore
产品应用8

ShellAgent 2.0 体验:让前端消失,省掉 70% 开发资源

本文介绍Myshell ShellAgent 2.0测试情况,它仅用提示词就能生成Agent应用,摆脱前端构建流程,降低创建门槛。文中展示创建计算八字、分析钱包资产、拆解学习资料等应用案例,还能Remix他人发布的应用。

歸藏的AI工具箱
产品应用8

万卡竞赛背后:容器正在成为AI时代的调度大脑

今年 Agent 与 AIGC 应用大爆发,Gartner 预计 2027 年超 75%的 AI/ML 工作负载将用容器技术部署。但现有容器技术栈不能直接用于 AI 业务,需解决两大技术挑战。阿里云 ACK 和 ACS 协同演进,应对挑战并不断突破,还积极投入开源。

InfoQ
新闻资讯7

中国算力方案:如何用有限资源做出无限可能?|甲子引力

2025年12月3日,「甲子光年」举办年终盛典,在算力产业专场,分析师王艺对话多位嘉宾,探讨中国算力方案。面对算力困境,嘉宾分享突破策略,还就关键瓶颈、技术路径等展开交流,认为具备场景洞察等优势才能持续突破。

甲子光年
7

Claude Code终于长出调度台:一个屏幕盯住所有AI会话,无需多开

Anthropic为Claude Code上线Agent视图研究预览版,提供「指挥中心」,可在一个界面管理所有会话。开发者能启动多个AI智能体并行处理任务,一目了然掌握任务状态,还支持在线回复和任务切换。

新智元