「分层调度」共找到 319 篇相关文章
这一年,DeepSeek消耗14万亿Token,编程仅占1/10,超一半用于角色扮演?
a16z和OpenRouter基于100万亿token研究揭示LLM使用情况:开源模型占三成市场,编程任务成刚需,角色扮演是金矿。还提到‘玻璃鞋效应’影响用户留存,市场分层为‘高端闭源+性价比开源’双轨制。
关键技术详解|腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等,还对比不同框架,指出优化方向,如先实现 PP,再推进 EP 与 PD 分离。
AI牛马实现“干中学”!上海AI Lab联合推出智能体自我进化新框架
上海人工智能实验室等研究者提出MUSE智能体框架,让智能体实现“干中学”。它围绕分层记忆模块,通过先做、再反思、然后进化,解决现有智能体痛点,实验表现出色,还展望了未来优化方向。
AI如何重塑大厂成熟业务?百度文库GenFlow打了个样
文章讲述百度文库借助AI从“资源下载站”变为“智能生产力平台”。其转型体现在产品定位重构、挖掘用户需求、跨业务协同。GenFlow2.0打通文库与网盘,提升体验、重塑边界,证明非核心业务也能价值重生。
这个推理模型:HRM ,只用2700万参数,超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM,它是全新循环架构,仅2700万参数、1000个训练样本,就在复杂推理任务上表现卓越,还引入近似梯度等方法,有推动通用计算变革潜力。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
Anthropic 技术栈里的「五宗罪」由何而来?
Anthropic的Claude模型升级后,用户却觉得不好用。X上帖子指出其存在文本和代码标记、模型能力、定价、长上下文等问题,这些问题卡在生成、计算、上下文和Agent运行时的5个具体位置,导致各方面互相拖后腿。
生成视频总出物理bug?用VLM迁移+token级对齐,让燃烧在正确位置发生,碰撞遵循动量守恒丨CVPR 2026近满分接收
现有生成式视频模型多停留在“外观拟合”,未真正“物理建模”。中山大学等机构提出ProPhy,构建渐进式物理对齐框架,使模型有“分层物理理解”与“空间物理对齐”能力,论文被CVPR2026近满分接收。
具身智能中的 VLA 技术及其应用
文章围绕具身智能中 VLA 技术展开,介绍其现状、挑战、架构、数据方案及部署等内容。指出 VLA 虽推动具身智能发展,但面临数据、模型结构等挑战,还探讨了不同架构优劣及未来探索方向。
训练即服务!让模型训练回归算法语义,150行代码跑通RL
ModelScope团队开源Twinkle框架,采用Client - Server架构,支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环,底层调度等交给框架。它兼顾易用性与灵活性,有多种特点和优势,代码已开源。