「全局调度」共找到 225 篇相关文章

算法论文8

重构线性视觉Transformer,精度与效率双平衡 | CVPR'25

南洋理工、北航与合工大联合提出CARE Transformer,以非对称解耦建模局部与全局,降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度,打破“效率与精度不可兼得”困局。

新智元
算法论文8

所有大模型,都学物理学:北大物理系一篇研究,震撼了AI圈

北大等机构团队跨界用物理学最小作用量原理,提出新颖方法估计 LLM 生成方向性,揭示其背后‘物理定律’。发现 LLM 生成有细致平衡现象,还能用物理指标给大模型画像,让 AI 研究提升到‘物理科学’高度。

机器之心
产品应用7

关键技术详解|腾讯一念 LLM 分布式推理优化实践

InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等,还对比不同框架,指出优化方向,如先实现 PP,再推进 EP 与 PD 分离。

InfoQ
产品应用8

AI如何重塑大厂成熟业务?百度文库GenFlow打了个样

文章讲述百度文库借助AI从“资源下载站”变为“智能生产力平台”。其转型体现在产品定位重构、挖掘用户需求、跨业务协同。GenFlow2.0打通文库与网盘,提升体验、重塑边界,证明非核心业务也能价值重生。

乱翻书
推荐文章8

大模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
开源动态8

当Sora 2意外停摆,这个国产视频生成创业团队,直接「开源」三连击

OpenAI叫停Sora 2项目,同期北京AI初创公司Sand.ai在GitHub连续三天开源核心技术栈,包括音视频同出大模型、分布式Attention组件、全局编译框架,还介绍了团队和产品,展现全栈实力。

机器之心
开源动态8

训练即服务!让模型训练回归算法语义,150行代码跑通RL

ModelScope团队开源Twinkle框架,采用Client - Server架构,支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环,底层调度等交给框架。它兼顾易用性与灵活性,有多种特点和优势,代码已开源。

量子位
新闻资讯8

这个春节,AI 不聊天了,开始替我买单

马年春节,腾讯、百度、字节跳动等大厂打响「AI 春节大战」。阿里旗下千问 APP 投入 30 亿启动「春节请客计划」,活动首日成绩显赫,还展示了跨应用调度等能力,探索出独特的「超级 Agent」路线。

机器之心
开源动态7

从组件到 OS 的跃迁,MemOS 深度拆解:构建企业级 Agent 的高性能记忆底座【上】

本文深入剖析开源记忆方案MemOS,它将记忆从“外挂组件”升为“系统资源”。介绍其设计理念、核心架构,分析记忆需加工、分层调度和治理的原因,还阐述记忆三态及流转,最后展示MemOS Cloud的使用方法。

AI大模型应用实践
推荐文章7

基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel

作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现,其中包含量化Kernel。文章关注此Kernel,介绍在B200上实现高性能Memory Bound Kernel的优化技术,如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。

GiantPandaLLM