「Linux内核调度」共找到 287 篇相关文章
模型一个没换,正确率翻了近三倍,这个项目有点东西啊!
GitHub开源项目AutoResearch用同一模型答题,其EvoMap蜂群模式使正确率近三倍于单Agent和常见Sub - Agent模式。它是多Agent评审系统,靠蜂群机制让AI自动科研,还有诸多防幻觉等特点,能用于多场景优化。
供需失衡的窗口期里,商汤大装置把国产算力做成了正毛利生意
WAIC期间,商汤大装置举办AI基础设施论坛,展示国产算力成绩单,将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论,提升芯片利用率,还在多领域合作,虽红利或收窄,但方法论有长期价值。
从 Serverless 到 Agent:Cube 系统的一些设计思考
本文从 Serverless 面临的挑战出发,介绍 Cube 系统设计,包括分布式调度、资源池化等。还探讨其在 Agent 场景应用,如极速代码执行、高并发 Agentic RL 等,最后展望向行业开源,助力 Agent Infra 发展。
Kubernetes 被 AI 打回“半成品”!K8s 之父发出警告:代码生成越快,程序员越危险
Kubernetes联合创始人Brandon Burns表示,AI让Kubernetes回到‘未完成’状态,它得适应GPU调度等新需求。他还谈到AI对编程工作的影响,如代码审查成核心技能,未来编程语言或为AI设计。
北大联合Llama-Factory推出DataFlex:工业级数据动态训练系统
北大张文涛教授、鄂维南院士团队联合多机构推出大模型数据中心动态训练框架DataFlex。它是统一训练基础设施,纳入三类核心能力,解决底层系统问题,在效率和效果上有提升,受社区认可。
关键技术详解|腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等,还对比不同框架,指出优化方向,如先实现 PP,再推进 EP 与 PD 分离。
韩松等提出FlashMoBA,比MoBA快7.4倍,序列扩到512K也不会溢出
今年2月月之暗面提出MoBA,在处理长上下文有潜力,但业界缺乏对其性能设计原则的理解和高效GPU实现。来自MIT、NVIDIA的研究者提出FlashMoBA,解决了小块MoBA性能挑战,实验显示其在多方面表现优。
jiSGLang集成ktransformers:2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户,SGLang集成ktransformers的CPU内核,支持直接运行Kimi K2 Thinking模型。它无需等量化,还能微调,虽性能与GPU方案有差距,但给用户新选择。
AI如何重塑大厂成熟业务?百度文库GenFlow打了个样
文章讲述百度文库借助AI从“资源下载站”变为“智能生产力平台”。其转型体现在产品定位重构、挖掘用户需求、跨业务协同。GenFlow2.0打通文库与网盘,提升体验、重塑边界,证明非核心业务也能价值重生。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。