「资源优化」共找到 1569 篇相关文章
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
MiniMax 怎么做 Agent：Model-Harness 协同只是第一步，还有 Inference-Harness 协同
本文介绍了 MiniMax 在 Agent 层面的实践。从内部飞书 bot 起步，发展成桌面应用 MiniMax Code，形成训练 - 服务闭环。还阐述 Agent 对模型优化迭代的作用、自研 Agent 优势，指出 AGI 是闭环递归自我改进系统。
美光财报：这一次，内存行业真的不一样了
美光财报表现亮眼，单季营收414亿美元，同比暴涨346%，毛利率从38%飙升到85%。AI让内存成战略资源，需求爆发，供给受限。美光扩产激进、技术进步快，有望进入‘以利润养扩产’正循环。
推理成本太高、算力不够用？单纯堆卡没用，得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上，阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案，覆盖云到边缘、多算力平台。
他，37岁华裔，靠AI成为福布斯400最年轻亿万富翁，身价180亿美金！
37岁华裔Edwin Chen成《福布斯400》最年轻亿万富翁，身价180亿美元。他拒绝VC融资，用积蓄打造估值300亿美元的AI数据标注公司Surge，希望让AI学会「人类的复杂性」，还担忧AI模型被错误优化。
调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模
微软亚洲研究院提出全新文本数据组织范式DELT，通过引入数据排序策略，充分挖掘训练数据潜力，优化训练数据的组织方式，在不同模型尺寸与规模下都达到了良好性能，且不用增加数据量或扩大模型规模。
图像编辑太慢太粗糙？全新开源自回归模型实现精准秒级修改 | 智象未来
AI图像编辑中扩散模型有两大难题，智象未来团队提出全新自回归图像编辑框架VAREdit，引入视觉自回归架构，提升编辑精准度与速度。模型和代码已开源，还提出SAR模块优化，在基准测试表现出色。
老黄再收95后华人才俊！4亿美元收购AI初创公司
英伟达老黄以超4亿美元收购95后华人王尚创立的AI初创公司CentML，员工全部打包带回。该公司能整合软硬件资源，可增强英伟达CUDA工具链。此前老黄已收购多家相关初创公司揽人才。
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长，此前方法难公平比较。团队提出「KV 足迹」指标，改进方法并推出 PruLong 优化内存，节省空间且保性能。
去往 Capital One 的俞栋，曾是 Hinton 的「救命恩人」
近日原腾讯AI Lab副主任俞栋加入Capital One。此前他和邓力曾在微软为Geoffrey Hinton雪中送炭，挽救深度学习研究。如今邓力、俞栋等技术大佬纷纷投身金融公司，或是因薪资、挑战和资源等因素。