「资源共享」共找到 539 篇相关文章
Meta员工空转AI只为浪费token!烧的多挣的多,日均消耗2万亿
Meta内部在首席AI官亚历山大王推动下,员工为抢夺虚荣头衔展开“Token竞技”,日均消耗两万亿Token。这源于扎克伯格重写代码库要求,首席技术官支持资源投入。新模型将半开源,嵌入社交业务。
如何为 GPU 提供充足存储:AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果,探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载,分析共享文件系统类别,给出比较视角,解读各负载测试结果并总结选型要点。
OpenAI算力账单曝光:70亿美元支出,大部分钱花在了“看不见的实验”
据Epoch AI统计,去年OpenAI计算资源支出70亿美元,多以租微软云算力支付。其中50亿研发算力,大多用于幕后研究和实验,非爆款模型的最终训练,也解释了其2024年亏损原因。
突破后训练瓶颈?Meta超级智能实验室又一力作:CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器,但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法,把推理时额外计算当教师信号,为大模型提供监督,实验显示效果显著。
OpenAI 最新报告:让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》,基于与国际大公司合作经验,提炼出让团队变得 AI Native 的五大原则,即对齐、激活、放大、加速、治理,还给出各原则策略及反思问题。
一文读懂 RAG 与 KAG:原理、工程落地与开源实战(含代码与链接)
文章介绍RAG与KAG,RAG从文档找证据回答,适合开放域、时效更新快场景;KAG将结构化知识融进生成过程,实体关系与事实一致性更稳。还给出实战建议、工作流要点、最小可跑示例、开源组件及项目等。
监督学习未死,一题训练五小时起飞!华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中,RL训练资源成本高、不稳定,传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法,用一题多解多点评训练,仅需约5个GPU小时,效果好、稳定性强。
半量工具,双倍效能:ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战,传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO,通过量化token熵分布变化设计自适应探索机制,降低工具调用成本且提升多轮推理性能。
合合信息:基于 JuiceFS 构建统一存储,支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战,引入JuiceFS构建统一存储架构,结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率,还通过缓存优化、数据治理等措施,支撑多业务并发,为AI基建奠基。
首次综述「边-云协同计算」,分布式智能与模型优化的最新进展
边缘 - 云协同计算整合边缘节点和云端资源,解决传统云计算问题。最新综述论文系统梳理其架构设计、模型优化等方面,提出统一框架,还指明未来研究方向,如大语言模型部署、6G整合等。