「数据中心动态训练」共找到 2589 篇相关文章
4个MIT的00后,两年干出全球最火AI编程工具,600亿美元卖给了SpaceX
今年1月,Cursor CEO Michael Truell决定训练自有模型,不再依赖Anthropic的Claude。5个月后,SpaceX以600亿美元收购Cursor母公司。此前Cursor增长快但依赖Claude,自研模型有成本优势却缺算力。
高潮从第几秒开始?GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA,采用双编码器融合网络,经三阶段训练,还推出 MusicBench 评测基准。实验显示,GaMMA 在多基准上表现优异,刷新 SOTA。
统一视觉多模态与多任务!快手可灵与港科大团队发布视频生成模型,加速真实世界理解
港科大、港中文、清华和快手可灵团队提出全新视觉框架UnityVideo,统一训练多种视觉模态,让模型更懂物理规律,视频生成更真实可控,还实现零样本泛化,在多任务表现优异。
The Batch:832 | AI 消耗能源,也节省能源
国际能源署对AI能源消耗全面分析,有忧有喜。担忧在于AI能源消耗有四种情景预测,到2030年数据中心电力需求或翻倍。期待是AI已开始提升能源效率,未来可带来巨大能源节约。
第六章 Coding优先编的是「过程与约束」,不是「参数」
本章以开面包店类比训练大模型,介绍 AutoResearch 自主实验框架。它将研究生助理工作循环交给 Agent,在固定时间用单一指标判断好坏。仓库获约 64.7K Stars,Karpathy 设计哲学为极简主义与固定约束。
GenEnv:智能体与环境模拟器之间的难度对齐协同进化 | 直播预约
训练高性能 LLM 智能体受限于真实世界交互数据的成本和特性,为此推出 GenEnv 框架,它建立难度对齐协同进化博弈,能让智能体表现提升,减少数据使用量,为扩展能力提供数据高效路径。
ChatGPT大更新推出学习模式!“一夜之间1000个套壳应用又死了”
ChatGPT大更新,推出学习模式,像老师般引导思考,对多类用户开放。它由OpenAI与多方合作打造,结合学习科学成果。目前用提示词实现,未来会训练进模型,还将多方面改进,或重塑教育模式。
从零开始200行python代码实现LLM
文章从传统思路出发,用Python实现极简大语言模型,介绍从零基础到Bigram模型的过程,包括词汇表、模型训练推理等内容,还讲解了PyTorch基础,最后实现pytorch版Bigram模型,后续将实现完整GPT。
创新常常发生在无人走过的路上|5Y News Monthly
「5Y News Monthly」回顾五源及被投企业新闻动态。被投企业有投融资、合作、新品发布等大事,如极壳完成7000万美元融资,月之暗面发布Kimi K2 Thinking模型。五源也有荣誉、观点分享等动态。
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!
谷歌提出新架构,参数减少40%,训练速度较RNN提升5 - 8倍,某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略,用「保留」取代「遗忘」,还提出Moneta、Yaad、Memora三个新模型,在多任务上表现卓越。