「计算规模」共找到 1130 篇相关文章
1GW算力中心耗资600亿美元？黄仁勋G20现场布道“AI经济学”
美国当地时间9月2日，英伟达CEO黄仁勋在G20创新部长级会议阐述‘算力经济学’。他称建1GW规模AI基建约需500 - 600亿美元，算力成国家级核心生产资料，全球到2030年AI基建或达100GW。
马斯克「脑机第一人」首爆！不开颅在线升级，永生代码已写入
Neuralink首位人类受试者Noland Arbaugh自曝大脑芯片更新方式和特斯拉类似，可在线升级。如今奥特曼入局，其参与创立的Merge Labs获2.52亿美金种子轮融资，要做更大规模脑机接口。
世界首富换人！81岁硅谷狂人4000亿身价碾压马斯克，33岁华裔才女逆袭
昨晚科技圈炸锅，甲骨文创始人Larry Ellison净资产暴增超1000亿，以3930亿美元身价超越马斯克成世界首富。甲骨文云计算收入占比近半，OpenAI将未来五年花3000亿买其算力。
突发！Jason wei也被小扎挖走了
Jason wei是OpenAI研究科学家，是思维链、强化学习研究重要推动者，2023年2月加入OpenAI，此前在谷歌大脑工作。他和HYUNG Won Chung一同被小扎挖走，二人是o系列模型及测试时间计算重要推动者。
普林斯顿大学等Nature揭秘：人类大脑与大语言模型共享同一套语言处理时钟
普林斯顿大学等机构研究发现，大语言模型层级计算序列精确映射人类大脑处理语言的毫秒级时间动态，其与人类大脑理解语言的先后顺序高度一致，为理解大脑和开发神经网络架构开辟途径。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
Meta 再次上桌！个人AI产品爆红，扎克伯格身价直涨2000亿
本文报道Meta推出独立个人AI助手Muse，上线两周登顶美国iOS应用商店免费榜，累计下载超250万次。Meta调整AI战略转向个人AI Agent赛道，依托社交网络与可穿戴硬件底牌冲击个人计算入口，同时面临多重竞争。
斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law
斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算量可提升VLA模型性能，揭示动作误差与采样数量幂律关系，还探讨关键问题，给出方法，实验证明结合RoboMonkey能显著提升性能。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
“多模态方法无法实现AGI”
文章指出一些人认为多模态方法能实现AGI，但作者觉得此策略会失败。真正的AGI要理解物理世界，而LLMs只是记忆规则。此外，规模最大化方法用于AGI有数据稀缺问题，多模态建模也存在诸多问题。