「扩展计算」共找到 1118 篇相关文章
预测下一个像素还需要几年?谷歌:五年够了
谷歌DeepMind研究者分析下一像素预测在图像识别与生成任务中的扩展特性。实验显示其扩展趋势与文本类似但效率低,最优策略因任务和分辨率而异,预计未来五年逐像素建模可行。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。
加州理工用AI攻克量子化学60年难题,1块显卡做完7800块的活!
加州理工学院Anima Anandkumar团队8月24日发文,用AI模型将量子化学计算复杂度从立方级压到近线性级。单块GPU就能完成含82500个电子的金属缺陷模拟,而2019年同类计算用了约7800块GPU。
Megatron 1F1B流水线并行中的负载不均衡问题研究
文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’,原因是最后一个Stage计算慢致不同步,额外计算引发通信延迟,还梳理了流水线各阶段执行过程。
OpenAI 3000亿美元大单!甲骨文股价一夜飙升35%
OpenAI与甲骨文官宣签下3000亿美元云计算合同,消息一出甲骨文股价飙升35%。这笔交易刷新云计算领域记录,其将助力OpenAI的“Stargate”计划,虽能耗高,但也会带来经济回报,还改变了云计算市场格局。
登顶TPC-C!数据库分布式扩展技术揭秘
阿里云PolarDB云原生数据库以超原记录2.5倍性能登顶TPC - C基准测试排行榜。本文揭秘PolarDB MySQL版多主集群(Limitless)架构与核心技术,还介绍高可用机制、性能测试结果,最后提及轻量版和列存索引应用。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理,未充分利用预训练数据。将介绍最新工作Ouro,Loop语言模型家族,核心创新多,虽参数少却性能优,还会讨论其推理轨迹及模型Scaling新可能。
2025 年 InfoQ 趋势报告:云计算和 DevOps 篇
InfoQ 2025 年云计算和 DevOps 趋势报告展示技术采用阶段趋势图,介绍新增或更新技术。涉及 AI Agent、MCP、平台工程等趋势,指出云 DevOps 生态成熟有新挑战,新阶段需整合多种要素。
谷歌研究院探索多智能体协调的扩展原则
谷歌研究院对180种智能体配置对照评估,得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异,还指出工具使用瓶颈等问题,且开发预测模型辅助架构选择。
英伟达和AMD,开始争夺AI制药的计算入口
每年的 Advancing AI 大会,AMD 都要回答 Instinct GPU 除训练大模型外的应用问题。今年大会上,AMD 把一个位置留给 AI 制药公司 MindWalk。而其对手英伟达已在生命科学领域布局多年,生命科学成两家竞争新战场。