「并行计算」共找到 906 篇相关文章
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件,解析主流AI芯片特点、国产芯片技术路线;介绍高速互联技术、网络拓扑结构及优化方法;阐述大模型存储需求、分布式存储技术及数据预处理与加载技术,为AI计算提供全面方案。
SCPMA|清华大学 张宇飞团队:基于改进傅里叶神经算子的翼型流场快速预测模型
传统计算流体力学在工程场景计算成本高,深度学习方法预测精度与泛化性不佳。本研究基于傅里叶神经算子构建流场预测模型,经改进能精确预测超临界翼型流场与气动力系数,误差低且泛化能力优。
时隔九年,中国超级计算机重登世界榜首
当地时间6月23日,第67届TOP500超级计算机排行榜发布,国家超级计算深圳中心的‘灵晟’(LineShine)夺冠,运算速度达2.198 ExaFLOP/S。它仅用CPU,性能超美国El Capitan超20%,引发对未来计算架构思考。
算力成本大降!马尔可夫思考机来了,LLM推理成本直接降为线性
用强化学习让LLM具备推理能力耗费颇高,计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机,重构强化学习形式,让计算量呈线性,实验效果显著,还能与先进模型兼容。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
语言反思>强化学习:伯克利新架构碾压传统RL
大型语言模型下游任务优化依赖强化学习,但计算成本高。伯克利等机构论文提出GEPA新型优化器,将LLM执行轨迹转化为诊断信号,用语言反馈替代标量奖励,仅用传统方法1/35计算量,性能最高提升19%。
JCP | 浙江大学边鑫等:基于 PINNs 的非结构自适应网格细化:面向稳态流动的残差驱动 AMR 新方法
本文提出利用控制方程残差引导网格细化的启发式策略,用物理信息神经网络(PINNs)整合粗网格数据与控制方程。通过解决流动问题并与传统方法对比,显示该策略能平衡计算精度与成本,但有额外计算开销。
为大模型思考装上“猎鹰重装引擎” :腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级,应对复杂推理任务。该框架通过多轮并行推理和语义熵导航,解决大模型深度思考的局限,且适配多种大模型,性价比高。
沈亦晨的九年:从MIT一间实验室到港交所大堂
2026年4月28日,曦智科技在港交所敲钟,股价表现亮眼。创始人沈亦晨从MIT实验室起步,带领公司历经九年发展,在光计算和光互连领域取得诸多成果,虽亏损但受市场热捧,光计算产业也吸引大厂入局。