「密态计算」共找到 678 篇相关文章
OpenAI 终于意识到,单靠微软,实现不了AGI
11月3日,OpenAI与亚马逊云科技达成约380亿美元合作。此前其与微软关系生变,新协议降低微软持股、取消优先购买权。OpenAI预计需1.4万亿美元构建计算设施,重组后或2026年上市。
别再只关注KV Cache了! LLM稀疏性新洞察:为何模型越深越稀疏?UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收,它提出高效推理框架,从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略,设计的UNCOMP框架优化KV Cache,实验效果佳。
HAMi × NVIDIA:GPU 拓扑感知调度实现详解
HAMi社区在v2.7.0版本推出针对NVIDIA GPU的拓扑感知调度功能,解决多卡通信瓶颈。文章深入剖析其设计与实现原理,介绍核心特性、阶段及代码,用双策略寻优算法保障性能与资源健康。
比Transformer更强的架构来了?浙大新作Translution,一统卷积和自注意力
随着大模型发展遇瓶颈,浙大等校学者提出神经网络基础操作Translution,实现自注意力与卷积的融合统一,构建更普适神经计算机制。它性能超Self - attention,为新一代神经网络发展开辟新方向。
119 页硬核报告丨AI 2030:算力、能源与科研的未来预测
Epoch AI 受 Google DeepMind 委托编写报告,探讨 AI 规模扩张至 2030 年在计算、投资等方面的影响,认为扩张很可能持续,还会加速多领域科学研发,虽预测有不确定性,但 AI 会成关键技术。
腾讯混元最新开源成“最强翻译”:国际机器翻译比赛获30个语种第一
腾讯混元团队的Hunyuan-MT-7B以7B总参数量获国际翻译比赛冠军,还开源了该模型及翻译集成模型Hunyuan-MT-Chimera-7B。其Shy框架有三大创新,在多方面表现优异,还为垂直领域优化提供模板。
大模型“记性差一点”反而更聪明!金鱼损失随机剔除token,让AI不再死记硬背
马里兰大学等团队提出金鱼损失法,训练时随机剔除部分token,让模型不逐字记内容,仍学语言规律。实验显示,LLaMA - 2用该方法后记忆内容减少,下游任务性能影响小。
2025 年中丨大模型市场分析报告
这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来,企业重心转向推理。Anthropic超OpenAI成市场头号玩家,开源模型采用趋缓,企业换模型重性能,AI支出从训练转向推理。
Python语言从2.7到3.14的能力变化与演进逻辑
文章从编程风格、类库生态、性能优化等多维度,阐述Python从2.7到3.14版本的能力变化与演进逻辑。如编程风格现现代化转型,类库生态战略性调整,性能优化有突破性进展等,还分析了演进背后的推动力及未来趋势。
更多thinking≠更好结果,精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦,论文发现其在简单题目上过度推理。作者提出‘无效思考’概念,还给出解决原则,用LC - R1方法训练,效果显著,揭示精准思考才是王道。