动态计算削减」共找到 1037 篇相关文章

算法论文8

AI终于学会「读懂人心」,带飞DeepSeek R1,OpenAI o3等模型

威斯康星大学麦迪逊分校联合清华的研究《MetaMind: Modeling Human Social Thoughts with Metacognitive Multi-Agent Systems》,将元认知理论融入LLM架构,使模型在心智理论测试达人类平均水平,揭示构建社交智能AI方法论。

AINLPer
产品应用8

32倍加速,58秒搞定720p视频!字节发布离散自回归框架,统一视觉生成和长视频生成

字节发布InfinityStar框架,将5秒720p视频生成时间从30多分钟缩至58秒,还支持多样任务。它基于对视频本质思考设计时空金字塔模型,将时空分离,通过多项技术优化,性能表现出色,不过也存在一些技术局限。

AIGC开放社区
新闻资讯8

OpenAI 终于意识到,单靠微软,实现不了AGI

11月3日,OpenAI与亚马逊云科技达成约380亿美元合作。此前其与微软关系生变,新协议降低微软持股、取消优先购买权。OpenAI预计需1.4万亿美元构建计算设施,重组后或2026年上市。

InfoQ
算法论文8

别再只关注KV Cache了! LLM稀疏性新洞察:为何模型越深越稀疏?UNCOMP从矩阵熵给出答案

团队论文UNCOMP获EMNLP 2025主会接收,它提出高效推理框架,从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略,设计的UNCOMP框架优化KV Cache,实验效果佳。

深度学习自然语言处理
算法论文8

比Transformer更强的架构来了?浙大新作Translution,一统卷积和自注意力

随着大模型发展遇瓶颈,浙大等校学者提出神经网络基础操作Translution,实现自注意力与卷积的融合统一,构建更普适神经计算机制。它性能超Self - attention,为新一代神经网络发展开辟新方向。

新智元
推荐文章7

AGI 路线图第二阶段:游戏即模型训练|AGIX PM Notes

文章围绕AGI展开,介绍AGI路线图第二阶段“游戏即训练”,指出游戏是训练agent的理想环境;还提及Dreamer系列研究进展。同时涵盖本周市场动态、多家公司AI动态及ETF复制指数的方法、优劣和影响。

海外独角兽
推荐文章7

119 页硬核报告丨AI 2030:算力、能源与科研的未来预测

Epoch AI 受 Google DeepMind 委托编写报告,探讨 AI 规模扩张至 2030 年在计算、投资等方面的影响,认为扩张很可能持续,还会加速多领域科学研发,虽预测有不确定性,但 AI 会成关键技术。

特工宇宙
推荐文章8

NVIDIA技术沙龙《强化学习流水线优化:性能分析与 Rollout加速》演讲笔记

该演讲笔记围绕强化学习流水线优化,强调用Nsight Systems做性能分析,介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧,如Actor训练和Rollout优化,还以Qwen 2.5 7B等模型为例总结参数调优经验。

GiantPandaLLM
开源动态8

腾讯混元最新开源成“最强翻译”:国际机器翻译比赛获30个语种第一

腾讯混元团队的Hunyuan-MT-7B以7B总参数量获国际翻译比赛冠军,还开源了该模型及翻译集成模型Hunyuan-MT-Chimera-7B。其Shy框架有三大创新,在多方面表现优异,还为垂直领域优化提供模板。

量子位
算法论文7

大模型“记性差一点”反而更聪明!金鱼损失随机剔除token,让AI不再死记硬背

马里兰大学等团队提出金鱼损失法,训练时随机剔除部分token,让模型不逐字记内容,仍学语言规律。实验显示,LLaMA - 2用该方法后记忆内容减少,下游任务性能影响小。

量子位