「计算量降低」共找到 2034 篇相关文章
无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码
港中文(深圳)和上海交通大学团队提出 StreamBP 算法,通过线性分解和分步计算,将大语言模型训练激活值内存降至梯度检查点的 20%,在相同内存下最大序列长度为其 2.8 - 5.5 倍,代码已开源。
阿里开启 Token 战略,喊出云+AI 年收入破千亿口号,底气从哪来?
3月19日晚,阿里在财报电话会提出未来五年云与AI商业化年收入破1000亿美元目标。过去三月,阿里云Token消耗涨6倍,自研芯片交付47万片,还提价。其正从‘用户红利’转向‘Token经济’,有望‘量价齐升’。
阿里+清华发现80/20法则:LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现,训练大语言模型(LLM)推理时,真正关键的是20%的高熵token,其余80%低熵token几乎无用。仅用20%高熵token做强化学习,效果超全量训练,还提出RLVR训练策略提升效率。
Anthropic 技术栈里的「五宗罪」由何而来?
Anthropic的Claude模型升级后,用户却觉得不好用。X上帖子指出其存在文本和代码标记、模型能力、定价、长上下文等问题,这些问题卡在生成、计算、上下文和Agent运行时的5个具体位置,导致各方面互相拖后腿。
刚刚,AI音乐被重新定义!昆仑天工甩出新王炸,拿下全球第一
如今AI神曲传播快,AI音乐或帮助作品出圈。1月28日昆仑天工发布音乐大模型Mureka V8,新模型降低创作门槛,提出AI音乐成新音乐品类概念。实测其作品出色,技术上靠MusiCoT和人声建模加持。
黄仁勋台上最强GPU炸场,台下感叹“中国芯片爆发”,瞄准6G投资诺基亚
英伟达发布会上,黄仁勋官宣新GPU Vera Rubin,还谈及中国芯片爆发,夸中国模型成果显著。此外,英伟达公布量子计算、6G通信等领域布局,与诺基亚合作入局6G并投资,不过各领域均面临竞争。
Anthropic 最新论文:阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”,因模型只学行为未理解原因。提出MSM方法,在训练中加一步,让模型理解规则背后价值观,使叛变率大幅降低。
14B规模竟也能单卡实时生成视频?多亏这个强大的开源底座
春节期间 Seedance 2.0 爆火,字节跳动等开源视频模型 Helios 家族,参数量 14B,单卡生成速度达 19.5 FPS。它与 UniWorld-OSP2.0 技术栈同源,后者是超百亿级视频生成大模型,有诸多技术突破。
用2D先验自动生成3D标注,自动驾驶、具身智能有福了丨IDEA团队开源
IDEA团队张磊团队提出OVSeg3R开集3D实例分割学习新范式。它无需人工后处理和3D掩码标注,降低训练成本,有望让3D实例分割商业落地,可用于自动驾驶、智能家居等领域。
西湖大学打造了一个AI科学家,突破人类SOTA,还能自己发论文
西湖大学文本智能实验室推出能自主探索的AI科学家DeepScientist,两周完成人类三年科研量。它在三个前沿AI任务刷新SOTA纪录,还能写论文。文中介绍其科研历史、工作方式、成果及面临的伦理问题。