「显存瓶颈」共找到 665 篇相关文章
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
空间智能爆发只需24个月？群核科技首席科学家唐睿预言：具身智能才是AGI终极形态 | 万有引力
群核科技首席科学家唐睿在访谈中表示，空间智能是具身智能基础设施，可解决其数据不足痛点。破数据瓶颈靠普及感知硬件，2D、视频与3D生成走向融合，空间智能爆点24个月内或随硬件突破到来。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
最强开源机器人大脑！蚂蚁两万小时真机数据开启物理AI缩放定律
蚂蚁集团开源具身智能基座模型LingBot-VLA，用两万小时真机数据证明机器人学习有缩放定律且未达瓶颈。该模型优势显著，在多平台表现出色，团队还从数据、架构、工程等方面进行优化，并开源代码等加速行业探索。
vivo AI Lab提出自我进化的移动GUI智能体，UI-Genie无需人工标注实现性能持续提升
香港中文大学MMLab和vivo AI Lab团队提出自我进化框架UI - Genie，构建奖励模型UI - Genie - RM解决轨迹验证难题，通过数据生成和模型迭代闭环实现智能体与奖励模型双向增强，在多基准测试中表现出色，打破人工标注瓶颈。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
深度访谈：阿里云X平头哥，模型推理提升13倍背后的秘密
这篇深度访谈聚焦阿里云与平头哥，探讨模型推理提升13倍背后的秘密。随着AI焦点转向推理，行业面临算力、成本、监管等矛盾。嘉宾分析推理范式现状与变化，探讨推理加速技术及优化策略，还谈及瓶颈、未来发展及竞争方向。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。