「显存墙」共找到 107 篇相关文章

算法论文7

Transformer与RNN合体,谷歌打下显存门槛,解锁超长上下文

谷歌论文提出 Memory Caching 技术,通过架构机制创新赋予 RNN「可生长的记忆容量」,兼顾 Transformer 与 RNN 优势,能处理更长文本、降低推理资源门槛,实验显示有良好效果。

机器之心
新闻资讯8

Scaling没有墙!Anthropic CEO:AI实验室真相远超公众想象

Anthropic CEO Dario Amodei在摩根士丹利会议称Scaling Law未撞墙,2026年将激进加速。他用棋盘稻米寓言比喻,称当前处第40格,前39格增长只是前奏。还透露代码生成是AI能力爆发指标,Anthropic或在RSI取得进展,且重视人才文化。

新智元
开源动态8

如何在24GB显存里,塞下一个万亿参数的巨兽?KTransformers入选顶会SOSP

清华大学与趋境科技联合研发的KTransformers系统,可让消费级显卡跑万亿级参数模型,其论文入选SOSP 2025。该系统解决MoE模型本地部署难题,技术创新多,还与SGLang合作,提升硬件利用率。

AIGC开放社区
开源动态8

最低仅需2G显存,谷歌开源端侧模型刷新竞技场纪录,原生支持图像视频

今天凌晨,谷歌官宣Gemma 3n,原生支持多模态。它在大模型竞技场超1300分,是首个超此分数的10B以下模型。其VRAM占用低,最低2GB,已在谷歌AI Studio等可用,还公开了技术细节。

量子位
新闻资讯7

当 70% 的人将拥有智能体,谁来给 AI 建底座?澜舟科技周明:大模型落地的最后一道墙是“可信 AI”

4月16日澜舟科技春季沟通会,创始人周明分享智能体到数字员工演进等内容。指出AI进入落地新阶段,提出可信AI和智能体工程,展示相关技术体系、产品矩阵及行业方案,回答企业级AI现实问题。

AI科技大本营
开源动态8

英伟达MoE新开源:一行import,微调加速3.7倍

英伟达开源NeMo AutoModel,基于Hugging Face Transformers v5,不改代码API,添一行import就能更快速微调MoE模型。实验显示,它能提升3.4 - 3.7倍训练吞吐,减少29% - 32% GPU显存占用。

量子位
开源动态7

刚刚,OpenAI开源了两个大模型~

OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B,用于安全用例。有安全推理训练、自带策略等亮点,适配不同显存,采用宽松许可证。

PaperAgent
新闻资讯7

老黄新鲜一刀,RTX 5050正式官宣

英伟达官宣RTX 5050桌面/笔记本GPU,7月上市,国内2099元起。它搭配DLSS 4技术,性能提升显著,但显存“新旧混搭”。网友大多不太买账,认为能耗高、性价比低。

量子位
开源动态8

源神阿里!图像生成Ovis-Image再开源,7B小参数媲美GPT-4o和20B开源模型

阿里Ovis团队发布Ovis - Image,7B参数文本到图像模型,在文本渲染任务媲美GPT - 4o和20B + 开源模型。它架构优化、数据工程精细、训练范式独特,实测数据表现佳,显存占用低、推理快。

AIGC开放社区
新闻资讯8

100根内存条换一套房!AI疯狂吞噬全球内存,普通人电脑快买不起了

2025年下半年起,AI撞上「内存墙」,2026年或成「内存受限」之年。巨头扫货致内存产能被吸,消费级市场供给枯竭,价格飞涨。内存成AI瓶颈,科技界正从硬件和架构上革命破局。

新智元