「显存墙」共找到 106 篇相关文章
当英伟达收购Groq引发行业震动，中国存算一体赛道正在发生什么？｜甲子光年
2025年底英伟达200亿美元收购Groq，让存算一体成产业刚需。传统GPU受存储墙限制，算力利用率低。Groq采用SRAM成本高，而亿铸科技以消费级显卡价格提供H卡性能，兼容CUDA，或成产业真需求。
Unsloth宣布更新，可免费用强化学习训练视觉大模型Qwen2.5-VL-7B
Unsloth宣布更新，支持视觉/多模态模型强化学习训练，含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法，能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。
618想换电脑跑AI？先听我一句劝。
文章围绕618换电脑跑AI展开，分析了本地跑AI的情况，包括不同模型对算力和显存的要求，指出本地跑的好处是隐私安全、无限免费，还推荐了不同预算的笔记本，为想换电脑学AI的人提供参考。
断网可用！首款全双工全模态大模型技术报告发布，附一键安装包
面壁智能等联合发布MiniCPM-o 4.5技术报告，它是业界首个端到端全双工全模态大模型，采用Omni - Flow架构。同步推出在线Demo、API、端侧安装包等，低显存GPU即可运行，性能表现优秀，应用潜力大。
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。
我拿到了豆包 AI 手机，但它已被围剿
作者拿到豆包AI手机时，它已被部分产品禁止使用。此为面向行业和技术爱好者的技术预览版，内置AI Agent可像人一样操作手机，还介绍了功能、架构等，但推广因App墙受限。
SD又回来了！一秒出图，手机就能玩：SD3.5-Flash让专业AI绘画进入“闪电”时代
Stability AI联合萨里大学SketchX实验室推出SD3.5-Flash模型，能在普通电脑甚至手机上快速生成专业级高分辨率图片。它将推理步骤压缩、显存要求降低、出图时间大幅缩短，画质也没明显缩水，还在性能上反超SD3.5M。
突破Agent长程推理效率瓶颈！MIT&新加坡国立联合推出强化学习新训练方法
AI Agent处理复杂任务时显存、算力问题凸显，MIT和新加坡国立大学联合提出MEM1框架。它基于强化学习，让智能体学会管理记忆，实现近似常量级显存开销，在多方面表现超越大模型。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。