「GPU显存」共找到 468 篇相关文章
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
Switch 2芯片细节曝光！英伟达专门定制支持DLSS，网友：掌机模式相当于PS4
数毛社消息，Switch 2采用英伟达真·定制版芯片，含8核CPU和12GB LPDDR5X内存，GPU基于Ampere架构，支持DLSS和光线追踪。不过配置也引吐槽，如掌机性能降、续航或不长等。
AMD终于有机会撬动CUDA了吗？
过去AMD GPU虽性能强但难敌英伟达CUDA生态。2024年有机构认为其缩小软件差距概率为0，但如今判断改变，AMD软件团队进步，客户回归，可它仍需解决软件集群稳定性和Helios量产问题。
50FPS、成本打掉70%，魔芯MoWorld把世界模型带进产业时代
近期，魔芯科技联合浙江大学潘云鹤院士、华为等发布实时交互世界模型MoWorld，推理速度超50FPS，部署成本仅为同规模GPU方案的30%。它全链路优化，将用于多行业，魔芯也完成亿元美金融资。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练
传统强化学习框架在模型和集群规模达上千块GPU时，存在扩展性瓶颈和效率低下问题。上海创智学院团队推出siiRL，采用全分布式架构和多控制器范式，解决传统框架痛点，在多方面验证了其高性能。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
因果发现大模型迎来「理论破局」： DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。
韩松等提出FlashMoBA，比MoBA快7.4倍，序列扩到512K也不会溢出
今年2月月之暗面提出MoBA，在处理长上下文有潜力，但业界缺乏对其性能设计原则的理解和高效GPU实现。来自MIT、NVIDIA的研究者提出FlashMoBA，解决了小块MoBA性能挑战，实验显示其在多方面表现优。