「内存优化」共找到 1438 篇相关文章
英伟达新“桌面超算”800GB大内存，满血DeepSeek R1能装1个半
英伟达在Computex大会宣布新办公室落户中国台湾省台北市，还推出多款新品。如面向个人的DGX Station有800GB内存，能跑大模型；面向企业的RTX PRO Server可加速多种用例。此外，还发布新平台、宣布合作等。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
劈柴哥和哈萨比斯亲自站台！谷歌世界模型Project Genie刷屏，幕后团队揭秘60秒不是极限，内存是巨大约束
谷歌发布世界模型原型 Project Genie，用一句话或图就能生成可玩交互的实时虚拟世界，由劈柴哥和哈萨比斯站台。它基于 Genie 3、Nano Banana Pro 和 Gemini 构建，解决了世界模型长期以来的短板，目前处于实验阶段。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
nndeploy：一款基于可视化工作流的AI部署工具
nndeploy是简单易用且高性能的AI部署框架，可将推理优化转化为可视化工作流，无需前端技术栈。它还提供端侧完整AI部署方案，有多端推理等功能，介绍了使用方法与技术原理。
叶子豪、陈天奇等人开源项目FlashInfer入选，MLSys2025最佳论文奖公布
近日，MLSys 2025公布最佳论文奖，FlashInfer等入选。FlashInfer由多机构合作发起，是灵活的LLM推理内核库，优化内存访问、有可定制模板和调度机制，性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。