「显存压缩」共找到 303 篇相关文章
Unsloth宣布更新，可免费用强化学习训练视觉大模型Qwen2.5-VL-7B
Unsloth宣布更新，支持视觉/多模态模型强化学习训练，含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法，能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。
PRF | 宾州州立、南科大杨翔、张雯等：粗糙壁湍流的低维建模新范式
传统粗糙壁湍流低维建模依赖经验参数，泛化与精度不足。该研究提出新思路，将粗糙面形貌压缩到低维流形，用自动编码器和前馈神经网络建模，重构效果好、预测准，有生成与泛化性。
深度解析 Claude Code 在 Prompt / Context / Harness 的设计与实践
本文深度解析Claude Code在Prompt、Context、Harness三方面的设计与实践。介绍了Prompt动态组装过程，探讨CLAUDE.md项目说明、上下文压缩体系和记忆系统，还阐述了系统级提醒、多Agent及安全体系等内容，文末分享了项目有趣彩蛋。
618想换电脑跑AI？先听我一句劝。
文章围绕618换电脑跑AI展开，分析了本地跑AI的情况，包括不同模型对算力和显存的要求，指出本地跑的好处是隐私安全、无限免费，还推荐了不同预算的笔记本，为想换电脑学AI的人提供参考。
断网可用！首款全双工全模态大模型技术报告发布，附一键安装包
面壁智能等联合发布MiniCPM-o 4.5技术报告，它是业界首个端到端全双工全模态大模型，采用Omni - Flow架构。同步推出在线Demo、API、端侧安装包等，低显存GPU即可运行，性能表现优秀，应用潜力大。
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。
让大模型上车：理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。
多智能体自主规划模式性能提升：五大精准策略详解
本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。
完成过亿融资，复旦博士要为不同端侧场景定制专属推理芯片丨对话淬思科技潘鸿洋
本文是对淬思科技创始人潘鸿洋的专访，潘鸿洋为复旦博士，淬思科技刚完成新一轮亿元融资，瞄准端侧AI推理成熟阶段的碎片化需求，主打定制专属推理芯片，采用AI原生设计流程压缩开发成本与周期，计划推进首颗商用芯片流片。
挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026
IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。