「显存压缩」共找到 303 篇相关文章
EAAI | 西工大夏明坤，张伟伟等：分层无量纲学习：一种物理和数据混合驱动的无量纲关联参数提取方法
在流体力学研究中，高维数据冗余增加模型分析复杂度。本文提出分层无量纲学习方法（Hi - π），通过物理、压缩、映射三层架构自动提取关键无量纲参数组合，在多个算例中表现良好，为参数降维与知识发现提供新思路。
跟不上、读不完？上万篇顶会论文，这个工具一键分析
加州大学圣迭戈分校等机构开发 Real Deep Research（RDR）系统，可自动完成领域综述与趋势追踪。它从顶会收集论文，压缩成摘要并聚类，还能生成综述、绘制趋势图谱。与已有方法不同，它结合自动化与专家知识。
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
半年内 4 家大厂合并前端建制，全栈只是过渡答案，程序员何去何从
文章围绕大厂前端建制合并展开，介绍半年内得物、美团等四家公司的相关动作，分析前端先被合并的原因，指出现有全栈定义已变，公司采购单位转变，还提及未被压缩的方面，给出关键结论。
用嘴聊出来了一个 APP：实测「码上飞」语音开发有多离谱
本文实测「码上飞」AI 开发平台，它让用户用对话或语音描述需求，AI 就能做出应用。测试了美甲预约、AI 生图、私域自媒体知识付费小程序三个场景，它表现出色，大幅压缩开发成本，助普通人跨过技术门槛。
V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间
近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
RAG技巧与底层代码剖析
文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。