「训练方法升级」共找到 4019 篇相关文章
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
The Batch：829 | DeepSeek 是怎么做到的
DeepSeek 去年末以低成本训练出先进开源大模型引关注，近日团队披露构建 DeepSeek - R1 和 DeepSeek - V3 的软硬件方案，降低内存和计算需求，其细节公布让更多团队有机会参与前沿研发。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
智谱GLM-OCR，0.9B开源即巅峰，复杂文档精准解析
智谱发布并开源GLM - OCR，以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题，具备视觉编码与语言解码协作架构，还可端侧与高并发部署，成本低，推动文档智能化处理升级。
我们对 Coding Agent 的评测，可能搞错了方向
用户对 Agent 不满常因它「做得不好」，不遵循指令和规范。当前主流评测体系以结果为导向，与真实场景错位。MiniMax 开源 OctoCodingBench 评测集，结果显示模型过程规范遵循不足，未来训练需引入过程监督。
CJA | 中国航天气动院冯亦葳、许亮等：符号回归启发的可压缩流场结构智能识别：基于局部对流特征分布的统一理论框架
目前流场结构识别方法有局限，传统经验法依赖阈值，深度学习法可解释性与泛化能力不足。本研究从流体控制方程出发，用符号回归建立统一流场结构分类框架，能准确识别复杂流动结构。
打破显存墙：谢赛宁团队提出CLM，单卡RTX 4090「撬动」1亿高斯点
3D Gaussian Splatting (3DGS) 是流行的新视角合成方法，但显存容量限制其应用于大型复杂场景。谢赛宁团队提出 CLM 系统，基于 3DGS 稀疏性和空间局部性，减少通信开销，可在单卡 RTX 4090 渲染大型场景。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
生图效果媲美GPT-4o，一键搞定各类视觉生成任务丨港科广&字节全新框架
港科大（广州）和字节联合推出开源框架ComfyMind，它是通用视觉生成框架，能统一处理主流视觉生成任务。其性能超现有开源方法，媲美GPT - 4o - Image，还介绍了架构、接口等及性能评估情况。
Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA
Qwen3深夜上新Embedding系列，专为文本表征等任务设计，在Qwen3基础模型上训练，有0.6B/4B/8B三种尺寸，8B版本在MTEB榜单排第一，性能超商业API，已在多平台开源。