「量化感知训练」共找到 2548 篇相关文章
DeepSeek的GRPO会导致模型崩溃？看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
信息熵之后，清华提出状态熵！量化分析「系统智能性」的全新视角
清华大学科研团队从自治系统的演化动力学出发，提出状态熵概念，分析其与系统聚合度关系，为系统智能性度量提供新视角。论文给出状态熵统一定义及演化解析表达式，还在典型系统上分析其演化规律。
直播预约 | LightMem：面向大模型的轻量化可插拔记忆系统
本报告聚焦大语言模型长期记忆构建与轻量化机制。现有外部记忆系统有记忆臃肿、组织低效、更新代价高问题。为此提出LightMem架构，能为大模型提供轻量、高效、可扩展记忆组件。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。
训练世界模型，开始从人类的肌肉和脑子里偷师了
具身智能数据竞争进入新阶段，第一视角视频虽缓解数据量问题，但未记录人行动的原因及大脑身体实时修正。FaceMind提出Ego - NeuroLoop数据范式，配套NeuroMatrix和NeuroBooster，将训练数据从“行为库”推向“闭环库”。
如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性
文章分析 MLPerf Storage v2.0 测试结果，探讨不同存储系统在 AI 训练中表现。在满足 GPU 利用率阈值下，能支撑更多 GPU 的存储系统扩展性与稳定性更强，还需关注资源利用率。以太网存储方案灵活且成本效益高。
蚂蚁VLDB最佳论文：用一张“逻辑表”驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据，解决数据准备难题，如在SFT任务中大幅缩短周期。
告别「利用率崩溃」：GIPO开启大模型强化学习高效训练新方法 | ICML 2026
树根科技与三一集团团队联合提出 GIPO 算法，在机器人操控及大语言/视觉动作模型强化学习训练中，缓解了策略滞后痛点，改善了 PPO 硬截断引发的‘利用率崩溃’问题。介绍了 GIPO 算法原理、优势及实验结果。