「模型优化器」共找到 8278 篇相关文章
深夜开源首个万亿模型K2，压力给到OpenAI，Kimi时刻要来了？
昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片
近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。