「策略内自蒸馏」共找到 1357 篇相关文章
揭秘！RLVR/GRPO中那些长期被忽略的关键缺陷
近年来大模型任务突破离不开RLVR关键技术，许多RLVR方法会进行组内优势估计，北航等最新工作揭示其存在系统性偏差，困难题优势被低估，简单题被高估。这会影响训练，论文提出校正算法。
从0到1：天猫AI测试用例生成的实践与突破
本文阐述天猫技术团队在AI赋能测试领域的实践，讲述智能测试用例生成落地路径。介绍业界现状与天猫业务特性，给出实施策略，展示应用效果，还指出问题并对未来发展做了展望。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
Karpathy：我不是要造新词，是「上下文工程」对 Agent 来说太重要了
Andrej Karpathy 认同Shopify CEO关于「上下文工程」的观点。它指为大语言模型提供恰当信息和工具，比提示词工程更重要。文章介绍其概念、与提示词工程区别，及写入、筛选等落地策略。
冲159K星 OpenClaw工具链，正在悄悄改变Agent玩法
Clawdbot更名openclaw后在github星冲到159K。它能让AI深入工作流且保数据隐私，有集成渠道多、工具齐全、有状态会话与持久记忆、路由策略适配不同模型等核心能力，并在多方面优于常见AI工具。
阿里搞了个全能解析器，文档、图片、音频、视频一锅端
阿里巴巴开源 Logics-Parsing-Omni，用一个模型统一处理文档、图片、音频、视频四种模态，输出结构化 JSON 数据。它采用三级渐进解析框架，两阶段训练策略，在自建基准上多项指标超越 Gemini - 3 - Pro。
HumanSense：探索多模态推理边界，打造「察言观色会共情」的全模态交互伙伴
蚂蚁集团与西安交通大学联合提出并开源 HumanSense，含评估基准与推理模型。通过细粒度评测、全模态消融等研究，提出优化策略，项目已在 GitHub 和 HuggingFace 开源，推动 AI 交互体验革新。
一码难求的 Dia 浏览器，有了新进展
Dia 浏览器处于 Alpha 内测，需邀请码体验。测试反馈超预期，将打磨细节后发布。其优势是使用 AI 时能方便代入上下文信息，Chat 交互将成主流，Arc 部分功能会融合进 Dia。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。