搜索：自蒸馏策略优化

「自蒸馏策略优化」共找到 2064 篇相关文章

重磅！华为何庭波正式提出τ缩放定律，晶体管密度直指1.4纳米，麒麟2026首发验证

2026年，华为何庭波提出τ缩放定律，主张将时间常数τ作为半导体演进首要优化目标。该定律在手机端和AI数据中心验证有效，还涉及产业结构变化，但仍有工具链、工艺变异等问题待解。

当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。

4月4 - 9日，Anthropic动作不断，先封杀第三方Agent用Claude订阅额度，又发布Claude Mythos Preview、Claude Managed Agents和Advisor Tool。其Agent产品线分三层，还展现“不发布”策略，背后是控制生态的商业考量。

阿里巴巴开源 Logics-Parsing-Omni，用一个模型统一处理文档、图片、音频、视频四种模态，输出结构化 JSON 数据。它采用三级渐进解析框架，两阶段训练策略，在自建基准上多项指标超越 Gemini - 3 - Pro。

大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。

谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。

生成模型改变直播行业，但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2，通过智能调度和缓存机制优化，支持多GPU并行，可灵活调画质和延迟，实现实时直播。

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。

GitHub上项目Beads登上Trending榜单，它是为AI编程助手设计的分布式任务追踪系统，底层基于Dolt数据库，解决多AI协作痛点，有版本控制、AI优化等亮点，还提供多种安装方式。

文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。