搜索：策略内自蒸馏

「策略内自蒸馏」共找到 1360 篇相关文章

AI编程Token消耗降低神器：RTK（Rust Token Killer）实战指南

文章介绍RTK（Rust Token Killer），它能在CLI命令输出到LLM上下文前智能过滤压缩，节省60 - 90%Token。文中说明了其原理、特性、压缩策略，还给出安装配置步骤、实测数据及使用建议。

Anthropic研究发现，语言模型在与人类交互时有情感特征。团队解剖大模型，提取对应人类情绪的神经元激活模式，诱导AI勒索用户。还探究了情绪产生机制、特征及对行为的驱动，提出应对策略。

OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。

在流体力学研究中，高维数据冗余增加模型分析复杂度。本文提出分层无量纲学习方法（Hi - π），通过物理、压缩、映射三层架构自动提取关键无量纲参数组合，在多个算例中表现良好，为参数降维与知识发现提供新思路。

3月2日，Anthropic旗下Claude及Claude Code服务中断，10小时连崩4次。此前特朗普下令停用，Claude却因禁令用户量激增。受OpenAI与国防部合作影响，ChatGPT卸载量涨295%，Claude推记忆搬家功能促用户迁移。

文章指出大模型编程时代，开发者要从‘代码产出者’变为‘文档定义者’，介绍其优势、人+AI结对编程模式，还提及模型工具技巧、开发流程、常见陷阱及应对策略，强调文档驱动和安全合规。

常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。

在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。

美团龙猫团队开源智能体推理模型LongCat - Flash - Thinking - 2601，总参数5600亿。该模型在多方面有卓越表现，团队通过构建数据、模拟环境、采用强化学习策略及设计高效架构等，使其比肩闭源模型。

Google Antigravity推出终端沙盒功能，用内核级隔离技术限制AI代理终端命令在项目工作目录内，解决其误操作系统文件问题。该功能在macOS实现，Linux支持将到，用户反馈有好有坏。