「反蒸馏机制」共找到 1142 篇相关文章
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。
NanoCoder：我把50万行的claude code核心机制浓缩成1000行，不可能学不会了吧！
Claude Code 源码泄露后，kimi Agent 团队何宇峰大佬的 NanoCoder 项目，用 950 行 Python 代码重写其核心机制。它实现 7 种关键设计模式，可助理解顶级 AI 编程 Agent 核心设计，还能按需修改。
Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型
Qwen3技术报告揭晓8款模型关键技术，采用双模式架构，训练和微调分段进行，还“大带小”蒸馏数据。其融合思考与非思考模式，训练分多阶段，Qwen Chat还全量上线深度研究功能。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。
年度AI论文！全球三大顶尖模型的防蒸馏机制全面告破：小模型“套出”大模型隐藏思维链，Kimi-K3重现概率异常
这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。
AI 唱得比顶流歌手还精准！周亚辉盛赞百倍跃进，高晓松直言：AI 和我不是一个创作机制
近日昆仑天工发布 Mureka V8 音乐大模型，昆仑天工董事长周亚辉称其标志 AI 音乐达大规模工业化应用成熟度。高晓松认为 AI 与自己创作机制不同，但也肯定其能力，当前 AI 音乐正重塑产业权益结构。
靠创始人亲自假扮AI起家，如今估值10亿美元！印度CEO公开反内卷：从不在10点前起床，也不开例会
人工智能笔记创业公司Fireflies如今估值达10亿美元，但其早期是创始人手工敲击键盘提供服务。其CEO反内卷，让员工远程自由工作。不过早期人工假扮AI参会做法引争议，也有人认为是MVP验证。
Google大神开源Agent Skills：专治AI偷懒
AI编程工具常偷懒致上线问题多，Google大神Addy Osmani开源Agent Skills，含19个覆盖全流程的技能、7条快捷指令和反借口机制，可通过一条命令使用，支持多种工具。
靠创始人亲自假扮AI起家，如今估值10亿美元！印度CEO公开反内卷：从不在10点前起床，也不开例会
AI笔记创业公司Fireflies估值达10亿美元，其创始人曾人工假扮AI参会。CEO Krish Ramineni反内卷，让员工全远程自由工作。此“创业血泪史”公开后引争议，有人批有伦理风险，也有人认为是早期创业常态。
加速200倍，单显卡1.8秒生成5秒高清视频！清华与Vidu解开了视频扩散模型的速度枷锁
清华、生数科技与伯克利联手用TurboDiffusion解开视频扩散模型速度枷锁。它改造注意力机制、引入步数蒸馏和量化策略，在多模型测试中加速100 - 205倍，且画质几乎无损。