「在线策略蒸馏」共找到 1122 篇相关文章
Kimi团队深夜潜入Reddit开了场AMA，他们都聊了些什么？（据说代号4494就是杨植麟本人）
今日凌晨，Kimi团队在Reddit社区开展AMA交流，解答大家疑问。期间回应Claude蒸馏争议，探讨编程写作侧重、小参数模型需求、缩放定律等问题。K2.5表现出色，K3值得期待。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
字节Seed发布PXDesign：蛋白设计效率提升十倍，进入实用新阶段
字节跳动Seed团队提出可扩展蛋白设计方法PXDesign，24小时生成数百高质量候选蛋白，效率较主流方法提升约10倍，湿实验成功率达20%–73%。还推出公开免费在线服务，提供配套工具加速应用落地。
Cloudflare 发布 Dynamic Workers 公开测试版：基于 Isolates 的沙箱环境执行 AI 智能体代码
Cloudflare 推出 Dynamic Worker 公开测试版，面向付费用户。它用 V8 Isolates 运行代码，启动快、内存效率高，基于 Code Mode 理念，用 TypeScript 接口定义 API，有多种防护策略，还发布配套库，已用于生产。
开发边界消失是必然，但 AI 没有替代开发者！对话 Google 全球开发者生态总监 David McLaughlin
文章是对 Google 全球开发者生态总监 David McLaughlin 的访谈。谈到 AI 会让开发边界消失，开发者应转变思维，AI 增强而非替代开发者，还探讨了谷歌工具策略、开发者出海问题、Token 管理等。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
告别AI「鬼画符」！一行指令「复活」王羲之、苏轼，带连笔、懂排版，项目已开源丨ICLR'26
UniCalli由香港科技大学（广州）等团队推出，是全新统一扩散框架，能精准生成书法排版和连笔，将书法生成和古籍识别统一，工作被ICLR2026接收，代码、数据集开源，还有在线Demo。
CapRL：用强化学习突破Image Captioning训练瓶颈，3B模型性能媲美72B
上海人工智能实验室联合团队发布 CapRL，首个将 DeepSeek - R1 强化学习策略用于 Image Captioning。CapRL - 3B 模型在图像描述任务媲美 Qwen2.5 - VL - 72B，已开源，团队持续迭代优化。
GPT-5“变笨”实锤，退休教授出了道井字棋送分题，结果它真送了
退休经济学教授用井字棋简单问题测试GPT - 5，其表现拉胯，与“博士级AI”宣传不符。后续操作离谱，或因OpenAI策略调整。此外，OpenAI在测ChatGPT新功能，奥特曼开始炒GPT - 6。