「策略蒸馏」共找到 1006 篇相关文章
智源新出OmniGen2开源神器，一键解锁AI绘图「哆啦 A 梦」任意门
2024年9月智源研究院发布统一图像生成模型OmniGen，获社区好评。近期OmniGen升级为OmniGen2，增强多方面能力且全面开源。它采用新架构与策略，有反思机制，玩法丰富，还推出新基准优化部署。
开源｜Python 应用往微服务迈进的 1*3 种 Pythonic 步伐
在微服务架构主流的当下，Java凭成熟生态占主导，Python开发者面临尴尬。为此开源了`nacos-serving-python`项目，介绍全新Python微服务解决方案，涵盖服务发现策略、三种自动注册方式等内容。
北大、蚂蚁三个维度解构高效隐私保护机器学习：前沿进展+发展方向
北大李萌课题组与蚂蚁集团研究者共同完成综述，从协议、模型和系统三个维度梳理隐私保护机器学习（PPML）领域，指出当前痛点，给出优化策略，还提出跨层级协同优化方向。
充分激发模态协作，MokA量身打造MLLM微调新范式
当下多模态大模型微调多「照搬」单模态微调策略，忽视模态差异。中国人民大学和上海人工智能实验室团队提出 MokA 方法，兼顾单模态与跨模态建模，在多基座、多场景实验中显著提升性能。
Claude杀入Office全家桶，全球4.5亿打工人一夜变天！OpenAI惨烈出局
微软推出办公神器Copilot Cowork，全面接管Office。它内置Claude模型，能执行任务、运行工作流，可处理日程、会议准备等场景。微软采用多模型策略，抛弃OpenAI，Copilot Cowork适合企业，价格较高。
Kimi团队深夜潜入Reddit开了场AMA，他们都聊了些什么？（据说代号4494就是杨植麟本人）
今日凌晨，Kimi团队在Reddit社区开展AMA交流，解答大家疑问。期间回应Claude蒸馏争议，探讨编程写作侧重、小参数模型需求、缩放定律等问题。K2.5表现出色，K3值得期待。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
Cloudflare 发布 Dynamic Workers 公开测试版：基于 Isolates 的沙箱环境执行 AI 智能体代码
Cloudflare 推出 Dynamic Worker 公开测试版，面向付费用户。它用 V8 Isolates 运行代码，启动快、内存效率高，基于 Code Mode 理念，用 TypeScript 接口定义 API，有多种防护策略，还发布配套库，已用于生产。
开发边界消失是必然，但 AI 没有替代开发者！对话 Google 全球开发者生态总监 David McLaughlin
文章是对 Google 全球开发者生态总监 David McLaughlin 的访谈。谈到 AI 会让开发边界消失，开发者应转变思维，AI 增强而非替代开发者，还探讨了谷歌工具策略、开发者出海问题、Token 管理等。