开源动态8

微软推BitDistill，华人团队实现无损量化

量子位2025-10-20

AI 摘要

微软推出BitDistill蒸馏框架，实现1.58bit量化近乎无损。它分三阶段优化，实验显示在多任务表现近全精度模型，降内存、提速度，且兼容不同模型架构和量化策略，作者全是华人。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

三万字讲透大语言模型入门

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

本文报道微软推出针对AI应用内部高频固定判断任务的快速决策模型Microsoft-Decision-1，介绍了其功能定位、测试表现与适用场景，说明它可配合通用大模型降本提速。

香港科技大学（广州）与微软亚洲研究院联合开源基于大语言模型的AI情商教练SocialCoach，支持用户在低风险模拟环境练习社交对话，练后提供逐字点评，可在线体验或本地部署，采用Apache 2.0协议可完全商用。