「向量量化」共找到 282 篇相关文章
多家芯片公司业绩飙涨，这个赛道彻底火了？
近期多家A股芯片公司Q3财报亮眼，受益于端侧AI推进。端侧AI优势多，吸引科技巨头布局，但落地有挑战。技术进步使大模型轻量化，手机与AI眼镜较热。其发展面临应用、技术、生态等问题，也有隐私保护方案。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
阿里千问大模型换将，32岁林俊旸官宣告别
阿里巴巴高级算法专家、通义千问大模型负责人林俊旸宣布告别千问团队，此前一晚千问团队刚推出Qwen3.5轻量化模型且获马斯克点赞。此外，Qwen3.5核心贡献者Kaixin Li和通义实验室科学家Binyuan Hui也发文告别，几人去向未明。
1.93bit版DeepSeek-R1编程超过Claude 4 Sonnet，不用GPU也能运行
1.93bit量化后的DeepSeek - R1（0528）编程能力超Claude 4 Sonnet，在aider榜单获60分。Unsloth工作室制作9个量化版本，小版本不用GPU也能跑。R1 - 0528在游戏评测中表现也佳。
解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。
OceanBase全面拥抱AI！首发PowerRAG产品，CTO杨传辉详解AI战略
OceanBase在第三届开发者大会发布面向AI的应用产品PowerRAG，CTO杨传辉解释其AI战略，即构建Data×AI能力，推动一体化数据库向一体化数据底座演进，这对行业发展有推动作用。
卡帕西没做完的，开源社区48小时搞定了！完全体知识库，token省70倍
Karpathy分享的个人知识库爆火，48小时后开源社区推出Graphify工具。它零配置、全模态、本地跑，能自动构建知识图谱，省71.5倍token，还全平台适配，降低了上手门槛。
盘一下Anthropic 244页Claude Mythos报告中隐藏的SAE技术
Anthropic公布强大危险的大模型Claude Mythos Preview但未发布。文章深挖其244页报告中SAE技术细节，包括前期探索、技术框架、训练监控、攻击性行为分析及掩盖行为等，助了解模型内部思维。
从「知题」到「知人」：UserRL让智能体学会「以人为本」
大语言模型距成真正用户伙伴缺‘知人’能力。来自UIUC与Salesforce团队提出UserBench和UserRL方案。前者将‘用户特性’制度化，构建评测环境；后者搭建统一强化学习框架，探索奖励建模，二者让‘以用户为中心’落地。