推荐文章8

模型压缩量化：让大模型落地边缘设备

机器学习AI算法工程2025-07-03

AI 摘要

大模型计算和存储需求高，限制实际应用。模型压缩与量化技术可降低其复杂度和存储需求，如剪枝、蒸馏、量化等，能用于移动、嵌入式等设备，未来发展前景好。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

阿里Qwen3.8-Flash发布，性价比惊人！

8月大模型厂商多上调API价格或收缩免费额度，因推理需求增长跑赢算力供给。阿里发布Qwen3.8-Flash并开源，成绩亮眼且价格低。它是Qwen4架构预演，有四大技术创新，提升了模型效率。

8月25日，OpenAI公布自研推理芯片Jalapeño性能测试结果，首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟，性能超英伟达芯片，B0版已进入制造阶段。

当下大模型能力多靠人为框架，能力上限受限。文章提出“启发学习”，将其集成到推理侧成Isaac框架，通过Prompt与网络层注入复用旧经验，实验显示能大幅提升大模型任务性能。

当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。