「量化版本」共找到 608 篇相关文章
12ms！一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。
GPT-5.2全力出击！碾压44类专业工作，实测编程同价位无对手、深度推理封神，但速度太拉胯了
GPT - 5.2 登场，有 Instant、Thinking、Pro 三个版本，在多方面大幅升级，能覆盖 44 类专业工作。它经济性强、编程能力佳、推理出色，但存在速度慢的问题，其价格 API 端有调整，未来还将推 Codex 优化版。
LM Studio宣布支持在Mac上跑Qwen3-Next 80B模型
LM Studio宣布支持基于MLX框架在Mac上运行阿里Qwen3-Next 80B模型。该模型虽总参数量达800亿，但每次推理仅激活30亿。第三方评测显示其4bit量化运行效果好，不过实现GGUF格式支持尚需时间。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’？揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。
分享一个我用了2年的深度研究Prompt，半小时帮你搞懂任何陌生领域。
作者分享用了2年的深度研究Prompt，即横纵分析法。该方法结合社会科学和语言学经典视角与商业分析思路，有Prompt和Skill版本且已开源。虽有局限，但能半小时帮人建立认知框架，助其快速入门陌生领域。
OpenAI「辣椒芯」干翻英伟达！老黄股价不跌反涨
OpenAI自研芯片「小辣椒」跑分碾压英伟达最强blackwell，低延迟、高吞吐、低并发等全达SOTA级别。但英伟达股价未跌反涨，OpenAI也表态不会弃用英伟达。「小辣椒」预计2027年量产，OpenAI还将开发后续版本，不过其数据中心负责人离职，无人接手。
AI 基础知识从-1到0.1：带你走进机器学习的世界
文章沿着AI发展脉络，从Seq2Seq到GPT模型，深入介绍关键技术原理。以简明方式梳理AI基础概念，涵盖人工智能、机器学习等定义，还介绍了各类学习方法、特征工程及向量化等内容，最后提及模型应用流程和Quick BI助力企业分析。
Unsloth发布Qwen3-VL本地运行和微调指南，修复隐藏bug
Unsloth团队修复Qwen3-VL系列模型聊天模板语法问题，重新上传GGUF量化文件，使模型可本地稳定运行。介绍了不同规格模型硬件需求、表现，给出部署步骤、参数差异，还展示多模态能力测试，提供多种格式模型及微调工具。
深度拆解沐曦MXMACA软件栈功能，算力自主+生态兼容，破解国产GPU落地难题
近日，刚 IPO 的沐曦股份发布 MXMACA 软件栈 3.3.0.X 版本。该软件栈可实现多语言支持、算子自动优化与跨框架平滑适配，能让现有 CUDA 项目近乎‘开箱即用’迁移，还兼容主流 AI 框架，助力国产 GPU 解决落地难题。