「4-bit量化」共找到 1660 篇相关文章
AI能帮忙厨房看火了！面壁智能开源全模态模型MiniCPM-o4.5，边看边听还能主动抢答
面壁智能开源全模态模型MiniCPM-o4.5，能边看边听还主动抢答。它引入全双工多模态实时流机制，在多方向达全模态模型领先水平。该模型是端侧原生，将与开发板配套，助力端侧智能硬件开发。
发春节红包的大厂被约谈；百度O计划曝光，文心助手MAU增4倍；影石CEO回应年会送出5套房｜AI周报
本周AI行业热点不断，大厂春节红包促销被约谈，百度文心助手MAU猛增4倍，影石年会豪送5套房。还有模型更新引吐槽、谷歌发债、迪士尼侵权指控等事件，也有新模型发布及企业应用新进展。
字节暂停 Seedance2.0 全球发布，回应武汉全员被裁；曝梁文锋将携 DeepSeek V4 撞上姚顺雨；央视 315 曝光黑灰产“养号工厂” | AI周报
本期 AI 周报涵盖多领域动态。模型方面，DeepSeek-V4 将上线，姚顺雨将发布混元新模型；字节因版权纠纷暂停 Seedance 2.0 全球发布。企业动态有腾讯云模型调价、微信研发自有模型等，还有多起融资、收购事件。
同一天两件大事！小模型直接掀翻千亿参数，走向效率为王
5月13日AI圈有两件大事，何恺明团队发布语言模型ELF，面壁智能开源MiniCPM-V 4.6。二者显示AI正从‘堆算力’转向‘省算力’，拉开AI轻量化浪潮序幕，未来小模型或成关注方向。
本地Opus你要不要！Qwen3.8-27B开源
阿里Qwen团队开源Qwen3.8-27B，上线2天登顶Hugging Face全球大模型趋势榜，下载破百万。其性能超Opus4.6，与顶尖模型相当，量化后普通电脑就能跑，原生多模态，编程、Agent、多模态跑分表现出色。
模型即智能体，Kimi K2 Thinking多项评估超越顶尖闭源模型，300轮工具调用不疲倦
月之暗面发布Kimi K2 Thinking，它是Kimi迄今最强开源思考模型，基于模型即智能体理念训练，可自主连续工具调用与多轮思考，多项评估超顶尖闭源模型，还实现原生INT4量化，提升生成速度。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
4.4w颗星！又一个CC Switch，几乎支持所有模型
Free CC（FCC）是本地 API 代理 + 协议转换层，能让客户端透明使用任意 OpenAI 兼容或专用上游模型，保留客户端能力。支持多提供商，架构分层、设计清晰，还有多种技术特性，文中给出安装、启动等步骤。
Helidon 引入 Agent 能力，Java 框架开始内建 AI 编排
Oracle 发布 Helidon 4.4.0 版本，对齐 OpenJDK 发布节奏，纳入 Java Verified Portfolio。引入新核心能力、Helidon JSON 库，还增强与 LangChain4j 集成，支持智能体编排。