「量化版本」共找到 608 篇相关文章
GLM-4.7-Flash无审查版发布：30B MoE模型，仅3B激活参数
GLM-4.7-Flash无审查版由HauhauCS发布，基于原版移除审查机制。采用30B - A3B混合专家架构，总参数量31B，每次前向传播仅激活约3B参数，推理快，支持200K上下文长度，有两种变体和四种量化版本。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
多家芯片公司业绩飙涨，这个赛道彻底火了？
近期多家A股芯片公司Q3财报亮眼，受益于端侧AI推进。端侧AI优势多，吸引科技巨头布局，但落地有挑战。技术进步使大模型轻量化，手机与AI眼镜较热。其发展面临应用、技术、生态等问题，也有隐私保护方案。
【博客转载】NVIDIA Docker CUDA Compatibility /Nsight Compute In Docker
本文围绕NVIDIA Docker CUDA兼容性及Nsight Compute展开。指出使用NVIDIA NGC CUDA Docker容器时，要保证宿主机CUDA驱动与容器内运行时库版本一致，否则会有问题。还介绍了在Docker中安装和使用Nsight Compute的方法及示例。
Medeo 教程：一次生成无脑抽卡不可取，真正的视频 Agent 应该啥样
本文介绍AI视频生成Agent Medeo 1.0版本，它支持短或超长提示词，泛化性好，多种垂类视频都能做。文中介绍其基础操作、展示案例和提示词，还剖析了能兼顾质量与灵活度的原因，目前产品在内测将全量上线。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
搜狗输入法，居然还在更新？？
在腾讯微信输入法上线、各类AI新产品轰炸的当下，搜狗输入法进行20.0 AI大版本升级。它有AI文本翻译、轻声识别等功能，用AI大模型全面重构，还接入腾讯混元、DeepSeek R1大模型，免费提供AI服务。
马斯克说漏嘴了！Claude Opus参数5T，Sonnet 1T
马斯克发帖透露xAI的Colossus 2超算训练模型情况，还回应网友时“手滑”泄露Claude的Sonnet 1T、Opus 5T参数。此外，文章梳理网友对Claude各版本参数的推测，也提到Anthropic未发布模型Claude Mythos。
MiniMax深夜开源首个推理模型M1，这次是真的卷到DeepSeek了。
MiniMax深夜开源首个推理模型M1，其上下文能力媲美Gemini 2.5 Pro。M1在部分评测中表现中规中矩，但在MRCR（4 - needle）测试中屠榜。它得益于MiniMax - 01基座模型，应用Lightning Attention机制，开源了40K和80K两个版本。
阿里千问大模型换将，32岁林俊旸官宣告别
阿里巴巴高级算法专家、通义千问大模型负责人林俊旸宣布告别千问团队，此前一晚千问团队刚推出Qwen3.5轻量化模型且获马斯克点赞。此外，Qwen3.5核心贡献者Kaixin Li和通义实验室科学家Binyuan Hui也发文告别，几人去向未明。