「量化推荐」共找到 548 篇相关文章
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026
IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。
9位顶级研究员连讲3晚，华为盘古大模型底层研究大揭秘
华为诺亚方舟实验室成果颇丰，4月开发千亿级通用语言大模型Pangu Ultra，5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日，机器之心联合举办分享会，9位研究员揭秘量化、剪枝等关键技术突破。
快慢Reasoning综述！
大型语言模型在复杂推理任务中有‘无差别计算’缺陷，阻碍其在多场景应用。本文提出双层效率优化框架，梳理两类前沿技术，通过实验揭示瓶颈，为轻量化推理指明路径。
AI搜索优化（GEO）：从“被看见”到“被选中”的7个真相！【必看】
白杨SEO分享AI搜索优化（GEO）从“被看见”到“被选中”的7个真相，含为何做GEO、竞争内容、让AI理解和信任品牌的方法、成默认推荐答案的条件、效果评估及长期坚持的原因等。
困在平台算法里，内容创作做流量到底还重不重要？【必看】
白杨SEO结合多件事，探讨内容创作做流量是否重要。指出平台算法以内容分发推荐为主，创作者是否被困取决于自身信息获取方式，AI时代创作者仍重要，还给出破局平台推荐算法的三条建议。
深度体验超牛超多功能的开源AI菜谱工具，AI让每个人都可以是米其林大厨。
文章推荐了开源AI菜谱工具“一饭封神”，它能根据食材、口味、人数等生成菜谱，还有营养分析、饮品搭配等功能，有多种趣味板块，可玩性和实用性强，比部分小红书菜谱靠谱。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。