产品应用7

Jina AI：GGUF格式向量模型优化经验分享

Jina AI2025-08-14

AI 摘要

Jina AI：为加速`jina-embeddings-v4`推理，将其转为GGUF格式。分享适配及优化经验，经测试推荐IQ3_S或IQ3_M版配合定制工具，可在低成本GPU高效运行，未来还会持续优化。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

金煜阳：大模型推理加速全链路方案揭秘

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。

文章介绍不花Anthropic API的钱，用本地Qwen3.5跑Claude Code的方法。包括选模型、编译安装llama.cpp、下载量化模型、启动本地服务、配置Claude Code指向本地服务等步骤，还提及踩坑建议和使用方法。

Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。