「单卡运行」共找到 600 篇相关文章
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
双“雷”暴击！Trae 被曝资源黑洞、Claude背刺超级付费党，开发者们被“刀”惨了
主打“自动化执行、多模型调用、上下文记忆”的AI编程应用大热，但也出现运行卡顿等问题。Trae被曝过度消耗资源，Claude Code对付费用户增加调用限制，凸显AI产品资源问题及厂商成本管控困境。
全球首创！B站推出影视级TTS语音模型，支持零样本语音+情绪双克隆，精准时长控制！
近日，B站语音团队推出全新一代语音合成模型IndexTTS2，提供影视级音质、情绪克隆和时长控制。其情绪与时长精细控制功能全球首创，还具备零样本语音克隆等能力，支持本地运行与中英文双语。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。
Codex跑了22小时，真赚16.88美元：奥特曼预言的「AI打工人」来了
开发者Chris让Codex按「去GitHub上赚5美元」指令运行22小时，几天后获16.88美元。虽流程细节缺验证，但显示Codex在特定条件有「找漏洞→提PR→跟进审查」能力，不过距真正自主赚钱仍有距离。
Hermes推出Curator功能：自动清理Skill 仓库
Hermes推出Curator功能解决技能仓库膨胀问题。它每7天（可配置）自动运行，检查技能使用频率等数据，将30天未用技能标记为‘stale’，90天未用的移至归档目录，还能建议技能合并方案。
Claude 开始收“代码审核税”：一条 PR 25 美元，大厂一年或花百万，还得上交整个代码库
3月9日，Anthropic推出代码审查产品Code Review，运行在GitHub和CI流程，按token计费，每次15 - 25美元，速度约20分钟/次，用整个代码库分析。虽能发现问题，但价格贵、速度慢，还遭“既当运动员又当裁判”质疑。
Swiggy 内部 AI 助手升级：Text-to-SQL 不够用了，Agent 开始接管数据分析
Swiggy 推出基于生成式 AI 的 Text-to-SQL 助手 Hermes V3，运行在 Slack 中。它解决了旧版本问题，通过向量提示检索等升级，将 SQL 生成准确率从 54% 提至 93%，还增加会话记忆、解释层，与现有体系深度整合。