「CPU优先推理」共找到 2239 篇相关文章
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片
近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。
爆火AI编程Windsurf突遭Claude全面断供，开发者大量退订！直接打脸OpenAI
AI编程工具Windsurf突遭Anthropic切断Claude 3.x系列模型API访问权限，CEO称仅获五天通知。用户大量退订，Windsurf官方激烈回应，采取应对措施，AI编程领域大战正酣。
在Claude桌面版里用任意模型
现在Claude桌面版可使用任意模型，这是4月官方更新添加开发者模式带来的功能。文中介绍了操作方法，还称Claude桌面版是世界最好的AI客户端，覆盖多种使用场景，推荐大家使用。
刚刚开源就斩获 46K+ Star！生化危机女主在 GitHub 开源了一个本地 AI 记忆系统！
好莱坞女星 Milla Jovovich 针对 AI 记忆痛点，用 Claude Code 开发本地 AI 记忆系统 MemPalace。它存储全部对话，检索快，召回率高、数据安全、扩展性强，适用多类人群。
面向Agent设计的CLI，你要注意这几件事情！
当前面向Agent设计软件成热点，但多数CLI设计对Agent不友好。Eric Zakariasson给出设计建议，如非交互、示例比描述重要等，强调要兼顾人类和机器，否则人味界面将被自动化绕开。
Clawdbot 教程 01：模型的配置和切换
作者分享 Clawdbot 模型配置和切换教程，指出配置核心问题是命令行配置与 URL 修正，可用 openclaw configure 命令，不行则手动改配置文件，还介绍模型切换、避免 no output 问题等方法。
PaperDebugger：开源的学术版Cursor
PaperDebugger是AI驱动的学术写作助手，能调试和改进论文，提供智能建议。它用基于MCP的编排引擎，模拟学术流程，有聊天、插入、评论等功能，只读取项目，保障隐私。