「本地运行」共找到 782 篇相关文章
Reddit一张神图疯传！2年后，你的笔记本就能跑Fable 5
r/LocalLLaMA社区一张图刷屏AI圈，显示Fable 5级AI预计2年后可在笔记本本地运行。从历史模型看，前沿能力从云端到本地约24个月。这意味着AI正从云端垄断走向桌面民主化。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
本地无限画布，把AI创作玩出了新高度！
传统AI生图工具使用有局限，缺乏自由组织的畅快感。Infinite - Canvas是本地无限画布工具，支持多种生成后端，有普通和智能两种画布模式，具空间自由、覆盖不同用户等优势，还提供上手教程。
0 代码改造实现应用运行时数据库密码无损轮转
本文探讨通过整合 MSE Nacos、阿里云 KMS 及 Apache Druid 等技术组件，实现应用运行时数据库密码无损轮转。介绍敏感数据安全风险，详述方案流程、优势，还提及未来对接更多组件，支持多参数动态更新。
纯本地隐私绝佳，没网也能翻，30+语言支持！
日常常用翻译工具依赖云端，有隐私风险。开源离线翻译项目`Argos Translate`，基于Python开发，支持多语言互译，有多种使用形式。虽翻译精度略逊，但隐私性好、可自由部署，适合有安全需求的用户。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
把本地 AI Agent 接到飞书/微信：一个工具全搞定
cc-connect是开源工具，可把本地AI编程Agent桥接到任意聊天平台。支持10+主流AI Agent、12大聊天平台，有多Agent编排等功能。v1.3.0版更新实用功能，3分钟可完成配置。
刚开源的口袋级TTS，CPU 即可多语言本地畅用，爽！
传统TTS模型对个人开发者和边缘设备不友好，最近Github上开源的Pocket - TTS仅100M参数，能在普通CPU上超实时语音合成，支持语音克隆，安装简单，适合多种本地语音开发场景。
20瓦就能运行下一代AI？科学家瞄上了神经形态计算
当前AI面临“能源危机”，耗电量成沉重负担。科学家正尝试打造占地小、神经元数量堪比人脑皮层的神经形态计算机，其运行快、功耗低。神经形态计算模拟人脑，或成下一代AI关键。