「单卡运行」共找到 600 篇相关文章
国科大 ｜ 提出进化算法：EvolKV，自适应分配KV Cache，预算降至1.5%！
键值缓存（KV cache）是大模型快速运行核心技术，但输入文本越长，存储和处理问题越突出。国科大提出进化算法EvolKV，自适应分配KV Cache，实验显示其效果显著，预算可降至1.5%。
DeepSeek-R2可能本月发布，使用华为AI芯片
Huaweicentral消息，搭载华为昇腾AI芯片的DeepSeek - R2可能8月15 - 30日发布，或媲美GPT - 5。它运行在昇腾910B芯片集群，参数规模达1.2万亿，将以低价提供API，冲击开源大模型市场。
苹果分享 iOS 26 即将推出的 AI 基础模型的细节
苹果在技术报告中公布 iOS 26 新 AI 基础模型细节。该模型有 3B 参数和更大版本，前者在设备运行，后者用于私有云平台。介绍了架构、评估结果，还强调实现可信赖 AI 的方法。
谷歌MCP Toolbox for Databases拆解：助你快速构建数据访问智能体的神器
企业Agent运行常需访问数据库，但会遇到工程问题。本文详解谷歌开源项目MCP Toolbox for Databases，介绍其概念、好处、使用方式，还展示安装、配置、启动过程及不同模式下使用方法，兼具安全管控与可观测性。
JManus - 面向 Java 开发者的开源通用智能体
在Manus火热背景下，Spring AI Alibaba JManus诞生，它是用Java实现的开源OpenManus。可集成多个大模型，功能完善，能让Java开发者低门槛搭建智能体系统，还给出了运行方法及共建思路。
乐鑫开源首个「物联网设备Agent框架」，Claw的风终于吹到硬件上
乐鑫开源首个物联网设备Agent框架ESP - Claw，用C语言重写。它核心理念是对话即创作，可让用户通过聊天定义硬件行为。具备运行效率高、内存占用低等特点，还有多种功能及良好的生态适配性。
消费级显卡可以快速上手跑！面壁智能MiniCPM-o 4.5发技术报告
面壁智能联合多方发布MiniCPM-o 4.5技术报告。该模型是业界首个端到端全双工全模态大模型，参数约9B，依托Omni - Flow框架，多项性能对标前沿大模型，还推出多种使用方式，兼顾普通用户与开发者需求。
《动手写AI Agent》50 行代码，你的第一个 Agent
文章教你用50行代码打造能读文件、跑命令、自主决策的AI Agent Ling。介绍用JSON Schema给LLM装工具，通过循环让LLM按需调用工具，还给出运行示例及与Claude Code的对照。
深度解析 OpenClaw 在 Prompt / Context / Harness 三个维度中的设计哲学与实践
文章从Prompt、Context和Harness三个维度解析OpenClaw设计思路。Prompt工程有动态组装与文件驱动特点；Context工程含可扩展技能、上下文压缩修剪及双层记忆管理；Harness工程为模型套“马具”，保障其可控运行。
千元手机也能离线爽跑谷歌Gemma 4，太酷了！
谷歌推出开源APP `Google AI Edge Gallery`，可在手机离线运行开源大模型，如Gemma 4。它数据不出本地，玩法多，支持中文交互。虽有局限，但已超模型演示范畴，展示AI本地智能趋势。