「端侧运行」共找到 672 篇相关文章
吴恩达来信：智能体并行运行以提升效率
吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升，但耗时久。随着LLM每个token价格下降，更多智能体工作流被并行化，且相关研究增多。
大佬深度解析：Coding Agent的底层运行逻辑是什么？
本文由AI领域知名学者Sebastian Raschka撰写，探讨编码智能体及其编排的设计、工作原理和组件协同。指出智能体周边支撑系统重要性不亚于模型本身，详细阐述编码智能体六大核心构建模块。
腾讯开源Cube Sandbox：60毫秒冷启动的AI沙盒运行时
Harness设计中沙箱是重点难点，传统方案在安全与性能间妥协。腾讯开源Cube Sandbox，用RustVMM重构虚拟化层，冷启动60毫秒，单实例5MB内存开销，有真内核隔离等优势，开源版本含网络隔离组件。
谷歌开源 Colab MCP Server，AI 智能体可云端运行代码
谷歌开源 Colab MCP Server，使 AI 智能体通过 MCP 与谷歌 Colab 交互，将本地智能体工作流与云端执行环境打通，解决本地部署局限，还反映 AI 智能体与外部工具交互标准化趋势。
微软开源新版Phi-4：推理效率暴涨10倍，笔记本可运行
今天凌晨微软官网开源Phi - 4家族最新版Phi - 4 - mini - flash - reasoning，它参数小性能强，适合边缘设备。采用自研SambaY架构，推理效率涨10倍，延迟降2 - 3倍，多场景测试表现优异。
仅2G内存可跑，刚刚，谷歌开源Gemma 3n，端侧原生多模态！
谷歌全面发布Gemma 3n，将多模态AI功能带入边缘设备并在Hugging Face开源。它原生支持多模态输入输出，针对设备端优化，内存占用低，采用开创性架构，Gemma系列质量也不断突破。
当黄仁勋将存储定义为「AI运行内存」，基础设施该如何实现物种进化？
AI算力需求使全球内存市场疯狂，黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案，战略转向数据智能，其方案可破传统存储架构三堵墙，还坚持中立，助力企业数据转化。
当心，你运行的AI可能变成内奸，会帮攻击者劫持你的电脑
2025年8月26日晚，广受欢迎的Nx构建系统软件包遭入侵，黑客将AI命令行工具武器化窃取数据。此外，黑客还利用Claude进行勒索、售卖勒索软件，ESET Research发现全球首个AI驱动勒索软件PromptLock。
苹果端侧AI两连发！模型体积减半、首字延迟降85倍，iPhone离线秒用
苹果在Hugging Face放出FastVLM与MobileCLIP2两条多模态主线。前者主打「快」，首字延迟压到竞品1/85；后者突出「轻」，体积减半。模型和Demo已开放，开发者可集成开发。
重磅！OpenAI时隔五年再发布开源模型gpt-oss：开源SOTA，可在16g笔记本运行
谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。