「服务器内存」共找到 332 篇相关文章
1899个MCP服务安全研究：7.2%存在漏洞，5.5%暗藏「工具投毒」
研究人员对1899个开源MCP服务器扫描，发现7.2%项目有漏洞、5.5%遭工具投毒。MCP虽成事实标准且发展好，但代码质量堪忧，传统安全工具难检测其风险，为生态敲响警钟。
6.6K Star 打破次元壁！MCP-Use开源爆火：6行代码让LLM操控万物！
在AI Agent开发热潮中，MCP-Use作为开源Python库爆火。它用6行代码让LLM操控万物，支持多模型、多服务器，提供安全机制，适配网页浏览、3D建模等多种场景，降低AI Agent开发门槛。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
当 CPU 莫名抖动时，SysOM Agent 如何 3 分钟定位元凶？
文章讲述小王遇服务器CPU抖动难题，传统排查无果，用SysOM Agent 3分钟定位根因是Negative Dentry堆积致VFS锁竞争。它能多维度融合数据，有专家诊断逻辑，交互简单，还介绍接入方法。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
亿级日活App的“算力生死劫”：推理成本倒挂，他们靠跨云架构砍掉75% GPU集群
一家AI穿搭+购物推荐的出海应用DAU破亿，但算力和传输成本高，ARPU远低于成本。该企业转向Akamai推理云，换用RTX PRO 6000，缩减服务器集群，降低成本，采用跨云架构过渡，实现零阵痛平替。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
万帧实时！流式3D重建天花板，被国产开源模型打破了
蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。
“养团队造语言”时代终结？Rust传奇人物用Claude造出新开源编程语言，AI写下万行代码：大模型上限很高，我学会了高效用它！
Rust核心贡献者Steve Klabnik借助Claude写了新语言Rue并开源。他曾是AI怀疑论者，现认为大模型在编程中‘真的有用’。Rue目标是不依赖垃圾回收提供内存安全，使用体验更顺手，开发深度依赖Claude。