「服务器内存」共找到 332 篇相关文章
安谋科技发布“周易”X3，一场“中庸”的突围 | 甲子光年
11月13日安谋科技发布“周易”X3 NPU IP，专为端侧AI打造。当前端侧AI市场不确定大，芯片设计难平衡专用与通用。“周易”X3采用DSP+DSA融合架构，转向混合浮点，提升带宽，搭配开放软件平台，在多方面找到平衡。
苹果M5「夜袭」高通英特尔！AI算力狂飙400%，Pro三剑客火速上新
苹果悄无声息更新官网，三款核心产品14寸MacBook Pro、iPad Pro以及Vision Pro换上全新M5芯片。M5芯片性能提升显著，AI能力连翻数倍，加量不加价，在AI、图形处理等多方面有重大升级。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
DeepSeek 官宣V3.1：迈向 Agent 时代的第一步！
DeepSeek 官宣发布 V3.1，称这是迈向 Agent 时代第一步。其有混合推理模式，Agent 能力全面进化，API 也全面升级，支持 Anthropic API 格式。还继续开源，9 月 5 日起调整价格，社区反响热烈。
日志采集效能跃迁：iLogtail 到 LoongCollector 的全面升级
2025年，iLogtail正式升级为LoongCollector，实现日志采集和处理领域的新跨越。它架构升级，有多样Pipeline形态，性能提升，稳定性和隔离性增强，还具备网络探测、无缝迁移等优势，将带来可观测数据全栈采集新体验。
英伟达和AMD，开始争夺AI制药的计算入口
每年的 Advancing AI 大会，AMD 都要回答 Instinct GPU 除训练大模型外的应用问题。今年大会上，AMD 把一个位置留给 AI 制药公司 MindWalk。而其对手英伟达已在生命科学领域布局多年，生命科学成两家竞争新战场。
The Batch: 919 | 本地 AI 能否替代云端？
大语言模型预测输出需求推动数据中心扩建，研究人员探讨本地小型模型能否分担算力负荷。斯坦福与Together AI团队研究发现，本地系统单瓦特智能量与云端有差距但在缩小，若准确率相近可节省能耗。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。