「高速存储接口」共找到 356 篇相关文章
刚刚,DeepSeek新模型MODEL1曝光,3处架构升级!
DeepSeek更新FlashMLA时曝光新模型MODEL1,从diff看它在MLA KV-Cache存储与访问方式上和V3/V3.2系列有3个本质差异,如物理排布更紧凑、引入‘extra’两段式cache、头维固定512×512。
准确率92.7%逼近Claude 3.5、成本降低86%,开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent,这是用于代码定位的图索引 LLM Agent 框架,准确率达 92.7%。它把代码库解析成图,提供工具接口,经实验效果出色,开源微调模型降本增效,还能提升问题解决率。
GUI 将死,CLI 才是一切
文章指出 GUI 时代将尽,CLI 正赢下一个十年,其用户将是 Agent。介绍了 CLI - Anything 项目,它能为软件生成 CLI 接口,让 Agent 用命令行操控软件,还探讨了 Agent 命令执行权限等问题。
AI芯片独角兽一年估值翻番!放话“三年超英伟达”,最新融资53亿超预期
AI芯片初创企业Groq获7.5亿美元融资,超6亿预期,现估值69亿美元,一年翻番。其由谷歌TPU原班人马组建,创始人称构建高速低成本AI推理基础设施,还放话三年超英伟达。
上百个Agent,该怎么管?清华团队新思路:重做Session
当Agent数量增多,管理难题凸显。清华与中大团队开源OpenRath,以Session为核心,让多Agent共享状态。它借鉴PyTorch,解决了证据存储、状态流动等问题,使Agent集群管理更高效。
DDR4持续涨价,DDR5成为新的性比价之王?
近期DDR4价格持续上涨,其告别性价比,原因是存储巨头战略转移。而DDR5性能强、功耗低,实测表现优,价格也有优势,已成为新的“性价比之王”,替代DDR4是大势所趋。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
一句话启动AI打工人?我用Claude Skills做了个“微博热搜挖掘机”,效率炸了!
作者黄叔分享用Claude Skills做“微博热搜挖掘机”,介绍其类似给AI员工发《员工手册》,还讲了准备工作,如获取微博热搜接口,输入指令后Claude自动干活,成果可观,Claude Skills适合普通人入门。
Nsight Python 简介
Nsight Python 是基于 NVIDIA Nsight Tools 的 Python profiling 接口,能采集 CUDA kernel 性能指标。文章介绍其环境依赖、常用 API,还给出多个示例及限制,如可与 Agent 配合,辅助写出更快的 kernel 代码。
从 SQL 到自然语言,下一代 Lakehouse 为何必须「AI 优先」
随着大模型技术爆发,数据分析范式重构,未来数据多模态、分析复杂、查询方式转变。文章指出构建下一代 AI-First Lakehouse,要在存储计算、内核能力、架构适配、平台自治等方面升级,打破数据壁垒。