「存储短缺」共找到 224 篇相关文章

算法论文8

Token 压缩率飙升60%:大模型分词告别贪心合并

当前大模型效率优化多聚焦降低单位Token计算存储开销,本文解读arXiv新预印论文,针对传统BPE分词的固有局限,提出CNF-MCE分词框架,可大幅提升Token压缩率,开辟大模型效率优化新路径。

InfoQ
推荐文章8

来吧,往死理卷,9.8K Star TypeWords~~~

本文推荐Star量9.8K的开源背词项目TypeWords,针对「眼熟单词写不出」的痛点,设计了无提示输出的练习闭环,面向技术人给出使用指南,同时说明其本地存储特性与同步限制。

小华同学ai
算法论文8

打破学科壁垒!400篇参考文献重磅综述,统一调查「人脑×Agent」记忆系统

哈工大等多机构联合发布重磅综述,打破认知神经科学与人工智能学科壁垒,统一审视人脑与 Agent 记忆系统。文中剖析记忆定义、作用、分类、存储、管理等,还提及评测、安全问题及未来多模态记忆、技能迁移方向。

机器之心
算法论文8

国科大 | 提出进化算法:EvolKV,自适应分配KV Cache,预算降至1.5%!

键值缓存(KV cache)是大模型快速运行核心技术,但输入文本越长,存储和处理问题越突出。国科大提出进化算法EvolKV,自适应分配KV Cache,实验显示其效果显著,预算可降至1.5%。

AINLPer
新闻资讯7

山姆奥特曼称OpenAI 有意收购Chrome

OpenAI CEO山姆·奥特曼在晚宴上透露,OpenAI 有意收购 Chrome,认为这能提升自家 AI 浏览器水平。此外,他还谈及 GPT - 5 开发、ChatGPT 相关问题、业务扩张计划等多方面内容。目前因法官考虑强制谷歌出售 Chrome,Perplexity 已报价 345 亿美元参与竞购。

AGI Hunt
8

万字解码 Agentic AI 时代的记忆系统演进之路

文章深入探讨 Agentic AI 时代记忆系统,介绍记忆对智能体的重要性、人脑与智能体记忆的定义分类及操作,还分析 Memory Bank、LETTA 等多款产品实现,总结技术演进趋势,最后提及 Tablestore 的优势。

阿里云开发者
产品应用8

千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战

多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。

InfoQ
产品应用7

作业帮基础观测能力之一监控体系实践

本文介绍作业帮监控体系实践。其监控体系随云原生成长,支持全集群监控。构建时选 Prometheus 采集、VictoriaMetrics 存储,还从多维度采集指标,用自研代理降成本、治理指标,让系统更贴合研发。

InfoQ
开源动态9

两名工程师、两个月、4 万行 Rust:DynamoDB 太贵又慢,Perplexity 决定自己造

Perplexity核心搜索面向大模型检索,原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题,两名工程师两个月用Rust写出4万行自研CobbleDB,迁移后性能成本均大幅优化,后续计划开源。

InfoQ
产品应用8

缓存不该困在一台服务器里

本文分析大模型推理阶段KV缓存的行业痛点,指出传统单机缓存孤立无法跨节点复用的问题,介绍焱融科技的分层共享缓存方案,公开了方案的实测性能数据,展现AI存储的新发展方向。

InfoQ