「上下文存储库」共找到 1049 篇相关文章
告别死记硬背!SkillRL自动提炼Skills持续进化
大型语言模型智能体常孤立运行,难从经验学习。SKILLRL受人类技能启发,提出有效经验迁移需抽象。它通过经验驱动的技能蒸馏、分层技能库和递归技能进化机制,在多实验中表现出色。
不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进,KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述,用「时间 - 空间 - 结构」视角梳理KV cache优化方法,还归纳关键观察、提出开放挑战,并整理了资源库。
告别「盲目自信」,CCD:扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法(CCD)。它解决传统DLM推理“短视”和采样预算固化问题,在开源DLMs上实现3.48倍加速和3.9%性能提升,适配多种解码设定。
Valkey 9.0 引入多数据库集群、原子级槽位迁移,并带来大幅性能提升
Linux 基金会宣布开源内存存储方案 Valkey 9.0 正式发布。它有原子级槽位迁移、哈希字段过期等新特性,支持编号数据库集群,可扩展到 2000 节点,每秒处理超 10 亿次请求,性能大幅提升。
Telegram创始人搞了个狠活:100%隐私的去中心化AI网络
Telegram创始人帕维尔·杜罗夫推出专注机密AI计算的去中心化网络Cocoon,或终结中间商垄断。它基于TON区块链,有三层架构,四步完成AI查询,但面临延迟和竞争挑战,未来将采用DAO治理。
LightMem用3招重新设计了LLM的记忆,结果出乎意料
LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制,用三招重新设计LLM记忆,实验显示其准确率超基线,还降低token使用量、API调用和运行时间。
国产手机正从底层重构安卓!vivo版AI OS亮相了
在vivo开发者大会上,OriginOS 6正式亮相,AI功能全面更新,还首次上线Live Photo的AI消除。它用自研技术重构安卓底层核心,首发蓝河流畅引擎,从计算、显示、存储三大模块优化。
当代码遇上大模型:智能编程助手的架构设计与工程实践
在 InfoQ 举办的 QCon 全球软件开发大会上,字节跳动段潇涵介绍如何基于大语言模型构建智能编程助手。他分享实践经验,剖析研发痛点,介绍技术架构,还探讨未来发展方向,如认知增强、工具整合等。
实测Perplexity Pro平替模型,免费开源仅4B
一款仅4B大小的开源模型Jan-v1,声称能平替Perplexity Pro,且完全免费、支持本地部署。实测发现,它在检索增强生成、上下文深度分析等能力上表现不错,入门级显卡即可带动本地部署。
用最简单的大模型技术打造一个迁云专家有多难?
文章探讨在云迁移领域用大模型技术“复制”专家80%核心能力。分析标准化方案不足及简单RAG局限,介绍“LX0.1”AI专家助手构建,还提及分层评测、人机协同等优化,最后展望AI在云迁移的未来方向。