「语义缓存」共找到 285 篇相关文章
扩散语言模型九倍推理加速!上海交大:KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache,复用特征降低计算量。它即插即用,通用于主流dLLM架构,在多个基准测试中实现数倍推理加速,且不降低生成质量。
CVPR2025|MCA-Ctrl:多方协同注意力控制助力AIGC时代图像精准定制化
中国科学院计算技术研究所团队提出无需微调的通用图像定制方法 MCA - Ctrl,利用扩散模型内部知识,结合条件语义与主体内容。实验显示其在编辑和生成任务表现优,解决了现有技术瓶颈。
4.4k星!给Agent接上「本地免费搜索爬虫」,内置11个skill执行数据搜索、爬取、自动研究
文章推荐开源本地搜索工具wigolo,它是专门给Agent使用的本地网络能力层,可解决本地运行Agent查找资料时使用API麻烦费钱的问题。它功能多样,有搜索、缓存等工具,自带11个Skill。
别再无脑开高推理!Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位,发现性能顶峰在medium档,高档位推理预算多余,会让模型反复校验、偏离需求,在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
刚刚,Anthropic这篇论文上了Natrue
Anthropic关于“潜意识学习”的研究发表于《Nature》杂志。研究揭示大语言模型能通过与语义无关的数据传递行为特征,如偏好、不对齐行为等,还探究了其机制,并在MNIST上验证。
Claude Code一周份额,一天就烧完一半?有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发,如思考深度大幅下降,还存在7个叠加的bug,浪费用户token配额。开发者给出应对建议,新版本增加账单透明度和缓存过期提醒,该工具正面临信任危机。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2,推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验,介绍架构、训练数据,对比四种做法,还提及评测、应用场景及结论。
手把手带你构建第一个业务本体(Ontology):为 Agent 绘制业务地图。
文章介绍为企业AI Agent构建业务本体,阐述Agent需本体的原因,讲解TBox与ABox概念。给出构建流程,介绍RDF/OWL标准及Protégé等工具,实战构建‘订单加急交付’本体并验证,还演示Python程序推理,展望本体应用场景。
AI4S回归白盒符号主义,清华等联合发布SR-LLM:自主发现科学知识
清华大学等多所高校联合发布SR - LLM,这是融合大语言模型与深度强化学习的符号回归框架。它从数据生成可解释数学模型,在跟车行为建模等任务表现优,为机器自主科学发现开辟新路径。
Hybrid Model Support:阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战,阐述内存管理、关键技术优化方案,验证性能,并指出未来演进方向。