「多LLM系统」共找到 5917 篇相关文章
借助 AI Coding 快速打造 AI Agent 系统
文章围绕购物场景生成AI Agent系统展开,原有低代码方案遇瓶颈,团队转向LangGraph等工程方案,借助AI Coding工具重构上线。介绍了项目需求、挑战,阐述核心架构升级,分享AI Coding开发实践及项目成果与启示。
整体工程:有机解决复杂演进系统中的问题
软件开发中项目延期、架构偏离等问题,常由非技术力量导致。整体工程将这些力量纳入技术决策,能解决复杂演进系统问题,还介绍了实践方法及好处。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
Omni-Effects:首个统一多特效生成框架
Omni-Effects是面向多样化定制视觉特效生成的统一框架,结合纯提示词驱动与空间感知提示,可精确控制特效位置。构建Omni - VFX数据集验证其有效性,在复杂场景有高鲁棒性。
Meta&CMU:Token级LLM协同路由新范式
Meta AI、CMU等联合推出FusionRoute,是让多个大模型在token级协作的新范式。它能在每个token位置精准选专家,自带“急救包”。经实验验证其高效,也指出了待研究的方向。
OpenAI 迈出关键一步:LLM 黑盒不再是盲盒
OpenAI开源新研究成果,提出全新范式,训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步,关键结果显示稀疏模型优势多,但也存在训练成本高、规模有限等局限,还给出两条未来路线。
一夜之间,Claude Code删掉了80%系统提示词
本周五,Anthropic 技术团队成员 Thariq Shihipar 介绍新一代大语言模型工程趋势变化。Anthropic 发现旧提示词工程范式在新一代强推理模型发布后或过时,新的 Claude.md 应精简,大砍系统提示词后可把特定任务上下文交给 Skill。
LLM的快速、慢速与工具增强思维模式综述
大型语言模型在不同任务中对推理策略需求差异大,策略选择不当会影响效率与可靠性。本文提出双重知识边界框架,梳理LLMs推理模式,将策略选择形式化,还分析了决策因素及策略选择机制。
AI编程学习:Chrome DevTools MCP 到底有多强?
作者体验了Google新出的Chrome DevTools MCP,它在小红书自动发帖、YouTube智能观看等场景表现出色。与Playwright对比,其Token消耗低、报错处理稳。还揭示设计思路差异,给出上车指南。
砍掉70%内存!陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时,KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺,推出分块驱逐与PruLong训练技术,在128K长文本任务中最高降低70%内存,性能损失仅10%。