「多轮路由」共找到 131 篇相关文章
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
苹果新研究：不微调、不重训，如何让AI提问效率暴增6.5倍？
苹果与牛津、港城大合作提出 BED - LLM 方法，能让 AI 解决问题能力提升 6.5 倍，无需微调重训。它基于序贯贝叶斯实验设计框架，通过三重智慧设计，经测试全面超越基准方法，或开启‘智慧对话’时代。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
王炸！模型越接越乱，2.9 万 Star OmniRoute 把 290+ 个 AI 供应商压成一个入口
现在接入AI工具麻烦，换模型要改配置，额度、接口等也有问题。OmniRoute是开源AI Gateway，将多家模型供应商统一到一个入口，支持290+ providers等，可解决接入混乱问题。
月吞100万亿Token！AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资，估值达13亿美元。它每周处理25万亿个tokens，全球用户超800万。其提供AI推理统一控制层，解决企业多模型管理难题，开源模型崛起使其价值凸显。
Agent不是关键！人大AiScientist实现23小时、74轮长程记忆
中国人民大学团队打造的AiScientist，旨在解决长程机器学习研究工程的持续性难题。它通过File - as - Bus机制稳定保存项目状态，在多轮实验中表现出色，提升科研效率，推动AI真正接手科研流程。
10人创业团干翻行业“潜规则”！全员必须会AI、让跑大模型全程“裸奔”，谷歌老兵不烧钱创业
在AI创业浪潮中，谷歌老兵Bryan Zhou带领10人团队创立AnyInt平台。该平台定位AI Infra中间件，一个API对接所有模型，提倡“去中心化”，让用户付费，还在工程、安全等多方面优化，吸引开发者付费。
硅谷一线创业者内部研讨：为什么只有 5%的 AI Agent 落地成功，他们做对了什么？
来自硅谷一线AI创业者数据显示，95%的AI Agent在生产环境部署失败，原因在于围绕模型搭建的脚手架不完善。文章基于研讨会内容，探讨AI Agent构建关键，如上下文工程、安全控制、记忆功能等，并指出待解决问题和未来方向。
Stripe为什么买OpenRouter？
Stripe愿花超70亿美元收购OpenRouter，因看清路由权即定价权。OpenRouter掌握AI请求分配权，能转化为议价权。Stripe不满足原有支付模式，收购后有望接管AI请求全链条结算。