「多LLM系统」共找到 5917 篇相关文章
Kimi 大模型训推混部的稳定性与资源优化实战
月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战,如故障多、资源利用低等,还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。
比人类专家快2倍,斯坦福联合英伟达发布TTT-Discover:用「测试时强化学习」攻克科学难题
斯坦福与英伟达等机构联合提出 TTT - Discover 方法,让 LLM 在测试时强化学习。它在多任务上成绩出色,如在数学、GPU 内核等领域超越人类和其他 AI,计算成本低,或为持续学习打开新空间。
解析天花板?TextIn xParse如何为RAG打造「零损耗」知识管道
在AI应用发展中,LLM与RAG系统成核心引擎,但项目落地时模型表现常难达预期,根源在于文档解析质量。TextIn xParse能为RAG打造‘零损耗’知识管道,本文从多方面对其解析能力进行了解读。
AI Agents和Agentic AI有什么区别?
论文《AI Agents vs. Agentic AI》深入探讨AI Agent和Agentic AI的本质差异。AI Agents是集成大模型和外部工具的单体系统,适合简单任务;Agentic AI是多智能体协作新范式,适合复杂场景。还提及挑战、解决方案与未来方向。
阿联酋K2横空出世,数学、代码样样行,速度全球最快,GPT-4看了都得抖三抖
阿联酋穆罕默德·本·扎耶德人工智能大学与G42公司联合推出开源AI推理系统K2 Think,基于Qwen 2.5 - 32B模型。它靠六项技术性能出众,在多领域测试成绩好,还以小参数量媲美大模型,且全面开源。
GPT-5两周内发布,内测猛料流出?GPT-6或已开始训练,奥特曼剧透百万GPU
有爆料称GPT-5将在两周内发布,是多模型组成的系统,含「路由器」,GPT-6已在训练。奥特曼称年底将增超百万GPU,有人看好GPT-5,也有人认为它可能只是路由器。此外,OpenAI有十名员工拒小扎3亿天价offer。
对话 Elys 创始人 Tristan:人的灵魂是所有 context 的总和,我们从未被真正连接过
本文是极客公园创始人张鹏与 Elys 创始人 Tristan 的对话。Tristan 认为产品应围绕 context 构建,Elys 结合记忆、推荐等系统,要打造低熵社交世界,还介绍了产品设计、用户导入等方面内容。
AgentFS:把SQLite作为智能体状态存储
SQLite适合记录代理状态等,但在Agent系统中缺优雅应用案例。AgentFS是基于SQLite为AI智能体设计的状态管理系统,核心是Turso实现的存储系统,结合三个关键组件,提供四个主要组件,目前处Alpha阶段。
SaaS 已死?不,SaaS 会成为 Agent 时代的新基建
文章指出AI Agent不会杀死传统软件系统,传统SaaS系统会成Agent时代的新基建。企业内部数据混乱,Agent能力上限取决于对数据的运用,CRM、ERP等系统将从服务人转向服务Agent,记录系统会被拆解重构。
万字长文!大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。