「多LLM系统」共找到 5917 篇相关文章
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升
Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。
3.8K星爆款！Google「langextract」可视化溯源，信息抽取神器
Google的「langextract」在GitHub获3.8K星，是信息抽取神器。它有精准源定位、可靠结构化输出等特点，支持多种LLM，适用于各领域，文章还给出实战代码示例。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
行业迎来大洗牌！4万 Agent 挤进一个机柜，AI Infra 要如何构建？
当 AI 从聊天机器人变为 Agent 后，AI 基础设施逻辑改变。浪潮信息副总经理赵帅判断，Agent 迫使 AI 基础设施重新分工，带来新的 CPU 计算需求。企业需关注资源分配、成本控制、系统重构等问题。
不改模型、不降质量，谷歌让Gemma 4快了3倍：本地跑大模型彻底变天
谷歌给Gemma 4家族更新Multi - Token Prediction推测解码架构，推理速度最高提升3倍且输出质量不变。介绍了LLM推理慢的原因、MTP解决办法、对开发者的利好、技术细节、使用方式等。
The Batch: 940 ｜Claude Mythos Preview 引发安全担忧
Anthropic为即将推出的Claude Mythos Preview采取特别预备措施，因其会带来网络安全风险。该模型能力强大，能发现众多代码漏洞。Anthropic组建联盟增强防御，其表现也优于多个知名模型。
00后MIT华人女生辍学创业，已融1.5个亿
00后华人女生Jessica Wu从MIT辍学，创立Sola Solutions，定位RPA界Copilot，获2100万美元融资。公司用LLM和计算机视觉构建自动化流程，已应用多行业，收入增长快。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
安卓彻底变了！Gemini接管所有屏幕，苹果连影子都没追上
谷歌在 Android Show I/O Edition 宣布，Android 从「操作系统」转型为「智能系统」，Gemini Intelligence 植入安卓设备，覆盖多硬件，还推出 Googlebook。谷歌端侧铺 Gemini，云端投 Claude，与苹果策略形成对照，竞争关键在分发。