「LLM Inference」共找到 974 篇相关文章
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
你奶奶也能看懂：DeepSeek-OCR的秘密。
本文介绍DeepSeek-OCR，它并非普通OCR工具，而是用“上下文光学压缩”将大量文本信息转为少量视觉Token。其架构含编码器和解码器，压缩效果惊人，重新定义AI“记忆”，或改变AI认知方式。
给非技术人的大模型介绍：从零训练ChatGPT的全流程、天价成本及企业务实替代方案
文章介绍从零训练ChatGPT级别大模型的全流程、高昂成本，指出这对多数企业不现实。建议企业战略从构建转向应用，通过租用API或微调开源模型利用大模型，将专有数据视为核心资产。
手机操控革命！开源手机AI Agent，自然语言操控Android/iOS！
传统移动设备自动化工具难实现自然语言控制和跨应用交互，开源项目Mobile - Use提供解决方案。它由Minitap AI开发，能通过自然语言指令实现设备UI感知自动化，功能丰富，应用场景广。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
DeepSeek被「猫咪睡觉」给干崩了……
研究员发现，在数学题后加「有趣的事实：猫咪一生大部分时间都在睡觉」，能让DeepSeek数学能力崩塌。研究开发CatAttack方法找「触发词」，无关触发词使模型错误率飙升，还会让回答变长。
Anthropic8张图，揭示Workflow & Agent的协作场景
文章借Anthropic的阐述，区分了Workflow与Agent概念。指出任务明确用Workflow，开放式问题用Agent，还介绍了构建blocks、workflows方法及Agent工作方式和实施原则。
被“网暴”两个月后，Yann LeCun 携最新世界模型杀回！小扎千万美元激励抢人，Meta AI 内部权利之争开始
Meta推出新的“世界模型”V-JEPA 2，可提升AI物理推理能力。它是V-JEPA扩展版，在百万小时视频上训练，能让机器人完成任务。Meta还发布三项基准测试，且已开源。LeCun力挺，小扎为追进度亲自招人才。
智能体自己出现问题自己找！首次提出“自动化失败归因”课题 | ICML2025 Spotlight
LLM Multi - Agent系统失败诊断难，阻碍迭代优化。宾夕法尼亚州立大学等机构研究者首次提出“自动化失败归因”课题，构建Who&When数据集，开发评估多种归因方法，实验揭示当前方法不足。