「低延迟推理」共找到 2941 篇相关文章
vLLM 正式支持 PaddleOCR-VL
11月4日，vLLM项目宣布正式支持PaddleOCR-VL模型。该模型专注文档解析，参数量仅0.9B。合作降低部署门槛，推理效率更高，官方还给出部署指南和配置建议，流程快速完成可作榜样。
豆包 AI 编程：一句话写赛博鱼缸，动嘴皮改富士滤镜
豆包发布全新模型 1.6 后，AI 编程更新，基于此模型在评测集位列第一梯队。它实现低门槛+可用性，能一句话生成网站、工具，还可可视化编辑，目标是让普通人能做产品。
ICLR-26腾讯混元：Agent是强大的，但用户是狂野的
现有LLM工具使用基准测试场景理想化，忽视真实用户行为复杂性。腾讯提出WildToolBench，基于真实用户行为构建测试集，对58个模型评估，发现模型准确率低，揭示LLM在真实场景下能力缺口，为模型优化指明方向。
一周1.2k星！兼具质量与效率的OCR模型MonkeyOCR，支持多样化的中英文PDF
MonkeyOCR采用SRR三元组范式，简化多工具流程、避免整页文档处理低效问题。与MinerU、端到端模型相比性能更优，处理速度也更快。暂不支持拍摄文档解析，文章还给出安装、推理等操作步骤。
从零开始200行python代码实现LLM
文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。
ICLR 2026 Oral | 让大模型学会“像法医般思考”，实现可解释、可泛化的深度伪造检测
生成式AI发展使深度伪造技术安全隐患受关注，现有检测器表现不佳。中科院自动化所联合蚂蚁集团提出Veritas框架，构建HydraFake数据集，赋予大模型“模式感知推理”能力，实验效果超现有检测器，还给出未来研究方向。
Relink：为GraphRAG动态构建证据图
大语言模型在开放域问答中有‘幻觉’问题，GraphRAG结合LLM与知识图谱缓解此问题，但现有方法有缺陷。作者提出‘推理并构建’新范式和Relink框架，实验显示其性能领先，对RAG系统设计有启示。
19K star 霸榜，下一代的浏览器自动化神器！
做爬虫或Web自动化测试常因网页结构变动需重写脚本。Github上超火的Skyvern项目是基于浏览器的自动化代理，不依赖XPath或CSS选择器，用视觉识别结合大模型推理完成任务，已获19k+ star。
The Batch: 964 | Claude 亮相另一款 Opus
Anthropic发布Claude Opus 5，这是款视觉 - 语言模型，运行成本低，多任务表现优于Claude Fable 5。它在多项测试中领先，解决了Fable 5的一些问题，但也有易产生幻觉等不足。
开源知识库，从 0 到上线，UltraRAG 企业知识库全流程实战 ，也许这是RAG最好的框架之一～～～
UltraRAG是基于MCP架构的轻量级RAG开发框架，核心设计工程友好。其3.0版强调推理可视化，适用于科研复现、企业知识库问答等场景，还介绍了使用方式，能解决RAG落地痛点。