搜索：推理服务基础设施

「推理服务基础设施」共找到 2930 篇相关文章

vLLM 正式支持 PaddleOCR-VL

11月4日，vLLM项目宣布正式支持PaddleOCR-VL模型。该模型专注文档解析，参数量仅0.9B。合作降低部署门槛，推理效率更高，官方还给出部署指南和配置建议，流程快速完成可作榜样。

OpenAI将在10月6日DevDay推出Agent Builder，用户能通过可视化画布拖拽构建AI智能体工作流，连接模型、工具等编排任务。其对手是n8n、Zapier，可集成第三方服务，降低AI应用开发门槛。

Windsurf八个月内ARR达8200万美元，却被低价甩卖。其负利润率高，靠烧钱补贴成本，面临API成本高、竞品低价冲击等问题。此事件揭示编程工具价值捕获难，凸显基础设施等环节价值。

8月至9月，Claude模型质量下降，Anthropic将问题归咎于三项基础设施漏洞。开发者不满，质疑官方用bug搪塞，要求退款。官方虽剖析问题并提出改进方案，但很多用户已不再买账，Claude用户流失问题持续数月。

MonkeyOCR采用SRR三元组范式，简化多工具流程、避免整页文档处理低效问题。与MinerU、端到端模型相比性能更优，处理速度也更快。暂不支持拍摄文档解析，文章还给出安装、推理等操作步骤。

文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。

生成式AI发展使深度伪造技术安全隐患受关注，现有检测器表现不佳。中科院自动化所联合蚂蚁集团提出Veritas框架，构建HydraFake数据集，赋予大模型“模式感知推理”能力，实验效果超现有检测器，还给出未来研究方向。

大语言模型在开放域问答中有‘幻觉’问题，GraphRAG结合LLM与知识图谱缓解此问题，但现有方法有缺陷。作者提出‘推理并构建’新范式和Relink框架，实验显示其性能领先，对RAG系统设计有启示。

做爬虫或Web自动化测试常因网页结构变动需重写脚本。Github上超火的Skyvern项目是基于浏览器的自动化代理，不依赖XPath或CSS选择器，用视觉识别结合大模型推理完成任务，已获19k+ star。

过去半月AI行业看似平静，实则产业结构正密集重组。OpenAI、Anthropic成算力黑洞，众多公司围绕其开展业务。同时，AI落地服务成新赛道，自研芯片潮兴起，产业分工不稳定。