「LLM Inference」共找到 974 篇相关文章
北大 & 作业帮团队提出 Text-to-SQL 新框架 Interactive-T2S，攻克宽表处理与低资源对齐难题
北大与作业帮联合研发的论文提出 Interactive-T2S 框架，将 LLM 塑造成智能代理，通过多轮交互解决传统 Text-to-SQL 方法在宽表处理、低资源对齐等方面的难题，已入选国际顶会 CIKM2025。
2025年了，AI还看不懂时钟！90%人都能答对，顶尖AI全军覆没
AI基准ClockBench测试AI读模拟时钟能力，人类平均准确率89.1%，11个主流大模型最好仅13.3%。研究展示了LLM局限性，分析了可能原因，还对比了不同模型表现及在各类问题上的差异。
为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了
OpenAI发布研究论文剖析LLM幻觉根源，指出当前主流训练与评估体系是核心驱动因素之一。现行评估奖励猜测行为，幻觉起源于预训练的‘下一词预测’，论文还澄清五大误区，建议改革评估体系。
思维链可无限延伸了，MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model（TIM），配合专用推理引擎TIMRUN，把推理过程变为树状递归子任务结构并修剪子任务，让模型突破输出窗口限制实现长程推理，实验验证了其性能。
构建可靠AI Agent：从提示词、工作流到知识库的实战指南
本文阐述如何构建可靠、高效且可落地的AI Agent应用。随着LLM和工具调用标准化，开发核心竞争力转向提示词工程、工作流设计和知识库构建。还介绍各部分要点及安全策略，给出确定AI项目的方法。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
真实联网搜索Agent，7B媲美满血R1，华为盘古DeepDiver给出开域信息获取新解法
华为诺亚方舟实验室提出 Pangu DeepDiver 模型，实现 LLM 搜索引擎自主交互新范式。它用真实互联网数据训练，在 WebPuzzle 等基准测试中，7B 的 DeepDiver 媲美 671B DeepSeek - R1，展现强大信息获取与泛化能力。
准确率92.7%逼近Claude 3.5、成本降低86%，开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent，这是用于代码定位的图索引 LLM Agent 框架，准确率达 92.7%。它把代码库解析成图，提供工具接口，经实验效果出色，开源微调模型降本增效，还能提升问题解决率。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。