「LLM Ops」共找到 974 篇相关文章
智能体自己出现问题自己找！首次提出“自动化失败归因”课题 | ICML2025 Spotlight
LLM Multi - Agent系统失败诊断难，阻碍迭代优化。宾夕法尼亚州立大学等机构研究者首次提出“自动化失败归因”课题，构建Who&When数据集，开发评估多种归因方法，实验揭示当前方法不足。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
Karpathy：别再问AI「你怎么看了」，这是错误的提示词策略！
Andrej Karpathy提出不要把大语言模型看作实体，应视作模拟器。他建议探索话题时避免用‘你怎么看’提问，给出‘什么样的一群人适合探索，他们会怎么说’的更优策略，还指出不同领域影响有别。
图灵奖得主Sutton再突破：强化学习在控制问题上媲美深度强化学习？
图灵奖得主Richard S. Sutton认为未来AI发展需靠强化学习。他将2024年的SwiftTD算法拓展到控制领域，提出Swift - Sarsa算法，还设计操作性条件反射基准测试。实验显示，结合预处理方法，其性能或媲美深度强化学习。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
InfoDeepSeek：首个开放网络环境下的智能体信息搜寻质量评估基准
上海交通大学与华为诺亚方舟实验室联合推出InfoDeepSeek，它是首个评估真实动态网络环境下智能体信息搜寻质量的基准。该基准有挑战性问题、真实动态环境等亮点，还开展实验揭示智能体行为特性。
Dify、n8n、扣子、Fastgpt、Ragflow到底该怎么选？超详细指南来了。
文章从实用角度出发，对Dify、Coze、n8n、FastGPT和RAGFlow五款主流平台进行详细功能对比，结合真实使用体验和应用场景，为不同需求者提供选择指南，还给出选型考量要素。
“由 AI 生成的代码，从诞生那一刻起就是「遗留代码」！”
如今生成式AI融入软件开发，AI生成的代码一诞生或被视为“遗留代码”。它缺乏上下文记忆和维护连续性，虽有开发者尝试弥补，但代码未来或多靠提示生成。文章观点在Hacker News引发讨论。
从视觉压缩，到视觉记忆：MonkeyOCRv2以重建保留文档页面证据
文档视觉编码器对LLM理解和推理很重要。MonkeyOCRv2提出‘重建即文档视觉记忆’，通过多组实验验证其有效性，还发布MonkeyDoc v2数据集，推动公平比较的研究文化。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队、清华和南洋理工研究打破传统认知，揭示‘对齐税’现象。提出Confident Decoding策略，在多架构和评测集实验中表现出色，开销低，挑战‘LLM最后一层最优’常识。