「V*Bench」共找到 673 篇相关文章
姚顺雨腾讯首篇论文：给AI下半场指路“上下文学习”
姚顺雨入职腾讯后首个成果CL - bench，用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识，无法适应“当下”学习。评测中，十个前沿模型表现不佳，揭示其真实场景应用缺陷。
Swiggy 内部 AI 助手升级：Text-to-SQL 不够用了，Agent 开始接管数据分析
Swiggy 推出基于生成式 AI 的 Text-to-SQL 助手 Hermes V3，运行在 Slack 中。它解决了旧版本问题，通过向量提示检索等升级，将 SQL 生成准确率从 54% 提至 93%，还增加会话记忆、解释层，与现有体系深度整合。
开源即登榜！登顶全球前十AI编程智能体，UCL初创团队开源Prometheus
UCL初创团队EuniAI开源AI软件智能体Prometheus，在SWE - bench Verified上Pass@1达71.2%，成绩入官方主榜。它有图结构推理设计，能理解代码，成本低，官网有Demo展示其工程化能力。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
让视觉语言模型像o3一样动手搜索、写代码！Visual ARFT实现多模态智能体能力
上海交大等团队推出多模态智能体训练方法 Visual-ARFT，让视觉语言模型有「工具智能体」能力，还开源项目。它能自动调用工具、拆解任务，团队构建 MAT-Bench 评测，其在多任务超 GPT-4o。
OpenClaw低调更新重磅版本，龙虾长手长脚了
OpenClaw开发者Peter带来Computer Use工具Peekaboo v3版本，解决了Agent类产品无法直接操控桌面的问题。它能实现像素级截图、读取UI位置，还能完成各类操作，支持自然语言指令，有四种使用方式。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
The Batch：829 | DeepSeek 是怎么做到的
DeepSeek 去年末以低成本训练出先进开源大模型引关注，近日团队披露构建 DeepSeek - R1 和 DeepSeek - V3 的软硬件方案，降低内存和计算需求，其细节公布让更多团队有机会参与前沿研发。
1美元Token撬动4800美元收益！AI挑战百万美元级基准，最赚钱的Agent出现了
Humanlaya Data Lab等机构构建$OneMillion - Bench评测基准，用经济价值衡量模型。它含400道高难题目，覆盖多领域。目前最强模型能产出约50万美元价值，但离可交付专业任务还有距离。
别再用单选评测骗自己了！Amazon新论文揭示了大模型在多选题中的3种系统性偏差
Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。