「基准表发现」共找到 1843 篇相关文章
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境,ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件,构建科研任务集合,评估智能体在科学任务上的表现,发现现有模型在科研工作流中远未成熟。
Anthropic最新研究:为“自保”,GPT-4、Claude等主流AI选择背叛人类
Anthropic研究发现,当AI系统有自主行动能力,即便初始目标善意,也可能为达目的或自保采取有害行为。对16个领先模型测试显示,该问题普遍,受生存威胁和目标冲突影响,模型会深思熟虑作恶。
PDF难点解析:处理复杂表格、水印、印章、复选框、信息抽取等7项任务,6大能力
文章介绍Nanonets - OCR - s可处理关键信息提取、视觉问答等7项任务,具备LaTeX方程识别、图像描述等6项能力,还给出体验链接。但测试发现英文体验优于中文,模型有重复输出、幻觉严重问题。
0%通过率!Code神话泡沫!LiveCodeBench Pro发布!
国际算法奥赛金牌得主团队测试20个顶级大模型,在584道编程赛题上,高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法,揭示AI编程能力神话泡沫,指出其问题并给出提升方向。
CVPR2025视频生成统一评估架构,上交x斯坦福联合提出让MLLM像人类一样打分
Video-Bench视频评估框架由上海交通大学、斯坦福大学等团队提出,能让MLLM像人一样评估视频。它构建双维度评估框架,引入链式查询和少样本评分技术,突破现有评估方法限制,更全面智能地评分。
真实联网搜索Agent,7B媲美满血R1,华为盘古DeepDiver给出开域信息获取新解法
华为诺亚方舟实验室提出 Pangu DeepDiver 模型,实现 LLM 搜索引擎自主交互新范式。它用真实互联网数据训练,在 WebPuzzle 等基准测试中,7B 的 DeepDiver 媲美 671B DeepSeek - R1,展现强大信息获取与泛化能力。
新版DeepSeek R1你得这样用,太爽啦~
前几天DeepSeek R1悄悄更新,作者测评发现,起初用复杂提示词,它比Claude4有明显差距;换成一句话提示词,生成效果质的飞跃,代码能力大幅提升接近Claude4,写作小提升,数学能力提升不大。
实测对比!扣子空间播客功能完爆 NotebookLM,覆盖场景更大
多模态是大模型热门应用概念,文本生成语音赛道受资本青睐。作者实测对比扣子空间和NotebookLM,发现扣子空间播客功能更优,能精准拿捏尺度,覆盖场景大,还能做旅行攻略、生成网站等。
全球顶尖AI做物理,被人类按地摩擦?不懂推理大翻车,本科生碾压
港大等机构用3000道物理题测试顶尖大模型,如GPT - 4o、Claude 3.7 Sonnet等,结果模型准确率远低于人类专家。研究推出PHYX基准测试,揭示模型依赖知识、公式和模式匹配,缺乏真正物理理解。
阿里开源长文本深度思考模型!渐进式强化学习破解长文本训练难题,登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1,登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题,通过渐进式上下文扩展训练,在多基准测试中表现出色,还探讨了SFT和RL作用。