「DOM Benchmark」共找到 82 篇相关文章

算法论文7

TransDiff--最简洁的AR Transformer + Diffusion图像生成方法

文章分享图像生成新方法TransDiff,它结合AR Transformer与Diffusion,提出MRAR范式。通过Q&A解答其使用Transformer原因、小Diffusion Deocder效果等问题,还指出它有连续帧生成潜力,将用于视频生成。

PaperAgent
算法论文8

RAG创新了,MCompassRAG装上了语义指南针

RAG系统存在chunk切分难题,现有方案有额外成本。MCompassRAG不切细、不rerank,给粗chunk加主题元数据当指南针,训练推理分离,实验显示信息效率提升、延迟降低。

PaperAgent
算法论文8

SFT「不完全学习」之后,研究的下一个前沿在哪?ACL 2026 腾讯混元论文未来方向展望

本文从不完全学习现象出发,展望SFT领域未来研究方向,如未知根因探索、检测方法改进等,还提及推广到其他训练范式、CPT精细化研究等,给出研究优先级和社区建议。

InfoQ
开源动态7

FACTS 基准测试套件问世,用于评估大型语言模型的事实准确性

FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发,基于原 FACTS Grounding Benchmark 增加三个新基准,可从四个维度评估大模型事实性。初步结果显示进展与挑战并存,多模态成难题。

InfoQ
算法论文7

多模态推理新基准!最强Gemini 2.5 Pro仅得60分,复旦港中文上海AILab等出品

现有多模态大模型benchmark对逻辑推理理解不足,复旦大学等单位提出MME - Reasoning评估其推理能力。对30 + 模型评测,最优得分仅60%左右,反映出模型多方面推理短板。

量子位
算法论文8

0%完成率!Claude、GPT、Gemini 全灭,SWE-Bench作者新作把AI圈干沉默了

SWE - Bench创建者推出新benchmark ProgramBench,测试AI从零构建软件系统能力。结果一线模型完成率0%,暴露AI擅长局部代码生成,缺全局系统规划能力,引发对其评估方式的讨论。

机器之心
推荐文章9

Booking.com 的向量数据库选型:100M 数据、三种负载、一个决定

本文分享Booking.com在1亿条embedding数据规模下,原有OpenSearch向量方案遇到性能、成本、运维瓶颈后,自行设计贴合生产的压测对比不同方案,最终完成选型迁移的全过程,总结了实用经验。

AI工程化
开源动态8

AI能否独立开展科研?ASI-Bench为科学自主性建立评测标尺

ASI-Bench是衡量AI系统科学自主性的基准测试,由多机构联合开发。它能测试AI通用智能、创新性和执行力,通过信息梯度设计,让模型在不同指导量下完成科研任务,结果显示当前AI离自主科研有明显距离。

机器之心
算法论文8

冷门新语言AI写不动?IEEE论文:从零到及格线,MoonBit给出完整训练路线

IEEE论文聚焦新语言MoonBit和Gleam,探讨大模型代码生成能力。研究发现大模型零样本生成新语言代码能力差,few - shot和RAG有提升但有限,继续预训练及指令迁移可显著提高模型表现。

量子位
算法论文8

跨越技术与法律的壁垒:AI赋能知识产权领域任务全能评测基准IPBench发布

本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准,构建含20个任务、10374个双语数据点的基准,评估17个主流模型,揭示现有模型在IP任务中局限。

深度学习自然语言处理