「人工智能评估」共找到 1182 篇相关文章
多智能体在「燃烧」Token！Anthropic公开发现的一切
Anthropic发布多智能体研究系统构建解释，解决多智能体研究困惑。多智能体系统优势明显，在特定任务中表现出色，但token消耗大。其架构独特，还介绍了提示词工程、评估方法、面临的工程挑战等内容。
Auto Research时代，AI Scientist的第一场药企实习考验｜甲子光年
AI Scientist从大模型做题家进化为自动化科研助手，但从demo到应用面临买单难题。Phylo等团队构建BiomniBench评估框架，让AI做药企真实数据分析，结果显示AI表现超人类实习生，且有速度和成本优势，但也存在偏科问题。
4万星开源项目被指造假！MemGPT作者开撕Mem0：为营销随便造数据，净搞没有意义的测试！
高人气开源智能体记忆项目Mem0在论文中称在LOCOMO上打败所有人，MemGPT联合创始人公开指控其测试无意义、数据造假。二者都为解决大模型长期记忆问题，Letta认为能力比工具重要，并给出评估智能体记忆能力的方法。
万字硬核解读SAM 3：不止分割一切，它开始理解世界了
Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。
从社区数据出发，再看大模型开源开发生态全景与趋势
蚂蚁开源先后在527蚂蚁技术日和外滩大会发布大模型开发生态开源项目全景图1.0和2.0版本。2.0版更新评估方法，呈现生态新变化，还分析技术趋势、开发者分布，提及项目进出情况及TensorFlow衰落等。
腾讯发布混元3D世界模型1.0：首个支持物理仿真的开源世界生成系统
在2025年世界人工智能大会上，腾讯发布混元3D世界模型1.0，它是首个开源且兼容传统CG管线的可漫游世界生成模型。可通过文图生成3D世界，支持编辑、仿真，有360°沉浸、工业兼容、原子级交互优势。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
蚂蚁 | 提出代码检索/重排基准：CoREB，揭开高分榜背后的三大幻觉，现已接入MTEB
蚂蚁研究人员提出代码检索与重排评测基准CoREB，解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB，收录19个模型×6个任务评测结果，为代码检索模型评估提供新基线。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
EMNLP 2025 | T2R-bench: 业内「首个」工业级表格生成报告评测基准
中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。