搜索：数据与评测基础设施

「数据与评测基础设施」共找到 3249 篇相关文章

ACL 2025 Oral | 你的模型评测搭子上线：Evaluation Agent懂你更懂AI

上海人工智能实验室与新加坡南洋理工大学合作研发 Evaluation Agent，它能按需评估视觉生成模型，有可定制、高效率等优势。框架分提案和执行两阶段，评估结果佳，未来将拓展功能。

本文围绕DataV - Note智能分析创作平台评估体系建设展开，指出智能工具缺乏统一评估标准等问题。介绍评估模型目标、设计、标准，采用纵向和横向评估方式，还提及未来接入自动化和提升准确度的规划。

清华、北通院和宾州州立大学研究人员提出“绝对零”训练法，让大模型通过自我博弈生成并解决任务获推理能力。测试显示，其训练出的模型超专家标注样本训练的模型，且能提升编程与数学推理表现。

研究发现大模型判断逻辑谬误易误报正常句子，但分类能力较强。研究人员构建英文逻辑谬误基准SMARTYPAT - BENCH，开发生成框架SMARTYPAT，为大模型逻辑评估提供新思路，可用于多领域。

该论文通过对比学习理清潜在输入特征与目标输出的关联性，提出输出驱动的输入特征构造方法。所构造特征在高维代理模型构建中增强效果显著，还可减少预测误差分布及不同模型收敛性和鲁棒性差异。

AAI机构提出新基准FormulaOne，让GPT - 5、o3 Pro等前沿大模型集体得零分。该基准含220个图结构动态规划问题，分三类难度。测试结果显示，模型在深层及最深层难度表现差，引发关注。

日常开发中，数据库设计和管理工作繁琐易出错。本文介绍超实用开源项目 ChartDB，它能将数据库结构可视化，AI 帮导出 SQL，有一键导入、AI 驱动导出等特性，开源免费，多种方式安装。

作者在火山引擎发布会现场，认为视频生成模型Seedance 1.0 pro最酷。从多镜头组合、运动质量、情绪、运镜、物理动态效果、风格化六个维度测评，该模型各方面表现出色，无明显短板，已开放给企业用户，今日在豆包App全量上线。

为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。

2026年AI产业进入高强度算力周期，Token成核心资源消耗单位。太初元碁洪源认为，AI算力需更好支撑应用，异构计算将成未来AI算力基建重要方向，太初元碁也在多方面探索实践。