「数据与评测基础设施」共找到 3253 篇相关文章
大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力
首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。
ACL2025 | 代码助手火了，但安全吗？所有模型评估结果都很扎心
近期，GitHub Copilot、ChatGPT等AI代码生成工具爆火，效率显著提升，但代码安全性存疑。北大团队用CoV-Eval评测20款主流大模型，结果不佳，论文还给出优化方向，呼吁代码上线前严格测试。
DeepSeek-R1发布100天后：全面复盘推理大模型复现研究及未来！
推理语言模型（RLMs）发展显著，DeepSeek - R1发布引发广泛影响且未完全开源。MiroMind等总结其复现研究，关注SFT和RLVR方向，介绍数据构建、方法设计、训练过程细节及实验关键发现。
下一代搜索：通过 MCP 实现 AI 与 OpenSearch 的融合
本文探讨 MCP 如何在 AI 代理和 OpenSearch 间建桥梁，创建智能搜索应用。介绍搜索从关键词到代理的演变，还通过电商、可观测性等场景演示代理搜索实践，显示 MCP 与 OpenSearch 结合能带来上下文感知的智能数据访问体验。
英伟达成开源新王？Nemotron 3全新混合专家架构，推理效率升4倍
北京时间今天凌晨，英伟达发布 Nemotron 3 系列开放模型，含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face，采用混合 MoE 架构，推理效率提升显著。该系列还具备多种核心技术和实用能力，相关工具和数据集也已开源。
WAIC抢先爆料：金融“黑马”大模型超DeepSeek刷新SOTA，论文已上线
WAIC期间，蚂蚁数科金融推理大模型发布会未开，论文已上线。其新模型Agentar - Fin - R1有8B和32B版，在金融测评集超DeepSeek等，还兼顾专业与通用，蚂蚁数科还提出评测基准Finova。
刚刚，Opus 5来了：性能不输 Fable 5、价格砍半
Anthropic 发布新一代模型 Claude Opus 5，其智能接近 Claude Fable 5 但价格减半。它在编程、知识工作等评测中表现出色，科研能力进步大，自主性与严谨性更强，安全对齐度高，防护兼顾安全与可用。
两个哈佛女生用AI做电池故障排查，数月的工作量被缩到了几分钟
哈佛毕业女生 Eva Tuecke 和 Catherine Yeo 创立 Altara 公司，获 700 万美元种子轮融资。其系统能整合电池等物理科学领域分散数据，将故障排查时间从数月缩至几分钟，还能确保输出可审查，适应不同机构需求。
全域感知，一键部署：“星元智能体”开启国产AI落地新范式
4月29日，数字感知芯片技术全国重点实验室联合中星微团队发布‘星元智能体’。它基于XPU芯片，完成从芯片到智能体跨越，架构创新破算力瓶颈，还破解数据困局，已在多地试点，未来将推动AI产业发展。
中国19岁常青藤少年重塑AI记忆，斩获各大榜单全球第一，点亮AI联想科技树
M-Flow记忆引擎引发海外开发者社区热议，GitHub star破千，在三大公开benchmark评测中夺冠。它由19岁团队心流元素开发，采用Cone Graph分层结构，实现Graph RAG新范式，更注重联想，而非单纯搜索。