搜索：数据与评测基础设施

「数据与评测基础设施」共找到 3249 篇相关文章

无法蒸馏的美国市场，谁在分食 Frontier Labs 百亿美金预算？

本文围绕美国数据市场展开，分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要，但外部数据公司份额难线性外推；真实世界数据成新热点，各细分领域格局和投资方向不同。

图数据常见但分析门槛高，需懂算法和代码。NetworkX 算法多却复杂，普通用户难上手。GraphQA 搭建桥梁，用自然语言接口替代复杂 API，智能选算法，继承 NetworkX 优势还解决易用性问题。

研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。

OpenAI研究员指出传统基准测试难衡量AI实际效用。复旦大学与字节跳动等团队提出全新评测范式EvaLearn，以连续问题求解为核心，构建问题并设评分标准，对九个前沿大模型研究有诸多发现。

Reddit发现AI公司利用Wayback Machine开放性，绕过限制扒取大量历史数据用于模型训练。此前Reddit已对AI公司数据抓取设限，还起诉过违规公司。Reddit抵制该行为，宣布限制Wayback Machine索引其内容。

文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限，指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁，并介绍MktAI知识体系建设。

在 AI 融入应用热潮中，代理流量爆发成 AI 基础设施缺失层。传统设施难管理，致成本、安全等问题。Gartner 关注此差距，‘AI 网关’成新兴类别，它补充现有设施，助组织重获代理流量监督。

本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。

Anthropic更新Skill Creator，上线评测框架。该框架无需写代码，能处理两类技能测试需求，可测试和改进技能，有捕获质量回归等用途。还增加基准模式、多Agent支持等，能让技能触发更可靠，更新已在Claude.ai等可用。

Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。