「数据与评测基础设施」共找到 3280 篇相关文章
「Next-Token」范式改变!刚刚,强化学习预训练来了
微软新研究提出「强化预训练(RPT)」新范式,将下一个 token 预测任务重新定义为推理任务,可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点,实验显示其提升了语言建模能力。
阿里Qwen3一口气开源多个向量&排序模型,冲!
今天阿里正式开源Qwen3-Embedding和Qwen3-Reranker系列,为多语言文本嵌入和相关性排序树立新标杆。提供0.6B/4B/8B三种版本,支持119种语言,在多个数据集达先进性能,赋能多种应用场景。
打破AI能力的惯性评估方式,红杉中国推出全新双轨基准测试xbench|甲子光年
红杉中国推出全新AI基准测试工具xbench,采用双轨评估体系,构建多维度测评数据集,追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制,首期发布两个核心评估集并给出综合排名,公开后邀各界完善。
多模态长文本理解测评首发:46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench,用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集,对46个模型测试显示,闭源和开源模型在长上下文任务均面临挑战,OCR和跨模态检索能力是瓶颈。
6个做AI和ML的奇技淫巧
作者整理了6个做AI和ML的技巧,如提前结束评估、超参数过度优化、精心挑选数据集等,指出现在90%的模型可能都用到其中不止一招,还介绍了自己用AI采集资讯发布到知识星球。
谷歌开源移动端AI自动化测试神器
本文介绍谷歌最新开源的移动端AI自动化测试工具ARTEMIS,它可将自然语言指令转化为Android自动化操作,支持跨App测试、多模态定位,在AndroidWorld基准评测中取得99%+任务完成率,提供多场景使用方式,可一键快速上手。
对话 XYZ-Aquila丨Deep Search SOTA 背后 AI 到底怎么参与改进 AI?
近日,XYZ AI Lab发布两款面向Deep Search的Agent,在评测中领先。其采用AI4AI方法,让AI参与研发判断。团队接受采访,探讨AI4AI含义、与RSI关系、工作范式等,还分享了改进案例和未来方向。
12K Star 的 claude-seo:免费 SEO 审计能替掉哪些付费工具
2026年2月底GitHub上claude - seo仓库有3500 star,五个月后达12.3K star。该项目作者一人开发,能给站点做SEO审计。它把判断层抽出开源,审计后可直接改代码。不过也有动态渲染弱等问题。
Stripe 发布基准测试:AI 智能体可开发集成方案,但校验环节存在短板
Stripe推出基准测试套件,评估AI智能体构建完整Stripe集成方案的能力,测试聚焦金融系统贴近生产环境的集成场景。测试显示,不同任务类型评测结果差异显著,核心瓶颈在于验证环节,当前智能体短板在校验逻辑等方面。
Slack 淘汰 SSH:700+ EMR 作业迁移至基于 REST 的调度架构
Slack 完成大规模数据平台改造,将 Amazon EMR 数据处理流程中 SSH 作业执行模式替换为基于 REST API 的统一调度架构,移除对生产集群的直接 SSH 访问,迁移 700 多个 Airflow Operator,解决了安全、运维等问题。