「AI评估」共找到 9953 篇相关文章
全球首个科研LLM竞技场上线！23款顶尖模型火拼：o3夺冠，DeepSeek第四
Ai2耶鲁NYU联合推出科研版「Chatbot Arena」——SciArena，23款顶尖大模型比拼科研任务，OpenAI o3夺冠，DeepSeek第四。该平台解决通用基准测试在科研场景‘失效’问题，但其自动评估系统猜科研人偏好远未及格。
谷歌约战，DeepSeek、Kimi都要上，首届大模型对抗赛明天开战
太平洋时间8月5 - 7日，8款前沿AI模型将在Kaggle Game Arena展开为期3天的国际象棋比赛，参赛方都是AI界顶流。谷歌称现有基准测试难跟上模型发展，这场比赛是探索新评估方法。赛制为单败淘汰制。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
我的AI订阅
作者分享四个AI订阅，介绍GitHub Copilot Pro+能在OpenCode调用模型，Perplexity Max准确性强、功能多，Grok多Agent编排出色，Gemini生态整合佳，还提及各产品优缺点及订阅费用。
给AI全局记忆
作者认同OpenAI‘全局记忆’观点，称其能提升对话连贯性，实现AI成个人助理愿景。介绍OpenMemory项目可存储调用记忆，还提及实现功能的三点做法，看好创业者在该领域机会。
AI短剧生成神器
作者分享开源的AI短剧生成工具，它能根据剧本完成智能分镜、生成视频片段等一条龙服务，采用全局种子+风格继承改善人物和场景一致性，有分镜编辑器可手动调控，适合多种人群。
Raycast + MCP = AI Mac
Raycast添加AI插件可实现跨应用调度，现支持MCP。它解决了MCP用户部署、配置难的问题，提供接近自动部署的方法。还介绍了MCP在Raycast中的安装与使用，以及作者常用的支持MCP的客户端。
YC总裁转发、登顶Hacker News：SkillsBench揭开Agent技能扩展的残酷真相
近日论文《SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks》引发海外AI社区关注。研究聚合47150个Skills，经严格筛选评估，揭示人工构建Skills效果好、AI自生成无效等核心发现，为AI研发指明路径。
Kimi总裁张予彤北大实录：我们想要有抽象能力和偏执的人｜甲子光年
Kimi总裁张予彤在北大分享，谈AI时代人才标准，偏好有抽象能力和偏执的人。还探讨AI创造新工作、学校课程设计、企业管理等问题，分享Kimi招人标准、组织特点及对行业诸多问题的看法。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。